下载
EN
注册

使用Ascend Graph API采集

Ascend Graph API是在构图过程中采集性能数据。

支持的型号

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2 训练系列产品/Atlas 800I A2 推理产品

使能方式介绍

表1 Profiling性能数据采集方式

方式

接口

GEInitialize接口传入option参数

  • ge.exec.profilingMode
  • ge.exec.profilingOptions

通过GEInitialize传入option参数ge.exec.profilingOptions,可以采集迭代轨迹数据,传入字段包括training_trace/bp_point/fp_point。

该方式采集的性能数据将存放在ge.exec.profilingOptions的output参数所配置的路径下。

aclgrph接口

  • aclgrphProfInit
  • aclgrphProfFinalize
  • aclgrphProfCreateConfig
  • aclgrphProfDestroyConfig
  • aclgrphProfStart
  • aclgrphProfStop

该方式采集的性能数据将存放在aclgrphProfInit的profiler_path参数所配置的路径下。

注:

接口详细说明,请参见GEInitialize维测接口

采集性能原始数据(GEInitialize接口传入option)

参考以下示例通过GEInitialize传入option参数:

// 0. System init
std::map<AscendString, AscendString> config = {{"ge.exec.deviceId", "0"},
						{"ge.graphRunMode", "1"},
						{"ge.exec.precision_mode", "allow_fp32_to_fp16"},
						{"ge.exec.profilingMode", "1"},
						{"ge.exec.profilingOptions",  R"({"output":"/tmp/profiling","training_trace":"on","fp_point":"","bp_point":""})"}};
	Status ret = ge::GEInitialize(config);
	if (ret != SUCCESS) {
		return FAILED;
	}

采集性能原始数据(aclgrph接口)

参考以下示例调用接口,采集Profiling性能数据:

  // 构造Graph,该步骤省略
  // ......

  // init ge
  std::map<std::string, std::string> ge_options = {{"ge.socVersion", "Ascendxxx"}, {"ge.graphRunMode", "1"}};
  ge::GEInitialize(ge_options);

  std::string profilerResultPath = "/home/test/prof";       //该路径需要提前创建
  uint32_t length = strlen("/home/test/prof");
  ret = ge::aclgrphProfInit(profilerResultPath.c_str(), length);     

  std::map<string, string> options = {{"a", "b"}, {"c", "d"}};
  uint32_t graphId = 0;

  ge::Session *session = new Session(options);
  ret = session->AddGraph(graphId, graph);

  uint32_t deviceid_list[1] = {0};
  uint32_t device_nums = 1;
  uint64_t data_type_config = ProfDataTypeConfig::kProfTaskTime | ProfDataTypeConfig::kProfAiCoreMetrics | ProfDataTypeConfig::kProfAicpu | ProfDataTypeConfig::kProfTrainingTrace;
  ProfAicoreEvents *aicore_events = NULL;
  ProfilingAicoreMetrics aicore_metrics = ProfilingAicoreMetrics::kAicoreArithmeticUtilization;  
  ge::aclgrphProfConfig *pro_config = ge::aclgrphProfCreateConfig(deviceid_list, device_nums, aicore_metrics, aicore_events, data_type_config);

  ge::aclgrphProfStart(pro_config);

  session->RunGraph(graphId, inputs_r, outputs_r);

  ge::aclgrphProfStop(pro_config);

  ge::aclgrphProfDestroyConfig(pro_config);

  ge::aclgrphProfFinalize();

  delete session;
  ge::GEFinalize();

采集数据说明

配置Ascend Graph API方式采集后请参见性能数据解析与导出(msprof命令)将原始数据文件解析并导出为可视化的timeline和summary文件。生成的Profiling数据如下表所示。