Ascend Graph API方式

该章节提供通过Ascend Graph API编程接口的两种方式使能Profiling：

表1 Profiling性能数据采集方式
序号	采集方式
方式一	通过GEInitialize传入option参数： ge.exec.profilingMode ge.exec.profilingOptions
方式二	调用如下接口，采集Profiling性能数据： aclgrphProfInit aclgrphProfFinalize aclgrphProfCreateConfig aclgrphProfDestroyConfig aclgrphProfStart aclgrphProfStop 如果需要采集迭代轨迹数据，还需要通过GEInitialize传入option参数ge.exec.profilingOptions或通过环境变量PROFILING_OPTIONS传入。传入字段包括training_trace。

接口详细介绍请参见Profiling Ascend Graph API。

采集性能原始数据方式一

参考以下示例通过GEInitialize传入option参数：

// 0. System init
  std::map<AscendString, AscendString> config = {{"ge.exec.deviceId", "0"},
                                    {"ge.graphRunMode", "1"},
                                    {"ge.exec.precision_mode", "allow_fp32_to_fp16"},
                                    {"ge.exec.profilingMode", "1"},
                                    {"ge.exec.profilingOptions",  R"({"output":"/tmp/profiling","training_trace":"on","fp_point":"","bp_point":""})"}};
  Status ret = ge::GEInitialize(config);
  if (ret != SUCCESS) {
    return FAILED;
  }

ge.exec.profilingOptions接口的Profiling开关具体支持情况请参见《Ascend Graph开发指南》中“参考 > Ascend Graph接口参考 > 构图接口 > 数据类型 > options参数说明”章节的ge.exec.profilingOptions接口参数说明。

采集性能原始数据方式二

参考以下示调用接口，采集Profiling性能数据：

  // 构造Graph，该步骤省略
  // ......

  // init ge
  std::map<std::string, std::string> ge_options = {{"ge.socVersion", "Ascend910"}, {"ge.graphRunMode", "1"}};
  ge::GEInitialize(ge_options);

  std::string profilerResultPath = "/home/test/prof";       //该路径需要提前创建
  uint32_t length = strlen("/home/test/prof");
  ret = ge::aclgrphProfInit(profilerResultPath.c_str(), length);     

  std::map<string, string> options = {{"a", "b"}, {"c", "d"}};
  uint32_t graphId = 0;

  ge::Session *session = new Session(options);
  ret = session->AddGraph(graphId, graph);

  uint32_t deviceid_list[1] = {0};
  uint32_t device_nums = 1;
  uint64_t data_type_config = ProfDataTypeConfig::kProfTaskTime | ProfDataTypeConfig::kProfAiCoreMetrics | ProfDataTypeConfig::kProfAicpu | ProfDataTypeConfig::kProfTrainingTrace;
  ProfAicoreEvents *aicore_events = NULL;
  ProfilingAicoreMetrics aicore_metrics = ProfilingAicoreMetrics::kAicoreArithmeticUtilization;  
  ge::aclgrphProfConfig *pro_config = ge::aclgrphProfCreateConfig(deviceid_list, device_nums, aicore_metrics, aicore_events, data_type_config);

  ge::aclgrphProfStart(pro_config);

  session->RunGraph(graphId, inputs_r, outputs_r);

  ge::aclgrphProfStop(pro_config);

  ge::aclgrphProfDestroyConfig(pro_config);

  ge::aclgrphProfFinalize();

  delete session;
  ge::GEFinalize();

采集数据说明

配置Ascend Graph API方式参数后请参见数据解析与导出将原始数据文件解析并导出为可视化的Timeline和Summary文件。

生成的Profiling数据如表2和表3所示。

表2 timeline文件介绍
timeline文件名	相关参数（GEInitialize传入option）	相关参数（aclgrph）	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
ai_stack_time_*.json	-	kProfTaskTime	各个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览。
thread_group_*.json	-	kProfTaskTime	AscendCL，GE，Runtime组件耗时数据。该文件内的各组件数据按照线程（Thread）粒度进行排列，方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据（按线程粒度展示）。
task_time_*.json	-	kProfTaskTime	AI core、AI cpu、All reduce并行度分析数据。文件详情请参见Task Scheduler任务调度信息数据。
ge_*.json	-	kProfTaskTime	GE接口耗时数据。文件详情请参见GE接口耗时数据。
step_trace_*.json	-	kProfTaskTime	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。
hccl_*.json	hccl	kProfHccl	HCCL数据。文件详情请参见HCCL数据。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

表3 summary文件介绍
summary文件名	相关参数（GEInitialize传入option）	相关参数（aclgrph）	说明
op_summary_*.csv	task_trace	kProfTaskTime	AI Core和AI CPU算子数据。文件详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	task_trace	kProfTaskTime	AI Core和AI CPU算子计数表，从算子类型维度找出耗时最大的算子类型。文件详情请参见AI Core和AI CPU算子调用次数及耗时数据。
step_trace_*.csv	-	kProfTaskTime	迭代轨迹数据。文件详情请参见迭代轨迹数据。
ai_stack_time_*.csv	-	kProfTaskTime	每个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见各个组件的耗时数据。
fusion_op_*.csv	-	kProfTaskTime	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。
task_time_*.csv	task_trace	kProfTaskTime	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
aicpu_*.csv	aicpu	kProfAicpu	AI CPU数据。文件详情请参见AI CPU数据。
l2_cache_*.csv	不支持采集	kProfL2cache	L2Cache数据。详情请参见L2Cache数据。
prof_rule_0.json	-	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

父主题： 性能数据采集（API方式）