Ascend Graph API是在构图过程中采集性能数据。
该章节提供通过Ascend Graph API编程接口的两种方式使能Profiling:
序号 |
采集方式 |
---|---|
方式一 |
通过GEInitialize传入option参数:
|
方式二 |
调用如下接口,采集Profiling性能数据:
如果需要采集迭代轨迹数据,还需要通过GEInitialize传入option参数ge.exec.profilingOptions或通过环境变量PROFILING_OPTIONS传入。 |
注: 接口详细说明,请参见GEInitialize和维测接口。 |
参考以下示例通过GEInitialize传入option参数:
// 0. System init std::map<AscendString, AscendString> config = {{"ge.exec.deviceId", "0"}, {"ge.graphRunMode", "1"}, {"ge.exec.precision_mode", "allow_fp32_to_fp16"}, {"ge.exec.profilingMode", "1"}, {"ge.exec.profilingOptions", R"({"output":"/tmp/profiling","training_trace":"on","fp_point":"","bp_point":""})"}}; Status ret = ge::GEInitialize(config); if (ret != SUCCESS) { return FAILED; }
参考以下示例调用接口,采集Profiling性能数据:
// 构造Graph,该步骤省略 // ...... // init ge std::map<std::string, std::string> ge_options = {{"ge.socVersion", "Ascend910"}, {"ge.graphRunMode", "1"}}; ge::GEInitialize(ge_options); std::string profilerResultPath = "/home/test/prof"; //该路径需要提前创建 uint32_t length = strlen("/home/test/prof"); ret = ge::aclgrphProfInit(profilerResultPath.c_str(), length); std::map<string, string> options = {{"a", "b"}, {"c", "d"}}; uint32_t graphId = 0; ge::Session *session = new Session(options); ret = session->AddGraph(graphId, graph); uint32_t deviceid_list[1] = {0}; uint32_t device_nums = 1; uint64_t data_type_config = ProfDataTypeConfig::kProfTaskTime | ProfDataTypeConfig::kProfAiCoreMetrics | ProfDataTypeConfig::kProfAicpu | ProfDataTypeConfig::kProfTrainingTrace; ProfAicoreEvents *aicore_events = NULL; ProfilingAicoreMetrics aicore_metrics = ProfilingAicoreMetrics::kAicoreArithmeticUtilization; ge::aclgrphProfConfig *pro_config = ge::aclgrphProfCreateConfig(deviceid_list, device_nums, aicore_metrics, aicore_events, data_type_config); ge::aclgrphProfStart(pro_config); session->RunGraph(graphId, inputs_r, outputs_r); ge::aclgrphProfStop(pro_config); ge::aclgrphProfDestroyConfig(pro_config); ge::aclgrphProfFinalize(); delete session; ge::GEFinalize();
配置Ascend Graph API方式采集后请参见性能数据解析与导出(msprof命令)将原始数据文件解析并导出为可视化的timeline和summary文件。生成的Profiling数据如下表所示。
参数 |
性能数据文件 |
---|---|
默认自动生成 |
|
task_time、task_trace |
msprof_*.json中的CANN层级和api_statistic_*.csv文件 |
runtime_api |
|
hccl |
|
aicpu |
|
host_sys_usage |
参数 |
性能数据文件 |
---|---|
kProfTaskTime |
msprof_*.json中的CANN层级和api_statistic_*.csv文件 msprof_*.json中的Ascend Hardware层级和task_time_*.csv文件 |
kProfHccl |
|
kProfAicpu |
|
kProfL2cache |
|
默认自动生成 |