该章节提供离线推理场景下通过运行应用工程可执行文件、调用acl.json文件,读取Profiling相关配置,从而自动采集性能原始数据。采集性能原始数据成功后,可将采集的原始数据取到装有Ascend-cann-toolkit开发套件包的开发环境上进行性能数据解析,展示性能数据解析结果。
解析操作请参见性能数据解析与导出(msprof命令),解析结果文件介绍请参见性能数据文件参考。
参考以下步骤完成acl.json文件配置,并完成应用工程编译和运行:
// ACL init const char *aclConfigPath = "../src/acl.json"; aclError ret = aclInit(aclConfigPath); if (ret != ACL_ERROR_NONE) { ERROR_LOG(“acl init failed”); return FAILED; } INFO_LOG(“acl init success”);
{ "profiler": { "switch": "on", "output": "output" } }
对于Atlas A2训练系列产品,表1中的instr_profiling_freq与aicpu、aic_metrics、l2、hccl、task_time、ascendcl、runtime_api互斥,无法同时执行。
参数 |
描述 |
支持的型号 |
性能数据文件 |
---|---|---|---|
switch |
Profiling开关,取值on或off。 on表示开启Profiling,off表示关闭Profiling;如果缺失该参数或参数值不为on,则表示关闭Profiling。 开启Profiling开关后自动采集AscendCL、Runtime接口和Task Scheduler任务调度信息数据。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
- |
output |
Profiling性能数据落盘路径。未配置本参数时,性能数据默认落盘到应用工程可执行文件所在目录。
Profiling采集结束后,在该目录下生成PROF开头目录,存放Profiling采集的性能原始数据。支持配置绝对路径或相对路径(相对执行命令行时的当前路径):
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
- |
storage_limit |
指定落盘目录允许存放的最大文件容量。当Profiling数据文件在磁盘中即将占满本参数设置的最大存储空间或剩余磁盘总空间即将被占满时(总空间剩余<=20MB),则将磁盘内最早的文件进行老化删除处理。 取值范围为[200, 4294967295],单位为MB,例如--storage-limit=200MB,默认未配置本参数。 未配置本参数时,默认取值为Profiling数据文件存放目录所在磁盘可用空间的90%。 |
Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
- |
aicpu |
采集AI CPU算子的详细信息,如:算子执行时间、数据拷贝时间等。可选on或off,默认值为off。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
aic_metrics |
AI Core和AI Vector Core采集事件。取值包括:
说明:
支持自定义需要采集的寄存器,例如:"aic_metrics":"Custom:0x49,0x8,0x15,0x1b,0x64,0x10"。
|
Atlas 200/300/500 推理产品:支持AI Core采集 Atlas 200/500 A2推理产品:支持AI Core和AI Vector Core采集 Atlas 推理系列产品(Ascend 310P处理器):支持AI Core采集 Atlas 训练系列产品:支持AI Core采集 Atlas A2训练系列产品:支持AI Core和AI Vector Core采集 |
|
l2 |
控制L2 Cache采样数据的开关,可选on或off,默认为off。 |
Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
hccl |
控制hccl数据采集开关。
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
task_time |
控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值:
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
msprof_*.json中的CANN层级和api_statistic_*.csv文件 msprof_*.json中的Ascend Hardware层级 |
ascendcl |
控制acl性能数据采集的开关,可选on或off,默认为on。 可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
runtime_api |
控制runtime api性能数据采集开关,可选on或off,默认为on。 可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
sys_hardware_mem_freq |
DDR、HBM带宽及内存信息采集频率、LLC的读写带宽数据采集频率、acc_pmu数据和SOC传输带宽信息采集频率、组件内存采集频率。 取值范围为[1,100],单位hz。
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
msprof_*.json中的DDR层级和ddr_*.csv文件 msprof_*.json中的HBM层级和hbm_*.csv文件 msprof_*.json中的LLC of Ai CPU层级和llc_aicpu_*.csv文件 msprof_*.json中的LLC of Ctrl CPU层级和llc_ctrlcpu_*.csv文件 msprof_*.json中的LLC Bandwidth层级和llc_bandwidth_*.csv文件 msprof_*.json中的LLC层级和llc_read_write_*.csv文件 msprof_*.json中的Stars Soc Info层级 |
llc_profiling |
LLC Profiling采集事件,可以设置为:
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
msprof_*.json中的LLC of Ai CPU层级和llc_aicpu_*.csv文件 |
sys_io_sampling_freq |
NIC、ROCE采集频率。取值范围为[1,100],单位hz。
|
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 训练系列产品 Atlas A2训练系列产品 |
|
sys_interconnection_freq |
集合通信带宽数据(HCCS)、PCIe数据采集频率,片间传输带宽信息采集频率。 取值范围为[1,50],默认值50,单位hz。
|
Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
msprof_*.json中的PCIe层级和pcie_*.csv文件 |
dvpp_freq |
DVPP采集频率。 取值范围为[1,100],单位hz。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器)支持采集但暂不支持数据解析 Atlas 训练系列产品 Atlas A2训练系列产品 |
Atlas 推理系列产品(Ascend 310P处理器)不支持解析该性能数据 |
instr_profiling_freq |
AI Core和AI Vector的带宽和延时采集频率,范围[300,30000],单位cycle。 说明:
仅Atlas A2训练系列产品单算子场景支持。 |
Atlas A2训练系列产品 |
|
host_sys |
Host侧性能数据采集开关,取值包括:
可选其中的一项或多项,选多项时用英文逗号隔开,例如"host_sys": "cpu,mem"。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
host_sys_usage |
采集Host侧系统及所有进程的CPU和内存数据,取值包括cpu和mem。 可选其中的一项或多项,选多项时用英文逗号隔开,例如"host_sys_usage": "cpu,mem"。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
|
host_sys_usage_freq |
配置Host侧系统和所有进程CPU、内存数据的采集频率。 取值范围为[1,50],默认值50,单位hz。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 Atlas A2训练系列产品 |
- |
msproftx |
控制msproftx用户和上层框架程序输出性能数据的开关,可选on或off,默认值为off。 Profiling开启msproftx功能之前,需要在程序内调用msproftx相关接口来开启程序的Profiling数据流的输出,详细操作请参见AscendCL API扩展接口采集性能数据。 |
Atlas 200/300/500 推理产品 Atlas 200/500 A2推理产品 Atlas 推理系列产品(Ascend 310P处理器) Atlas 训练系列产品 |
“output”指定路径下生成Profiling性能原始数据,如图1所示。
如果acl.json文件之前已经存在,本处仅仅是修改文件内容、添加Profiling相关配置,则不需要重新编译应用工程。