采集AI任务运行性能数据
命令示例
命令示例如下:
# 登录运行环境根据环境搭建配置环境变量后执行以下命令。 msprof --application=/home/HwHiAiUser/HIAI_PROJECTS/MyAppname/out/main --output=/home/HwHiAiUser --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on
采集AI任务运行性能数据--application必选。
参数说明
参数 |
描述 |
可选/必选 |
---|---|---|
--ascendcl |
控制acl性能数据采集的开关,可选on或off,默认为on。 可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
可选 |
--model-execution |
控制ge model execution性能数据采集开关,可选on或off,默认为off。 该参数采集能力集成到--task-time中,若须单独采集可关闭--task-time开关。 |
可选 |
--runtime-api |
控制runtime api性能数据采集开关,可选on或off,默认为off。可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
可选 |
--hccl |
控制HCCL数据采集开关,可选on或off,默认为off。 |
可选 |
--task-time |
控制任务调度耗时以及算子耗时的开关。涉及在ai_stack_time、task_time、op_summary、op_statistic等文件中输出相关耗时数据。 可选on或off,默认为on。 |
可选 |
--aicpu |
采集AICPU算子的详细信息,如:数据拷贝时间等。可选on或off,默认值为off。 |
可选 |
--ai-core |
控制AI Core数据采集的开关,可选on或off,默认值为on。 |
可选 |
--aic-mode |
AI Core硬件的采集类型,可选值task-based或sample-based。 task-based是以task为粒度进行性能数据采集,sample-based是以固定的时间周期进行性能数据采集。 配置为采集AI任务运行性能数据时自动识别为task-based;配置为采集昇腾AI处理器系统数据时自动识别为sample-based。 该参数配置前提是ai-core参数设置为on。 |
可选 |
--aic-freq |
sample-based场景下的采样频率,默认值100,范围1~100,单位hz。 该参数配置前提是ai-core参数设置为on。 |
可选 |
--aic-metrics |
AI Core性能指标采集项,默认为PipeUtilization,包括ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio。以上各参数值对应的详细采集指标请参见AI Core性能指标采集项说明。 该参数配置前提是ai-core参数设置为on。 |
可选 |
--l2 |
控制L2采样数据的开关,可选on或off,默认为off。 Atlas 推理系列产品,支持该参数。 Atlas 训练系列产品,支持该参数。 |
可选 |
通过--ascendcl和--runtime-api参数采集Host与Device之间、Device间的同步异步内存复制时延性能数据前,需要安装Ascend-cann-toolkit开发套件包。
采集数据说明
配置采集AI任务运行时性能数据参数后生成的Profiling数据如表2和表3所示。
timeline文件名 |
相关参数 |
说明 |
---|---|---|
msprof*.json |
所有可生成数据的参数均会在此文件写入数据。 |
timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。 |
ai_stack_time_*.json |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
各个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览。 |
thread_group_*.json |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
AscendCL,GE,Runtime组件耗时数据。该文件内的各组件数据按照线程(Thread)粒度进行排列,方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据(按线程粒度展示)。 |
task_time_*.json |
--task-time |
Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。 |
acl_*.json |
--ascendcl |
AscendCL接口耗时数据。文件详情请参见AscendCL接口耗时数据。 |
runtime_api_*.json |
--runtime-api |
Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。 |
ge_*.json |
--task-time --model-execution 以上参数必选其一。 |
GE接口耗时数据。文件详情请参见GE接口耗时数据。 |
ge_op_execute_*.json |
--task-time --model-execution 以上参数必选其一。 |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
step_trace_*.json |
--task-time |
迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据。 |
hccl_*.json |
--hccl |
HCCL数据。文件详情请参见HCCL数据。 |
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。 |
summary文件名 |
相关参数 |
说明 |
---|---|---|
acl_*.csv |
--ascendcl |
AscendCL接口的耗时。详情请参见AscendCL接口耗时数据。 |
acl_statistic_*.csv |
--ascendcl |
AscendCL接口调用次数及耗时。详情请参见AscendCL接口调用次数及耗时数据。 |
op_summary_*.csv |
--task-time |
AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。 |
op_statistic_*.csv |
--task-time |
AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。 |
step_trace_*.csv |
--task-time |
迭代轨迹数据。文件详情请参见迭代轨迹数据。 |
ai_stack_time_*.csv |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据。 |
runtime_api_*.csv |
--runtime-api |
每个runtime api的调用时长。详情请参见Runtime接口耗时数据。 |
fusion_op_*.csv |
--model-execution --task-time 以上参数必选其一。 |
模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。 |
ge_op_execute_*.csv |
--model-execution --task-time 以上参数必选其一。 |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
task_time_*.csv |
--task-time |
Task Scheduler的任务调度信息数据。详情请参见: |
aicpu_*.csv |
--aicpu |
AI CPU数据。文件详情请参见AI CPU数据。 |
l2_cache_*.csv |
--l2 |
L2Cache数据。详情请参见L2Cache数据。 Atlas 推理系列产品,支持该参数。 Atlas 训练系列产品,支持该参数。 |
prof_rule_0.json |
- |
调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议。 |
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。 |