下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

采集AI任务运行性能数据

命令示例

命令示例如下:

# 登录运行环境根据环境搭建配置环境变量后执行以下命令。
msprof --application=/home/HwHiAiUser/HIAI_PROJECTS/MyAppname/out/main --output=/home/HwHiAiUser --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on

采集AI任务运行性能数据--application必选。

参数说明

表1 参数说明

参数

描述

可选/必选

--ascendcl

控制acl性能数据采集的开关,可选on或off,默认为on。

可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

可选

--model-execution

控制ge model execution性能数据采集开关,可选on或off,默认为off。

该参数采集能力集成到--task-time中,若须单独采集可关闭--task-time开关。

可选

--runtime-api

控制runtime api性能数据采集开关,可选on或off,默认为off。可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

可选

--hccl

控制HCCL数据采集开关,可选on或off,默认为off。

可选

--task-time

控制任务调度耗时以及算子耗时的开关。涉及在ai_stack_time、task_time、op_summary、op_statistic等文件中输出相关耗时数据。

可选on或off,默认为on。

可选

--aicpu

采集AICPU算子的详细信息,如:数据拷贝时间等。可选on或off,默认值为off。

可选

--ai-core

控制AI Core数据采集的开关,可选on或off,默认值为on。

可选

--aic-mode

AI Core硬件的采集类型,可选值task-based或sample-based。

task-based是以task为粒度进行性能数据采集,sample-based是以固定的时间周期进行性能数据采集。

配置为采集AI任务运行性能数据时自动识别为task-based;配置为采集昇腾AI处理器系统数据时自动识别为sample-based。

该参数配置前提是ai-core参数设置为on。

可选

--aic-freq

sample-based场景下的采样频率,默认值100,范围1~100,单位hz。

该参数配置前提是ai-core参数设置为on。

可选

--aic-metrics

AI Core性能指标采集项,默认为PipeUtilization,包括ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio。以上各参数值对应的详细采集指标请参见AI Core性能指标采集项说明

该参数配置前提是ai-core参数设置为on。

可选

--l2

控制L2采样数据的开关,可选on或off,默认为off。

Atlas 推理系列产品,支持该参数。

Atlas 训练系列产品,支持该参数。

可选

通过--ascendcl和--runtime-api参数采集Host与Device之间、Device间的同步异步内存复制时延性能数据前,需要安装Ascend-cann-toolkit开发套件包。

采集数据说明

配置采集AI任务运行时性能数据参数后生成的Profiling数据如表2表3所示。

表2 采集内容(timeline)

timeline文件名

相关参数

说明

msprof*.json

所有可生成数据的参数均会在此文件写入数据。

timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表

ai_stack_time_*.json

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

各个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览

thread_group_*.json

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

AscendCL,GE,Runtime组件耗时数据。该文件内的各组件数据按照线程(Thread)粒度进行排列,方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据(按线程粒度展示)

task_time_*.json

--task-time

Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据

acl_*.json

--ascendcl

AscendCL接口耗时数据。文件详情请参见AscendCL接口耗时数据

runtime_api_*.json

--runtime-api

Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据

ge_*.json

--task-time

--model-execution

以上参数必选其一。

GE接口耗时数据。文件详情请参见GE接口耗时数据

ge_op_execute_*.json

--task-time

--model-execution

以上参数必选其一。

算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据

step_trace_*.json

--task-time

迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据

hccl_*.json

--hccl

HCCL数据。文件详情请参见HCCL数据

注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。

表3 采集内容(summary)

summary文件名

相关参数

说明

acl_*.csv

--ascendcl

AscendCL接口的耗时。详情请参见AscendCL接口耗时数据

acl_statistic_*.csv

--ascendcl

AscendCL接口调用次数及耗时。详情请参见AscendCL接口调用次数及耗时数据

op_summary_*.csv

--task-time

AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据

op_statistic_*.csv

--task-time

AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据

step_trace_*.csv

--task-time

迭代轨迹数据。文件详情请参见迭代轨迹数据

ai_stack_time_*.csv

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据

runtime_api_*.csv

--runtime-api

每个runtime api的调用时长。详情请参见Runtime接口耗时数据

fusion_op_*.csv

--model-execution

--task-time

以上参数必选其一。

模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据

ge_op_execute_*.csv

--model-execution

--task-time

以上参数必选其一。

算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据

task_time_*.csv

--task-time

Task Scheduler的任务调度信息数据。详情请参见:

aicpu_*.csv

--aicpu

AI CPU数据。文件详情请参见AI CPU数据

l2_cache_*.csv

--l2

L2Cache数据。详情请参见L2Cache数据

Atlas 推理系列产品,支持该参数。

Atlas 训练系列产品,支持该参数。

prof_rule_0.json

-

调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议

注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词