采集AI任务运行性能数据

前提条件

命令示例

登录Ascend-cann-toolkit开发套件包所在环境，执行以下命令采集性能数据。命令示例如下：

msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --ascendcl=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on

采集AI任务运行性能数据--application必选。

参数说明

表1 参数说明

参数

描述

支持的型号

性能数据文件

--ascendcl

控制AscendCL性能数据采集的开关，可选on或off，默认为on。

可采集AscendCL性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

msprof_*.json中的CANN_AscendCL层级和api_statistic_*.csv文件

--model-execution

控制ge model execution性能数据采集开关，可选on或off，默认为on。

说明：

此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

fusion_op_*.csv

--runtime-api

控制runtime api性能数据采集开关，可选on或off，默认为off。可采集runtime-api性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

msprof_*.json中的CANN_Runtime层级和api_statistic_*.csv文件

--hccl

控制HCCL数据采集开关，可选on或off，默认为off。

说明：

此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

msprof_*.json中的HCCL层级和hccl_statistic_*.csv文件

api_statistic_*.csv

--task-time

控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值：

  • l0：采集算子下发耗时、算子执行耗时数据。与l1相比，由于不采集算子基本信息数据，采集时性能开销较小，可更精准统计相关耗时数据。
  • l1：采集算子下发耗时、算子执行耗时数据以及算子基本信息数据，提供更全面的性能分析数据。
  • l2：采集attr信息。
  • on：开启，默认值，和配置为l1的效果一样。
  • off：关闭。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

msprof_*.json中的CANN层级和api_statistic_*.csv文件

msprof_*.json中的Ascend Hardware层级和task_time_*.csv文件

msprof_*.json中的HCCL层级和hccl_statistic_*.csv文件

step_trace（迭代轨迹数据）

op_summary_*.csv

op_statistic_*.csv

fusion_op_*.csv

--aicpu

采集AICPU算子的详细信息，如：数据拷贝时间等。可选on或off，默认值为off。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

aicpu_*.csv

dp_*.csv

--ai-core

控制AI Core、AI Vector Core数据采集的开关，可选on或off，默认值为on。

  • Atlas 200/300/500 推理产品：控制AI Core采集
  • Atlas 200/500 A2推理产品：控制AI Core和AI Vector Core采集
  • Atlas 推理系列产品（Ascend 310P处理器）：控制AI Core采集
  • Atlas 训练系列产品：控制AI Core采集
  • Atlas A2训练系列产品：控制AI Core和AI Vector Core采集

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

op_summary_*.csv

--aic-mode

AI Core、AI Vector Core硬件的采集类型，可选值task-based或sample-based。该参数配置前提是ai-core参数设置为on。

task-based是以task为粒度进行性能数据采集，sample-based是以固定的时间周期进行性能数据采集，采集AI任务性能数据时建议使用task-based，如果不配置默认为task-based。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

-

--aic-freq

sample-based场景下的采样频率，默认值100，范围1~100，单位hz。该参数配置前提是ai-core参数设置为on。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

-

--aic-metrics

AI Core、AI Vector Core性能指标采集项。该参数配置前提是ai-core参数设置为on。

取值包括：

  • Atlas 200/300/500 推理产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio
  • Atlas 200/500 A2推理产品：ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache、PipelineExecuteUtilization（默认值）
  • Atlas 推理系列产品（Ascend 310P处理器）：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio
  • Atlas 训练系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio
  • Atlas A2训练系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache
说明：
支持自定义需要采集的寄存器，例如：--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。
  • Custom字段表示自定义类型，配置为具体的寄存器值，取值范围为[0x1, 0x6E]。
  • 配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。
  • 寄存器的值支持十六进制或十进制。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

op_summary_*.csv

--sys-hardware-mem

任务级别的DDR、HBM内存采集开关，可选on或off，默认为off。

  • Atlas 200/300/500 推理产品：支持采集DDR内存数据
  • Atlas 200/500 A2推理产品：支持采集DDR内存数据
  • Atlas 推理系列产品（Ascend 310P处理器）：支持采集DDR内存数据
  • Atlas 训练系列产品：支持采集DDR、HBM内存数据
  • Atlas A2训练系列产品：支持采集HBM内存数据

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

msprof_*.json中的NPU_MEM层级

npu_module_mem_*.csv

--sys-hardware-mem-freq

任务级别的DDR、HBM内存信息采集频率，范围[1,100]，默认值为50，单位hz。

设置该参数需要sys-hardware-mem参数设置为on。

Atlas 200/300/500 推理产品

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

-

--l2

控制L2 Cache采样数据的开关，可选on或off，默认为off。

  • Atlas 200/500 A2推理产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。
  • Atlas A2训练系列产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。

Atlas 200/500 A2推理产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 训练系列产品

Atlas A2训练系列产品

l2_cache_*.csv
父主题： 性能数据采集