工具使用

msprof op

1. 登录运行环境，需要先使用msprof op参数开启算子上板调优，再使用msprof op 可选参数 app [arguments]格式调用，可选参数的具体情况请参考表2。具体命令示例如下：

   msprof op --output=/home/projects/output /home/projects/MyApp/out/main    // --output为可选参数  /home/projects/MyApp/out/main为使用的app 

2. 通过以下两种方式执行算子调优：
   • 基于可执行文件，以add_custom_npu为例。
     示例一：

     msprof op ./add_custom_npu

     示例二：

     msprof op --aic-metrics=<select_metrics> --output=./output_data ./add_custom_npu 

   • 基于输入算子二进制文件*.o的配置文件.json。

     msprof op --config=./add_test.json --aic-metrics=<select_metrics> --output=./output_data

3. 命令完成后，会在默认路径或指定的“--output”目录下生成以“OPPROF_{timestamp}_XXX”命名的文件夹，在“--aic-metrics”全部开启时，结构示例如下：
   • 采集多卡多算子的场景。

     └──OPPROF_xxx
     ├── device0                  // 运行时使用昇腾AI处理器的ID
     └── device1                
       ├── OpName0                // OpName0为采集算子名称
       │ ├── 0                   // 表示算子调度顺序
       │ │ ├──dump              // 与单算子含义一致，存放过程件的文件夹
       │ │ └──xxx_yyy.csv       //xxx代表该算子生成的指标种类名，例如L2Cache，具体指标种类可参考表1中的csv文件介绍，yyy为csv文件的时序后缀，例如L2Cache_20240603022812284.csv
       │ │ └──visualize_data.bin  
       ├── OpName1               
       │ ├── 0
       │ │ ├──dump       
       │ │ └──xxx_yyy.csv
       │ │ └──visualize_data.bin  
       ├── OpName2         
       │ ├── 0
       │ │ ├── dump       
       │ │ └── xxx_yyy.csv
       │ │ └──visualize_data.bin 

   • 采集单卡多算子场景。

     └──OPPROF_xxx
     ├── OpName0                  // OpName0为采集算子名称
     │ ├── 0                     // 表示算子调度顺序
     │ │ ├──dump                // 与单算子含义一致，存放过程件的文件夹
     │ │ └──xxx_yyy.csv   //xxx代表该算子生成的指标种类名，例如L2Cache，具体指标种类可参考表1中的csv文件介绍，yyy为csv文件的时序后缀，例如L2Cache_20240603022812284.csv
     │ │ └──visualize_data.bin  
     │ ├── 1
     │ │ ├──dump       
     │ │ └──xxx_yyy.csv
     │ │ └──visualize_data.bin  
     ├── OpName1         
     │ ├── 0
     │ │ ├── dump       
     │ │ └── xxx_yyy.csv
     │ │ └──visualize_data.bin 

   • 采集单卡单算子场景。

     OPPROF_xxx
     ├── dump
     ├── ArithmeticUtilization.csv
     ├── L2Cache.csv
     ├── Memory.csv
     ├── MemoryL0.csv
     ├── MemoryUB.csv
     ├── OpBasicInfo.csv
     ├── PipeUtilization.csv
     └── ResourceConflictRatio.csv
     ├── visualize_data.bin 

     表1 msprof op文件介绍

     名称	说明
     dump文件夹	原始的性能数据，用户无需关注。 说明： 仅Atlas 推理系列产品（Ascend 310P处理器）场景下会生成此L2Cache.bin文件。
     ArithmeticUtilization.csv	cube和vector类型的指令耗时和占比，可参考ArithmeticUtilization（cube及vector类型指令耗时和占比）。
     L2Cache.csv	L2 Cache命中率，可参考L2Cache（L2 Cache命中率）。
     Memory.csv	UB/L1/L2/主存储器采集内存读写带宽速率，可参考Memory（内存读写带宽速率）。
     MemoryL0.csv	L0A/L0B/L0C采集内存读写带宽速率，可参考MemoryL0（L0读写带宽速率）。
     MemoryUB.csv	mte/vector/scalar采集ub读写带宽速率，可参考MemoryUB（UB读写带宽速率）。
     PipeUtilization.csv	采集计算单元和搬运单元耗时和占比，可参考PipeUtilization（计算单元和搬运单元耗时占比）。
     ResourceConflictRatio.csv	UB上的 bank group、bank conflict和资源冲突在所有指令中的占比，可参考ResourceConflictRatio（资源冲突占比）。
     OpBasicInfo.csv	算子基础信息，包含算子名称、block dim和耗时等信息，可参考OpBasicInfo（算子基础信息）。
     visualize_data.bin	算子基础信息和计算单元负载等信息的可视化呈现文件，可参考计算内存热力图。 说明： 生成的算子基础信息及计算单元负载等信息可视化呈现文件visualize_data.bin可通过MindStudio Insight工具进行可视化展示，具体使用方法请参考《MindStudio Insight 用户指南》。

4. 将visualize_data.bin文件导入MindStudio Insight后，将会展示计算内存热力图。

msprof op simulator

算子调优工具支持仿真环境下的性能数据采集和自动解析。

由于仿真器不支持多设备，如果调用算子的应用程序main.cpp或其他代码文件中配置使用了设备号deviceid，需要修改为0。