Ascend PyTorch Profiler接口采集数据

采集数据目录说明

原始的性能数据落盘目录结构为：

• 调用tensorboard_trace_handler函数时的落盘目录结构：
  

  • 以下数据文件用户无需打开查看，可使用《MindStudio Insight 用户指南》工具进行性能数据的查看和分析。

  • 若kernel_details.csv中出现StepID空值，用户可通过trace_view.json文件查看该算子的Step信息，或重新采集Profiling数据。

  └── localhost.localdomain_139247_20230628101435_ascend_pt    // 解析结果目录，命名格式：{worker_name}_{时间戳}_ascend_pt，默认情况下{worker_name}为{hostname}_{pid}
      ├── profiler_info.json              // 多卡或集群场景命名规则为profiler_info_{Rank_ID}.json，用于记录Profiler相关的元数据
      ├── ASCEND_PROFILER_OUTPUT          // Ascend PyTorch Profiler接口采集性能数据
      │   ├── ascend_pytorch_profiler_{rank_id}.db          // export_type=torch_npu.profiler.ExportType.Db时该目录下仅生成.db文件，其他.json和.csv文件不生成，使用MindStudio Insight工具展示
      │   ├── analysis.db                // 多卡或集群等存在通信的场景下，设置export_type=torch_npu.profiler.ExportType.Db时该目录下仅生成.db文件，其他.json和.csv文件不生成，使用MindStudio Insight工具展示
      │   ├── communication.json         // 为多卡或集群等存在通信的场景性能分析提供可视化数据基础，配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── communication_matrix.json   // 通信小算子基本信息文件，配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── data_preprocess.csv        // 配置experimental_config profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── kernel_details.csv
      │   ├── l2_cache.csv               // 配置experimental_config的l2_cache=True生成
      │   ├── memory_record.csv
      │   ├── npu_module_mem.csv
      │   ├── operator_details.csv
      │   ├── operator_memory.csv
      │   ├── step_trace_time.csv        // 迭代中计算和通信的时间统计
      │   ├── op_statistic.csv           // AI Core和AI CPU算子调用次数及耗时数据
      │   ├── api_statistic.csv          // 配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   └── trace_view.json
      ├── FRAMEWORK                      // 框架侧的性能原始数据，无需关注，data_simplification=True时删除此目录
      │   ├── torch.memory_usage
      │   ├── torch.op_mark
      │   ├── torch.op_range
      │   ├── torch.python_func_call     // with_stack=True时生成
      │   └── torch.python_module_call   // with_stack=True时生成
      └── PROF_000001_20230628101435646_FKFLNPEPPRRCFCBA  // CANN层的性能数据，命名格式：PROF_{数字}_{时间戳}_{字符串}，data_simplification=True时，仅保留此目录下的原始性能数据，删除其他数据
            ├── analyze      // 配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
            ├── device_*
            ├── host
            ├── mindstudio_profiler_log
            └── mindstudio_profiler_output
  ├── localhost.localdomain_139247_20230628101435_ascend_pt_op_args // 算子信息统计文件目录，配置experimental_config的record_op_args=True生成
      ├── 进程ID
      │    ├── operator_name+data_type+timestamp.json // 算子信息统计文件

  Ascend PyTorch Profiler接口将框架侧的数据与CANN Profling的数据关联整合，形成trace、kernel以及memory等性能数据文件。各文件详细说明如下文所示。

  FRAMEWORK为框架侧的性能原始数据，无需关注；PROF目录下为CANN Profling采集的性能数据，主要保存在mindstudio_profiler_output目录下，数据介绍请参见性能数据文件参考。

• 调用export_chrome_trace方法时，Ascend PyTorch Profiler接口会将解析的trace数据写入到*.json文件中，其中*为文件名，不存在该文件时在指定路径下自动创建。

trace_view.json

图1 trace_view

如图1所示，trace数据主要展示如下区域：

• 区域1：上层应用数据，包含上层应用算子的耗时信息。
• 区域2：CANN层数据，主要包含AscendCL、GE和Runtime组件的耗时数据。
• 区域3：底层NPU数据，主要包含Task Scheduler组件耗时数据和迭代轨迹数据以及其他昇腾AI处理器系统数据。
• 区域4：展示trace中各算子、接口的详细信息。单击各个trace事件时展示。

trace_view.json支持使用TensorBoard工具、chrome://tracing/和https://ui.perfetto.dev/打开。

图2 trace_view（record_shapes）

打开record_shapes开关时，trace_view中的上层应用算子会显示Input Dims和Input type信息。

图3 trace_view（with_stack）

打开with_stack开关时，trace_view中的上层应用算子会显示Call stack信息。

kernel_details.csv

图4 kernel_details

kernel_details.csv文件由torch_npu.profiler.ProfilerActivity.NPU开关控制，文件包含在NPU上执行的所有算子的信息，若用户前端调用了schedule进行step打点，则会增加Step Id字段。字段信息如表1所示。

• 当配置experimental_config的aic_metrics参数时，kernel_details.csv文件将根据experimental_config参数的aic_metrics配置增加对应字段，主要增加内容请参见experimental_config参数说明，文件内相关字段详细介绍请参见op_summary（算子详细信息）。
• 若kernel_details.csv文件中缺失Step Id信息，建议通过trace_view.json获取算子所处的step或重新采集性能数据。

memory_record.csv

图5 memory_record

memory_record.csv文件由profile_memory开关控制，文件包含PTA和GE的内存占用记录，主要记录PTA和GE组件录算子级（PTA、GE、PTA+GE）、进程级申请的内存及占用时间。字段信息如表2所示。

operator_memory.csv

图6 operator_memory

operator_memory.csv文件由profile_memory开关控制，文件包含算子的内存占用明细，主要记录算子在NPU上执行所需内存及占用时间，其中内存由PTA和GE申请。字段信息如表3所示。

若operator_memory.csv文件中出现负值或空值，详细原因请参见负值空值说明。

npu_module_mem.csv

图7 npu_module_mem

npu_module_mem.csv数据在PyTorch性能数据采集时自动采集，包含组件级的内存占用情况，主要记录组件在NPU上执行时，当前时刻所占用的内存。字段信息如表4所示。

operator_details.csv

图8 operator_details

operator_details.csv文件由torch_npu.profiler.ProfilerActivity.CPU开关控制，operator_details.csv文件包含信息如表5所示。

step_trace_time.csv

图9 step_trace_time

step_trace_time.csv文件由trace_view.json文件数据为基础提取而来，包含信息如表6所示。

data_preprocess.csv

data_preprocess.csv文件记录AI CPU数据，详见aicpu（AI CPU算子详细耗时）。

l2_cache.csv

详见l2_cache（L2 Cache命中率）。

op_statistic.csv

详见op_statistic（算子调用次数及耗时）。

api_statistic.csv

详见api_statistic_*.csv文件说明。