Ascend PyTorch Profiler接口采集数据

采集数据目录说明

原始的性能数据落盘目录结构为：

• 调用tensorboard_trace_handler函数时的落盘目录结构：
  

  • 以下数据文件用户无需打开查看，可使用《MindStudio Insight 用户指南》工具进行性能数据的查看和分析。

  • 若kernel_details.csv中出现StepID空值，用户可通过trace_view.json文件查看该算子的Step信息，或重新采集Profiling数据。
  • 以下数据是基于实际环境采集，若环境中无对应条件，则不会生成对应数据或文件，如模型无AICPU算子，那么即使执行采集也不会生成对应data_preprocess.csv文件。

  └── localhost.localdomain_139247_20230628101435_ascend_pt    // 解析结果目录，命名格式：{worker_name}_{时间戳}_ascend_pt，默认情况下{worker_name}为{hostname}_{pid}
      ├── profiler_info.json              // 多卡或集群场景命名规则为profiler_info_{Rank_ID}.json，用于记录Profiler相关的元数据
      ├── profiler_metadata.json
      ├── ASCEND_PROFILER_OUTPUT          // Ascend PyTorch Profiler接口采集性能数据
      │   ├── ascend_pytorch_profiler_{rank_id}.db          // export_type=torch_npu.profiler.ExportType.Db时该目录下仅生成.db文件，其他.json和.csv文件不生成，使用MindStudio Insight工具展示
      │   ├── analysis.db                // 多卡或集群等存在通信的场景下，设置export_type=torch_npu.profiler.ExportType.Db时该目录下仅生成.db文件，其他.json和.csv文件不生成，使用MindStudio Insight工具展示
      │   ├── communication.json         // 为多卡或集群等存在通信的场景性能分析提供可视化数据基础，配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── communication_matrix.json   // 通信小算子基本信息文件，配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── data_preprocess.csv        // 配置experimental_config profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   ├── kernel_details.csv
      │   ├── l2_cache.csv               // 配置experimental_config的l2_cache=True生成
      │   ├── memory_record.csv
      │   ├── npu_module_mem.csv
      │   ├── operator_details.csv
      │   ├── operator_memory.csv
      │   ├── step_trace_time.csv        // 迭代中计算和通信的时间统计
      │   ├── op_statistic.csv           // AI Core和AI CPU算子调用次数及耗时数据
      │   ├── api_statistic.csv          // 配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
      │   └── trace_view.json
      ├── FRAMEWORK                      // 框架侧的性能原始数据，无需关注，data_simplification=True时删除此目录
      │   ├── torch.memory_usage
      │   ├── torch.op_mark
      │   ├── torch.op_range
      │   ├── torch.python_tracer_func     // with_stack=True或with_modules=True时生成
      │   └── torch.python_tracer_hash   // with_stack=True或with_modules=True时生成
      └── PROF_000001_20230628101435646_FKFLNPEPPRRCFCBA  // CANN层的性能数据，命名格式：PROF_{数字}_{时间戳}_{字符串}，data_simplification=True时，仅保留此目录下的原始性能数据，删除其他数据
            ├── analyze      // 配置experimental_config的profiler_level=torch_npu.profiler.ProfilerLevel.Level1或profiler_level=torch_npu.profiler.ProfilerLevel.Level2生成
            ├── device_*
            ├── host
            ├── mindstudio_profiler_log
            └── mindstudio_profiler_output
  ├── localhost.localdomain_139247_20230628101435_ascend_pt_op_args // 算子信息统计文件目录，配置experimental_config的record_op_args=True生成

  Ascend PyTorch Profiler接口将框架侧的数据与CANN Profling的数据关联整合，形成trace、kernel以及memory等性能数据文件。各文件详细说明如下文所示。

  FRAMEWORK为框架侧的性能原始数据，无需关注；PROF目录下为CANN Profling采集的性能数据，主要保存在mindstudio_profiler_output目录下，数据介绍请参见性能数据文件参考。

• 调用export_chrome_trace方法时，Ascend PyTorch Profiler接口会将解析的trace数据写入到*.json文件中，其中*为文件名，不存在该文件时在指定路径下自动创建。

trace_view.json

如图1所示，trace数据主要展示如下区域：

• 区域1：上层应用数据，包含上层应用算子的耗时信息。
• 区域2：CANN层数据，主要包含AscendCL、GE和Runtime组件的耗时数据。
• 区域3：底层NPU数据，主要包含Task Scheduler组件耗时数据和迭代轨迹数据以及其他昇腾AI处理器系统数据。
• 区域4：展示trace中各算子、接口的详细信息。单击各个trace事件时展示。

打开record_shapes开关时，trace_view中的上层应用算子会显示Input Dims和Input type信息。

打开with_stack开关时，trace_view中的上层应用算子会显示Call stack信息。

图4采集结果中Python GC层的时间段为本次GC执行的时间。

GC执行时，会阻塞当前进程，需要等待GC完成，若GC时间过长，可以通过调整GC参数（可参考垃圾回收器中的gc.set_threshold）来缓解GC造成的进程阻塞。

kernel_details.csv

kernel_details.csv文件由torch_npu.profiler.ProfilerActivity.NPU开关控制，文件包含在NPU上执行的所有算子的信息，若用户前端调用了schedule进行step打点，则会增加Step Id字段。字段信息如表1所示。

memory_record.csv

memory_record.csv文件由profile_memory开关控制，文件包含PTA和GE的内存占用记录，主要记录PTA和GE组件录算子级（PTA、GE、PTA+GE）、进程级申请的内存及占用时间。字段信息如表2所示。

operator_memory.csv

operator_memory.csv文件由profile_memory开关控制，文件包含算子的内存占用明细，主要记录算子在NPU上执行所需内存及占用时间，其中内存由PTA和GE申请。字段信息如表3所示。

npu_module_mem.csv

npu_module_mem.csv数据在PyTorch性能数据采集时自动采集，包含组件级的内存占用情况，主要记录组件在NPU上执行时，当前时刻所占用的内存。字段信息如表4所示。

operator_details.csv

operator_details.csv文件由torch_npu.profiler.ProfilerActivity.CPU开关控制，operator_details.csv文件包含信息如表5所示。

step_trace_time.csv

step_trace_time.csv文件由trace_view.json文件数据为基础提取而来，包含信息如表6所示。

data_preprocess.csv

data_preprocess.csv文件记录AI CPU数据，示例和字段说明以aicpu（AI CPU算子详细耗时）为参考，实际结果略有不同，请以实际情况为准。

l2_cache.csv

示例和字段说明以l2_cache（L2 Cache命中率）为参考，实际结果略有不同，请以实际情况为准。

op_statistic.csv

示例和字段说明以op_statistic（算子调用次数及耗时）为参考，实际结果略有不同，请以实际情况为准。

api_statistic.csv

示例和字段说明以api_statistic_*.csv文件说明为参考，实际结果略有不同，请以实际情况为准。