下载
中文
注册

使用环境变量采集性能数据

环境变量方式采集适用于TensorFlow框架训练/在线推理场景。与直接使用TensorFlow框架接口采集方式不同的是,环境变量方式是在训练/在线推理脚本中直接插入PROFILING_OPTIONS环境变量配置性能数据采集项。

前提条件

  • 训练场景:
    • 准备好基于TensorFlow 1.15开发的训练模型以及配套的数据集,并按照TensorFlow 1.15模型迁移指南中的“手工迁移”或“自动迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
    • 准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集,并按照TensorFlow 2.6.5模型迁移指南中的“手工迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
  • 在线推理场景:下载预训练模型并准备在线推理脚本。

操作步骤

配置的环境变量内容示例如下。
export PROFILING_MODE=true
export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'

PROFILING_OPTIONS参数解释及使用方法,请参见Profiling options参数解释

配置profiling_modetrue但未配置profiling_options情况下Profiling默认会执行training_tracetask_tracehcclaicpuaic_metrics(PipeUtilization)采集并将采集到的数据保存在当前AI任务所在目录;当配置profiling_modetrue且配置profiling_options任意参数后,profiling_options参数默认情况请参见Profiling options参数解释

采集结果说明

配置PROFILING_OPTIONS参数后请参见使用msprof命令解析与导出性能数据将原始数据文件解析并导出为可视化的性能数据文件,保存在PROF_XXX/mindstudio_profiler_output目录下。

采集的结果文件如表1所示。

表1 采集结果文件

参数

结果文件

默认自动生成

msprof(timeline数据总表)

op_summary_*.csv

op_statistic_*.csv

fusion_op_*.csv

step_trace(迭代轨迹数据)

task_trace、task_time

msprof_*.json中的CANN层级和api_statistic_*.csv文件

msprof_*.json中的Ascend Hardware层级和task_time_*.csv文件

msprof_*.json中的HCCL层级和hccl_statistic_*.csv文件

step_trace_*.json

runtime_api

msprof_*.json中的CANN_Runtime层级和api_statistic_*.csv文件

hccl

msprof_*.json中的HCCL层级和hccl_statistic_*.csv文件

api_statistic_*.csv

aicpu

aicpu_*.csv

dp_*.csv

aic_metrics

op_summary_*.csv

l2

l2_cache_*.csv

msproftx

msproftx数据

sys_hardware_mem_freq

片上内存读写速率文件

msprof_*.json中的LLC层级和llc_read_write_*.csv文件

msprof_*.json中的acc_pmu层级

msprof_*.json中的Stars Soc Info层级

msprof_*.json中的NPU MEM层级和npu_mem_*.csv文件

npu_module_mem_*.csv

llc_profiling

-

sys_io_sampling_freq

msprof_*.json中的NIC层级和nic_*.csv文件

msprof_*.json中的RoCE层级和roce_*.csv文件

sys_interconnection_freq

msprof_*.json中的PCIe层级和pcie_*.csv文件

msprof_*.json中的HCCS层级和hccs_*.csv文件

msprof_*.json中的Stars Chip Trans层级

dvpp_freq

dvpp_*.csv

instr_profiling_freq

msprof_*.json中的biu_group、aic_core_group、aiv_core_group层级

host_sys

msprof_*.json中的CPU Usage层级和host_cpu_usage_*.csv文件

msprof_*.json中的Memory Usage层级和host_mem_usage_*.csv文件

host_sys_usage

Host侧系统CPU利用率数据

Host侧进程CPU利用率数据

Host侧系统内存利用率数据

Host侧进程内存利用率数据

host_sys_usage_freq

-