使用环境变量采集性能数据
环境变量方式采集适用于TensorFlow框架训练/在线推理场景。与直接使用TensorFlow框架接口采集方式不同的是,环境变量方式是在训练/在线推理脚本中直接插入PROFILING_OPTIONS环境变量配置性能数据采集项。
前提条件
操作步骤
export PROFILING_MODE=true export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'
PROFILING_OPTIONS参数解释及使用方法,请参见Profiling options参数解释。

配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics(PipeUtilization)采集并将采集到的数据保存在当前AI任务所在目录;当配置profiling_mode为true且配置profiling_options任意参数后,profiling_options参数默认情况请参见Profiling options参数解释。
采集结果说明
配置PROFILING_OPTIONS参数后请参见使用msprof命令解析与导出性能数据将原始数据文件解析并导出为可视化的性能数据文件,保存在PROF_XXX/mindstudio_profiler_output目录下。
采集的结果文件如表1所示。
参数 |
结果文件 |
---|---|
默认自动生成 |
|
task_trace、task_time |
msprof_*.json中的CANN层级和api_statistic_*.csv文件 msprof_*.json中的Ascend Hardware层级和task_time_*.csv文件 |
runtime_api |
|
hccl |
|
aicpu |
|
aic_metrics |
|
l2 |
|
msproftx |
|
sys_hardware_mem_freq |
msprof_*.json中的LLC层级和llc_read_write_*.csv文件 msprof_*.json中的Stars Soc Info层级 |
llc_profiling |
- |
sys_io_sampling_freq |
|
sys_interconnection_freq |
msprof_*.json中的PCIe层级和pcie_*.csv文件 |
dvpp_freq |
|
instr_profiling_freq |
|
host_sys |
|
host_sys_usage |
|
host_sys_usage_freq |
- |