性能数据采集(环境变量方式)
环境变量方式Profiling适用于在线推理/训练场景TensorFlow框架下开启Profiling数据采集。
前提条件
采集性能原始数据
export PROFILING_MODE=true export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'
PROFILING_OPTIONS参数解释及使用方法,请参见Profiling options参数解释。
配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics(PipeUtilization)采集并将采集到的数据保存在当前AI任务所在目录;当配置profiling_mode为true且配置profiling_options任意参数后,profiling_options参数默认情况请参见Profiling options参数解释。
采集数据说明
配置环境变量方式参数后请参见数据解析与导出将原始数据文件解析并导出为可视化的Timeline和Summary文件。
timeline文件名 |
相关参数 |
说明 |
---|---|---|
msprof*.json |
所有可生成数据的参数均会在此文件写入数据。 |
timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。 |
ai_stack_time_*.json |
runtime_api task_time 以上参数可选。 |
各个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览。 |
thread_group_*.json |
runtime_api task_time 以上参数可选。 |
AscendCL,GE,Runtime组件耗时数据。该文件内的各组件数据按照线程(Thread)粒度进行排列,方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据(按线程粒度展示)。 |
task_time_*.json |
task_time(可选) |
Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。 |
runtime_api_*.json |
runtime_api |
Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。 |
ge_*.json |
task_time(可选) |
GE接口耗时数据。文件详情请参见GE接口耗时数据。 |
ge_op_execute_*.json |
task_time |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
step_trace_*.json |
task_time |
迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据。 |
hccl_*.json |
hccl |
HCCL数据。文件详情请参见HCCL数据。 |
ddr_*.json |
sys_hardware_mem_freq |
DDR内存读写速率。详情请参见DDR内存读写速率数据。 |
hbm_*.json |
sys_hardware_mem_freq |
HBM内存读写速率。文件详情请参见HBM内存读写速率数据。(昇腾910 AI处理器) |
llc_read_write_*.json |
sys_hardware_mem_freq |
三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。(昇腾310P AI处理器)(昇腾910 AI处理器) |
nic_*.json |
sys_io_sampling_freq |
每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。(昇腾310 AI处理器)(昇腾910 AI处理器) |
roce_*.json |
sys_io_sampling_freq |
RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。(昇腾910 AI处理器) |
hccs_*.json |
sys_interconnection_freq |
集合通信带宽数据。文件详情请参见集合通信带宽数据。(昇腾910 AI处理器) |
pcie_*.json |
sys_interconnection_freq |
PCIe带宽。详情请参见PCIe带宽数据。(昇腾310P AI处理器)(昇腾910 AI处理器) |
host_cpu_usage.json |
host_sys |
Host侧CPU利用率。详情请参见Host侧CPU利用率数据。 |
host_mem_usage.json |
host_sys |
Host侧内存利用率。详情请参见Host侧内存利用率数据。 |
msproftx |
msproftx数据,通过Profiling AscendCL API for Extension(Profiling AscendCL API扩展接口)采集用户和上层框架程序的性能数据,并由msproftx参数进行数据导出。 |
|
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。 |
summary文件名 |
相关参数 |
说明 |
---|---|---|
op_summary_*.csv |
- |
AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。 |
op_statistic_*.csv |
- |
AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。 |
step_trace_*.csv |
- |
迭代轨迹数据。文件详情请参见迭代轨迹数据。 |
ai_stack_time_*.csv |
runtime_api task_time 以上参数可选。 |
每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据。 |
runtime_api_*.csv |
runtime_api |
每个runtime api的调用时长。详情请参见Runtime接口耗时数据。 |
fusion_op_*.csv |
- |
模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。 |
task_time_*.csv |
task_time |
Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。 |
ge_op_execute_*.csv |
task_time |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
aicpu_*.csv |
aicpu |
AI CPU数据。文件详情请参见AI CPU数据。 |
dp_*.csv |
aicpu |
数据增强Data PreProcess数据。文件详情请参见数据增强数据。(昇腾910 AI处理器) |
l2_cache_*.csv |
l2 |
L2Cache数据。详情请参见L2Cache数据。(昇腾310P AI处理器)(昇腾910 AI处理器) |
ddr_*.csv |
sys_hardware_mem_freq |
DDR内存读写速率。详情请参见DDR内存读写速率数据。 |
hbm_*.csv |
sys_hardware_mem_freq |
HBM内存读写速率,data中包含hbm.开头的文件。详情请参见HBM内存读写速率数据。(昇腾910 AI处理器) |
llc_read_write_*.csv |
sys_hardware_mem_freq |
三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。(昇腾310P AI处理器)(昇腾910 AI处理器) |
nic_*.csv |
sys_io_sampling_freq |
每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。(昇腾310 AI处理器)(昇腾910 AI处理器) |
roce_*.csv |
sys_io_sampling_freq |
RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。(昇腾910 AI处理器) |
hccs_*.csv |
sys_interconnection_freq |
集合通信带宽数据。文件详情请参见集合通信带宽数据。(昇腾910 AI处理器) |
pcie_*.csv |
sys_interconnection_freq |
PCIe带宽。详情请参见PCIe带宽数据。(昇腾310P AI处理器)(昇腾910 AI处理器) |
dvpp_*.csv |
dvpp_freq |
DVPP数据。文件详情请参见DVPP数据。 |
cpu_usage.csv |
host_sys_usage |
Host侧系统CPU利用率数据。文件详情请参见Host侧系统CPU利用率数据。 |
sys_mem.csv |
host_sys_usage |
Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据。 |
process_cpu_usage.csv |
host_sys_usage |
Host侧所有进程CPU利用率数据。生成文件详情请参见Host侧进程CPU利用率数据。 |
process_mem.csv |
host_sys_usage |
Host侧所有进程内存利用率数据。文件详情请参见Host侧进程内存利用率数据。 |
host_cpu_usage.csv |
host_sys |
Host侧CPU利用率。详情请参见Host侧CPU利用率数据。 |
host_mem_usage.csv |
host_sys |
Host侧内存利用率。详情请参见Host侧内存利用率数据。 |
prof_rule_0.json |
- |
调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议。 |
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后,使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出,若查询某些字段显示为N/A(为空)则在导出的结果文件名中不展示。 |