性能数据采集（环境变量方式）

环境变量方式Profiling适用于在线推理/训练场景TensorFlow框架下开启Profiling数据采集。

前提条件

训练场景：
- 准备好基于TensorFlow 1.x开发的训练模型以及配套的数据集，并按照《TensorFlow 1.15网络模型迁移和训练指南》中的“手工迁移和训练”或“自动迁移和训练”完成TensorFlow原始模型向昇腾AI处理器的迁移。
- 准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集，并按照《TensorFlow 2.6网络模型迁移和训练指南》中的“手工迁移和训练”完成TensorFlow原始模型向昇腾AI处理器的迁移。
在线推理场景：下载预训练模型并准备在线推理脚本。

采集性能原始数据

配置的环境变量内容示例如下。

export PROFILING_MODE=true
export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'

PROFILING_OPTIONS参数解释及使用方法，请参见Profiling options参数解释。

配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics（PipeUtilization）采集并将采集到的数据保存在当前AI任务所在目录；当配置profiling_mode为true且配置profiling_options任意参数后，profiling_options参数默认情况请参见Profiling options参数解释。

采集数据说明

配置环境变量方式参数后请参见数据解析与导出将原始数据文件解析并导出为可视化的Timeline和Summary文件。

生成的Profiling数据如表1和表2所示。

表1 timeline文件介绍
timeline文件名	相关参数	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
ai_stack_time_*.json	runtime_api task_time 以上参数可选。	各个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览。
thread_group_*.json	runtime_api task_time 以上参数可选。	AscendCL，GE，Runtime组件耗时数据。该文件内的各组件数据按照线程（Thread）粒度进行排列，方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据（按线程粒度展示）。
task_time_*.json	task_time（可选）	Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。
runtime_api_*.json	runtime_api	Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。
ge_*.json	task_time（可选）	GE接口耗时数据。文件详情请参见GE接口耗时数据。
ge_op_execute_*.json	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
step_trace_*.json	task_time	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。
hccl_*.json	hccl	HCCL数据。文件详情请参见HCCL数据。
msproftx数据	msproftx	msproftx数据，通过Profiling AscendCL API for Extension（Profiling AscendCL API扩展接口）采集用户和上层框架程序的性能数据，并由msproftx参数进行数据导出。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

表2 summary文件介绍
summary文件名	相关参数	说明
op_summary_*.csv	-	AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	-	AI Core和AI CPU算子调用次数及耗时，从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。
step_trace_*.csv	-	迭代轨迹数据。文件详情请参见迭代轨迹数据。
ai_stack_time_*.csv	runtime_api task_time 以上参数可选。	每个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见各个组件的耗时数据。
runtime_api_*.csv	runtime_api	每个runtime api的调用时长。详情请参见Runtime接口耗时数据。
fusion_op_*.csv	-	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。
task_time_*.csv	task_time	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
ge_op_execute_*.csv	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
aicpu_*.csv	aicpu	AI CPU数据。文件详情请参见AI CPU数据。
dp_*.csv	aicpu	数据增强Data PreProcess数据。文件详情请参见数据增强数据。（昇腾910 AI处理器）
l2_cache_*.csv	l2	L2Cache数据。详情请参见L2Cache数据。（昇腾310P AI处理器）（昇腾910 AI处理器）
prof_rule_0.json	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

父主题： 高级功能