TensorFlow框架方式

TensorFlow框架方式Profiling仅支持在线推理/训练场景下执行。

前提条件

训练场景：
- TensorFlow 1.x：准备好基于TensorFlow 1.x开发的训练模型以及配套的数据集，并按照《TensorFlow 1.15网络模型迁移和训练指南》中的“手工迁移和训练”或“自动迁移和训练”完成TensorFlow原始模型向昇腾AI处理器的迁移。
- TensorFlow 2.x：准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集，并按照《TensorFlow 2.6网络模型迁移和训练指南》中的“手工迁移和训练”完成TensorFlow原始模型向昇腾AI处理器的迁移。
在线推理场景：下载预训练模型并准备在线推理脚本。

约束

在线推理仅支持sess.run模式下的Profiling。sess.run模式请参见采集性能原始数据（TensorFlow 1.x训练/在线推理）。

采集性能原始数据（TensorFlow 1.x训练/在线推理）

在训练脚本（如train_*.py文件）/在线推理脚本内添加如下Profiling参数配置，之后执行训练/在线推理。

有关TensorFlow框架下的训练操作请参见《TensorFlow 1.15网络模型迁移和训练指南》。

有关在线推理详细操作请参见《TensorFlow 1.15在线推理使用指南》。

当前针对TensorFlow框架两种模式分别介绍如下：

Estimator模式下，通过NPURunConfig中的profiling_config开启Profiling数据采集，代码示例如下：

from npu_bridge.estimator.npu.npu_config import NPURunConfig
from npu_bridge.estimator.npu.npu_config import ProfilingConfig
profiling_options = '{"output":"/tmp/profiling","training_trace":"on",task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'
profiling_config = ProfilingConfig(enable_profiling=True, profiling_options = profiling_options)
session_config=tf.ConfigProto()
config = NPURunConfig(profiling_config=profiling_config, session_config=session_config)

sess.run模式下，通过session配置项profiling_mode、profiling_options开启Profiling数据采集，代码示例如下：

custom_op = config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["use_off_line"].b = True
custom_op.parameter_map["profiling_mode"].b = True
custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}') 
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF #关闭remap开关
with tf.Session(config=config) as sess:
    sess.run()

profiling_options参数配置请参见Profiling options参数解释。

在Estimator模式下配置enable_profiling为True或在sess.run模式下配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics（PipeUtilization）采集并将采集到的数据保存在当前AI任务所在目录；当在Estimator模式下配置enable_profiling为true或在sess.run模式下配置profiling_mode为true且配置profiling_options任意参数后，profiling_options参数默认情况请参见Profiling options参数解释。
配置fp_point和bp_point参数时，无论是用户指定了具体算子还是使用系统自动查找算法（fp_point和bp_point参数配置为空），均可能找不到数据，导致最终解析出的迭代轨迹数据中FP_BP、Grad_refresh Bound、Data_aug Bound均为空。

采集性能原始数据（TensorFlow 2.x训练）

在训练脚本（如train_*.py文件）内添加如下Profiling参数配置，之后执行训练。有关TensorFlow 2.x框架下的训练操作请参见《TensorFlow 2.6网络模型迁移和训练指南》。

代码示例如下：

    import npu_device	
    ...
   # profiling
    npu_device.global_options().profiling_config.enable_profiling = True
    profiling_options = '{"output":"/home/profiling", \
                        "training_trace":"on", \
                        "task_trace":"on", \
                        "fp_point":"", \
                        "bp_point":""}'
    npu_device.global_options().profiling_config.profiling_options = profiling_options
    ...
    npu_device.open().as_default()

profiling_options参数配置请参见Profiling options参数解释。

采集数据说明

配置环境变量方式参数后请参见数据解析与导出将原始数据文件解析并导出为可视化的Timeline和Summary文件。

生成的Profiling数据如表1和表2所示。

表1 timeline文件介绍
timeline文件名	相关参数	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
ai_stack_time_*.json	runtime_api task_time 以上参数可选。	各个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见AscendCL、GE、Runtime、Task Schduler组件耗时数据概览。
thread_group_*.json	runtime_api task_time 以上参数可选。	AscendCL，GE，Runtime组件耗时数据。该文件内的各组件数据按照线程（Thread）粒度进行排列，方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据（按线程粒度展示）。
task_time_*.json	task_time（可选）	Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。
runtime_api_*.json	runtime_api	Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。
ge_*.json	task_time（可选）	GE接口耗时数据。文件详情请参见GE接口耗时数据。
ge_op_execute_*.json	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
step_trace_*.json	task_time	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。
hccl_*.json	hccl	HCCL数据。文件详情请参见HCCL数据。
msproftx数据	msproftx	msproftx数据，通过Profiling AscendCL API for Extension（Profiling AscendCL API扩展接口）采集用户和上层框架程序的性能数据，并由msproftx参数进行数据导出。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

表2 summary文件介绍
summary文件名	相关参数	说明
op_summary_*.csv	-	AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	-	AI Core和AI CPU算子调用次数及耗时，从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。
step_trace_*.csv	-	迭代轨迹数据。文件详情请参见迭代轨迹数据。
ai_stack_time_*.csv	runtime_api task_time 以上参数可选。	每个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见各个组件的耗时数据。
runtime_api_*.csv	runtime_api	每个runtime api的调用时长。详情请参见Runtime接口耗时数据。
fusion_op_*.csv	-	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。
task_time_*.csv	task_time	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
ge_op_execute_*.csv	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
aicpu_*.csv	aicpu	AI CPU数据。文件详情请参见AI CPU数据。
dp_*.csv	aicpu	数据增强Data PreProcess数据。文件详情请参见数据增强数据。（Atlas 训练系列产品）
l2_cache_*.csv	l2	L2Cache数据。详情请参见L2Cache数据。（Atlas 推理系列产品）（Atlas 训练系列产品）
prof_rule_0.json	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。这些字段可以使用数据解析与导出完成数据解析后，使用数据解析与导出中的“Profiling数据文件信息查询”功能对结果文件进行查询得出，若查询某些字段显示为N/A（为空）则在导出的结果文件名中不展示。

父主题： 性能数据采集（AI框架方式）