准备基于昇腾AI处理器运行生成的训练网络dump数据和计算图文件

前提条件

在进行迁移后的训练网络dump数据前，您需要完成训练网络开发、编译和运行，确保具备可执行的训练工程。

详细介绍请参见《TensorFlow 2.6.5网络迁移和训练指南》。

dump参数配置

1. 为了让训练脚本能够dump出计算图，我们在训练脚本中的包引用区域引入os，并在构建模型前设置DUMP_GE_GRAPH参数。

   import os
   ...
   def main():
       ...
       os.environ['DUMP_GE_GRAPH'] = '2'

   在训练过程中，计算图文件会保存在训练脚本所在目录中。

2. 修改训练脚本，开启dump功能。在相应代码中，增加如下信息。

   import npu_device
   
   # 在初始化的时候添加以下配置
   npu_device.global_options().dump_config.enable_dump = True
   npu_device.global_options().dump_config.dump_path = "/home/HwHiAiUser/output"
   npu_device.global_options().dump_config.dump_step = "0|5|10"
   npu_device.global_options().dump_config.dump_mode = "all"
   npu_device.global_options().dump_config.dump_data = "stats"
   npu_device.global_options().dump_config.dump_layer = "nodename1 nodename2 nodename3"

   表1 参数详细说明

   参数名	描述
   dump_config.enable_dump	是否开启dump功能。取值为： True：开启dump功能，从dump_path读取dump文件保存路径。 False：关闭dump功能。默认值。
   dump_config.dump_path	dump文件保存路径。enable_dump为True时，该参数必须配置。 该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径（相对执行命令行时的当前路径）。
   dump_config.dump_step	指定采集哪些迭代的dump数据。默认值：None，表示所有迭代都会产生dump数据。 多个迭代用“|”分割，例如：0|5|10；也可以用"-"指定迭代范围，例如：0|3-5|10。
   dump_config.dump_mode	dump模式，用于指定dump算子输入还是输出数据。取值为： input：仅dump算子输入数据 output：仅dump算子输出数据。默认值。 all：dump算子输入和输出数据
   dump_config.dump_data	指定算子dump内容类型。取值为： tensor：dump算子数据。默认值。 stats：dump算子统计数据，结果文件为csv格式。 大规模训练场景下，通常dump数据量太大并且耗时长，可以先dump所有算子的统计数据，根据统计数据识别可能异常的算子，然后再指定dump异常算子的input或output数据。
   dump_config.dump_layer	指定需要dump的算子。取值为算子名，多个算子名之间使用空格分隔。

获取dump数据文件和计算图文件

1. 执行训练脚本，生成dump数据文件和计算图文件。
   • 计算图文件：以“ge”开头的文件，是设置“DUMP_GE_GRAPH=2”生成的计算图文件，存储在训练脚本所在目录。
   • dump数据文件：生成在dump_path指定的目录下，即{dump_path}/{time}/{deviceid}/{model_name}/{model_id}/{data_index}目录下，以{dump_path}配置/home/HwHiAiUser/output为例，例如存放在“/home/HwHiAiUser/output/20200808163566/0/ge_default_20200808163719_121/11/0”目录下。

   表2 dump数据文件路径格式说明

   路径key	说明	备注
   dump_path	2中设置的dump_path路径（如果设置的是相对路径，则为拼接后的全路径）。	-
   time	dump数据文件落盘的时间。	格式为：YYYYMMDDHHMMSS
   deviceid	设备ID。	-
   model_name	子图名称。	model_name层可能存在多个文件夹，dump数据取计算图名称对应目录下的数据。 如果model_name出现了“.”、“/”、“\”、空格时，转换为下划线表示。
   model_id	子图ID。	-
   data_index	迭代数，用于保存对应迭代的dump数据。	如果指定了dump_step，则data_index和dump_step一致；如果不指定dump_step，则data_index序号从0开始计数，每dump一个迭代的数据，序号递增1。

   

   • 每次迭代都会产生dump数据，在训练数据集较大的情况下，每次迭代的dump数据量随之增大，建议控制迭代次数，一般仅执行一次迭代。
   • 多卡环境下，因训练脚本中多device进程调起时间有差异会导致落盘时产生多个时间戳目录。
   • 在docker内执行时，生成的数据存在docker里。

2. 选取计算图文件。
   

   执行训练脚本完成后会在训练脚本当前目录生成GE图文件，图文件可能会有多个。一般情况下，选取计算图文件方法：将TensorFlow模型保存为pb文件，然后查看该模型，选取其中一个计算类算子的名字作为关键字，找包含该关键字的计算图文件。计算图名称取计算图文件graph下的name字段值。

   • 方法一：在所有以“_Build.txt”为结尾的dump图文件中，查找“Iterator”关键词。记录查找出的计算图文件名称，用于后续精度比对。

     grep Iterator *_Build.txt

     

     如上图所示，“ge_proto_00292_Build.txt”即为需要的计算图文件。

   • 方法二：将TensorFlow模型保存为pb文件，然后查看该模型，选取其中一个计算类算子的名字作为关键字，查找包含该关键字的计算图文件。计算图名称取计算图文件graph下的name字段值。

3. 选取dump数据文件。
   1. 打开步骤2中找到的计算图文件，记录第一个graph中的name字段值。如下示例中，记录“ge_default_20201209083353_71”。

      graph {
        name: "ge_default_20201209083353_71"
        op {
          name: "atomic_addr_clean0_71"
          type: "AtomicAddrClean"
          attr {
            key: "_fe_imply_type"
            value {
              i: 6
            }
      }

   2. 进入以时间戳命名的dump文件存放路径下，我们会看到该目录下存在几个文件夹：

      

   3. 找到前面记录的名称为name值的文件夹，例如ge_default_20201209083353_71，这些文件即为需要的dump数据文件。

      

      

      • dump文件命名格式需满足：
        • {op_type}.{op_name}.{task_id}.{stream_id}.{timestamp}
        • {op_type}.{op_name}.{task_id}.{stream_id}.{timestamp}（Atlas A2 训练系列产品）
        • {op_type}.{op_name_lxsliceX}.({stream_id}.){task_id}.{timestamp}.{task_type}.{context_id}.{thread_id}.{device_id}（Atlas A2 训练系列产品）
        • {op_type}.{op_name}.({stream_id}.){task_id}.{timestamp}.{task_type}.{context_id}.{thread_id}.{device_id}（Atlas A2 训练系列产品）

        文件命名各字段详细介绍请参见数据格式要求。

      • 如果dump文件名称长度超过了OS文件名称长度限制（一般是255个字符），则会将该dump文件重命名为一串随机数字，映射关系可查看同目录下的mapping.csv。