子图/算子调优

调优前须知

1. 请保证训练脚本在昇腾AI处理器上执行成功，功能和精度满足预期。
2. 不建议用户绑定训练进程到指定的CPU，请使用系统默认的CPU调度策略。否则可能会影响调优效果。
3. 为提高调优效率，希望用户尽量控制训练步数。一般情况下，通过一个step能完成一次完整的图执行过程，保证图中所有的算子都能遍历一遍完成调优即可。
4. 目前仅支持静态算子，暂不支持动态算子。
5. AOE不支持不同用户同时使用同一device进行调优。
6. 调优前，请确保关闭Profiling功能，关闭内存静态分配方式（即设置GE_USE_STATIC_MEMORY=0），避免影响调优结果。关闭Profiling功能具体操作请参见《性能分析工具使用指南》。
7. 不支持多P场景下的调优。
8. 单P场景下的调优，请确保具备如下条件。
   • 调优用户的家目录下磁盘可用空间>=20G。
   • 可用内存>=训练模型需要的内存*TUNING_PARALLEL_NUM。其中TUNING_PARALLEL_NUM的说明请参考配置文件。
   • 算子调优时Host CPU建议>= 训练脚本中的进程数 * (TE_PARALLEL_COMPILER + TUNING_PARALLEL_NUM + min(CPU的核数/2, 8) + 50)。其中TE_PARALLEL_COMPILER和TUNING_PARALLEL_NUM的说明请分别参考表3和配置文件。
   • 子图调优时Host CPU建议>=训练脚本中的进程数 * （ 2 * TUNING_PARALLEL_NUM + TE_PARALLEL_COMPILER）。其中TE_PARALLEL_COMPILER和TUNING_PARALLEL_NUM的说明请分别参考表3和配置文件。
   • Device核数>=模型中所有算子使用的最大核数。
   • Device内存：和模型相关，和模型的内存复用相关。

配置环境变量

• 用户可将设置环境变量的命令写入自定义脚本，方便后续执行。

• 除了通过环境变量方式指定调优模式，还可通过修改训练脚本相应参数指定调优模式，具体请参考通过修改训练脚本配置调优模式（TensorFlow 1.15），考虑到操作复杂度，建议通过设置环境变量方式指定调优模式。

执行调优

如需进行子图调优或算子调优，直接执行训练脚本，即可按照指定的调优模式自动调优。

• 如需指定调优路径，执行训练前，可以修改训练脚本中的work_path或者aoe_config.work_path。
• 如需对指定算子进行调优，执行训练前，可以修改训练脚本中的aoe_config_file或者aoe_config.aoe_config_file。

查看调优结果

# TFAdapter开启调优
in tune mode, training graph handled by tools
# 工具启动调优
Aoe tuning graph.

调优完成后，若满足自定义知识库生成条件（请参见请参见图2和图3），则会生成自定义知识库。

生成自定义知识库存放如下：

• 针对子图调优，会存储到TUNE_BANK_PATH环境变量中指定的路径。若不设置此配置选项，默认存储到${HOME}/Ascend/latest/data/aoe/custom/graph/${soc_version}目录下。
• 针对算子调优，会存储到TUNE_BANK_PATH环境变量中指定的路径/${soc_version}目录，若不设置此环境变量，默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。

性能验证

调优完成后，请还原代码修改，使用调优后的自定义知识（如何使用请参见如何使用调优后的自定义知识库）重新训练，验证性能是否提高。

算子调优结果文件

调优过程中，会在执行调优的工作目录下实时生成命名为“aoe_result_opat_{timestamp}_{pidxxx}.json”的文件，记录调优过程中被调优的算子信息。

其中{timestamp}为时间戳，格式为：年月日时分秒毫秒，“{pidxxx}”中的“xxx”为进程ID。

内容格式如下所示，可以包括多个调优任务，各字段含义请参见表1。tid为线程ID。

{
  "report_{timestamp}_{tid}": [
    {
      "basic": {
        "tuning_name": "调优任务名",
        "tuning_time(s)": 44
      }
    },
    {
      "OPAT": {
        "opat_tune_result": "tune success",
        "repo_modified_operators": {
          "add_repo_operators": [
            {
              "op_name": "strided_slice_10",
              "op_type": "stridedsliced",
              "performance_after_tune(us)": 99,
              "performance_before_tune(us)": 134,
              "performance_improvement": "35.35%"
            },
            {
              "op_name": "strided_slice_7",
              "op_type": "stridedsliced",
              "performance_after_tune(us)": 14,
              "performance_before_tune(us)": 124,
              "performance_improvement": "785.71%"
            },
          "update_repo_operators": [
            {
              "op_name": "test/conv3/conv3_1/Conv2Dtest/conv3/conv3_1/Relu",
              "op_type": "conv2d",
              "performance_after_tune(us)": 4891.762,
              "performance_before_tune(us)": 5008.928,
              "performance_improvement": "2.40%"
            },
            {
              "op_name": "test/conv1/conv1_2/Conv2Dtest/conv1/conv1_2/Relu",
              "op_type": "conv2d",
              "performance_after_tune(us)": 13114.24,
              "performance_before_tune(us)": 13446.145,
              "performance_improvement": "2.53%"
            }
          }
        ]
      },
        "repo_summary": {
          "repo_add_num": 2,
          "repo_hit_num": 3,
          "repo_reserved_num": 1,
          "repo_unsatisfied_num": 0,
          "repo_update_num": 2,
          "total_num": 5
        }
      }
    }
  ],
  "report_{timestamp}_{tid}": [
   ........
   .....

调优失败时（即opat_tune_result显示为"tune failed"时），还会显示调优失败的算子的op_name列表。

      "tune_failed_operators": [
        "res4a_branch1"
       ]

子图调优结果文件

调优过程中，会在执行调优的工作目录下实时生成命名为“aoe_result_sgat_{timestamp}_{pidxxx}.json”的文件，记录调优过程中被调优的子图信息。

其中{timestamp}为时间戳，格式为：年月日时分秒毫秒，“{pidxxx}”中的“xxx”为进程ID。

内容格式如下所示，可以包括多个调优任务，各字段含义请参见表2。tid为线程ID。

"report_{timestamp}_{tid}": [
    {
      "basic": {
        "tuning_name": "调优任务名",
        "tuning_time(s)": 19
      }
    },
    {
      "SGAT": {
        "model_baseline_performance(ms)": 5.600486,
        "model_performance_improvement": "55.11%",
        "model_result_performance(ms)": 3.610442,
        "repo_modified_subgraphs": {
          "add_repo_subgraphs": [
            {
              "performance_after_tune(ms)": 3.573203,
              "performance_before_tune(ms)": 5.58434,
              "performance_improvement": "56.28%",
              "repo_key": "1024942313106047484"
            }
          ]
          "update_repo_subgraphs": [
            {
              "performance_after_tune(ms)": 2.573203,
              "performance_before_tune(ms)": 4.58434,
              "performance_improvement": "78.15%",
              "repo_key": "1024942313106057586"
            }
          ]
        },
        "repo_summary": {
          "repo_add_num": 1,
          "repo_hit_num": 1,
          "repo_reserved_num": 0,
          "repo_unsatisfied_num": 120,
          "repo_update_num": 1,
          "total_num": 121
        }
      }
    }
  ],
  "report_{timestamp}_{tid}": [
   .......
   .......

环境变量说明