子图/算子调优

调优前须知

1. 请保证训练脚本在昇腾AI处理器上执行成功，功能和精度满足预期。
2. 不建议用户绑定训练进程到指定的CPU，请使用系统默认的CPU调度策略。否则可能会影响调优效果。
3. 为提高调优效率，希望用户尽量控制训练步数。一般情况下，通过一个step能完成一次完整的图执行过程，保证图中所有的算子都能遍历一遍完成调优即可。
4. 目前仅支持静态算子，暂不支持动态算子。
5. AOE不支持不同用户同时使用同一device进行调优。
6. 调优前，请确保关闭Profiling功能，关闭内存静态分配方式（即设置static_memory_policy=0，示例为：custom_op.parameter_map["static_memory_policy"].i = 0），避免影响调优结果。关闭Profiling功能具体操作请参见《性能调优工具指南》。
7. 不支持多P场景下的调优。
8. 单P场景下的调优，请确保具备如下条件。
   • 调优用户的家目录下磁盘可用空间>=20G。
   • 可用内存>=训练模型需要的内存*TUNING_PARALLEL_NUM。其中TUNING_PARALLEL_NUM的说明请参考配置文件。
   • 算子调优时Host CPU建议>= 训练脚本中的进程数 * (TE_PARALLEL_COMPILER + TUNING_PARALLEL_NUM + min(CPU的核数/2, 8) + 50)。其中TE_PARALLEL_COMPILER和TUNING_PARALLEL_NUM的说明请分别参考表1和配置文件。
   • 子图调优时Host CPU建议>=训练脚本中的进程数 * （ 2 * TUNING_PARALLEL_NUM + TE_PARALLEL_COMPILER）。其中TE_PARALLEL_COMPILER和TUNING_PARALLEL_NUM的说明请分别参考表1和配置文件。
   • Device核数>=模型中所有算子使用的最大核数。
   • Device内存：和模型相关，和模型的内存复用相关。

配置环境变量

• 用户可将设置环境变量的命令写入自定义脚本，方便后续执行。

• 除了通过环境变量方式指定调优模式，还可通过修改训练脚本相应参数指定调优模式，具体请参考通过修改训练脚本配置调优模式（TensorFlow 1.15），考虑到操作复杂度，建议通过设置环境变量方式指定调优模式。

执行调优

如需进行子图调优或算子调优，直接执行训练脚本，即可按照指定的调优模式自动调优。

• 如需指定调优路径，执行训练前，可以修改训练脚本中的work_path或者aoe_config.work_path。
• 如需对指定算子进行调优，执行训练前，可以修改训练脚本中的aoe_config_file或者aoe_config.aoe_config_file。

查看调优结果

1
2
3
4

# TFAdapter开启调优
in tune mode, training graph handled by tools.
# 工具启动调优
Aoe tuning graph.

调优完成后，若满足自定义知识库生成条件（请参见图2和图3），则会生成自定义知识库。

性能验证

子图调优完成后，请还原代码，使用调优后的自定义知识库（如何使用请参见如何使用调优后的自定义知识库）重新训练，验证性能是否提高。

算子调优完成后，请还原代码，并刷新算子编译缓存，即将op_compiler_cache_mode设置为force（详见《TensorFlow 1.15模型迁移指南》），使用调优后的自定义知识（如何使用请参见如何使用调优后的自定义知识库）重新训练，验证性能是否提高。

算子调优结果文件

算子调优结果文件的存放路径优先级为：ASCEND_WORK_PATH > 默认（执行调优的工作目录），若未配置ASCEND_WORK_PATH（可以使用env命令查询是否配置，ASCEND_WORK_PATH详细信息请参考《环境变量参考》），算子调优结果文件存放在默认路径（执行调优的工作目录）。

调优过程中，实时生成的结果文件命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”，记录了调优过程中被调优的算子信息。其中${timestamp}为时间戳，格式为：年月日时分秒毫秒，“${pidxxx}”中的“xxx”为进程ID。

内容格式如下所示，可以包括多个调优任务，各字段含义请参见表2。tid为线程ID。

{
  "report_${timestamp}_${tid}": [
    {
      "basic": {
        "tuning_name": "调优任务名",
        "tuning_time(s)": 44
      }
    },
    {
      "OPAT": {
        "opat_tuning_result": "tuning successful",
        "repo_modified_operators": [
          {
            "op_name": "bert/encoder/layer_10/attention/self/Softmax_OPAT_0",
            "op_type": "SoftmaxV2",
            "tune_performance": {
              "Format": {
                "performance_after_tune(us)": 26.876,
                "performance_before_tune(us)": 58.781,
                "performance_improvement": "118.71%",
                "update_mode": "add"
              }
            }
          },
          {
            "op_name": "bert/encoder/layer_8/attention/output/dense/MatMulbert/encoder/layer_8/attention/output/add",
            "op_type": "MatMulV2",
            "tune_performance": {
              "Schedule": {
                "performance_after_tune(us)": 15.71,
                "performance_before_tune(us)": 16.71,
                "performance_improvement": "6.37%",
                "update_mode": "add"
              }
            }
          }
        ],
        "repo_summary": {
          "repo_add_num": 2,
          "repo_hit_num": 10,
          "repo_reserved_num": 10,
          "repo_unsatisfied_num": 1,
          "repo_update_num": 0,
          "total_num": 13
        }
      }
    }
  ],
  "report_${timestamp}_${tid}": [
   ........
   .....

调优失败时（即opat_tuning_result显示为"tuning failed"时），还会显示调优失败的算子的op_name列表。

      "tuning_failed_operators": [
        "res4a_branch1"
       ]

子图调优结果文件

子图调优结果文件的存放路径优先级为：ASCEND_WORK_PATH > 默认（执行调优的工作目录），若未配置ASCEND_WORK_PATH（可以使用env命令查询是否配置，ASCEND_WORK_PATH详细信息请参考《环境变量参考》），子图调优结果文件存放在默认路径（执行调优的工作目录）。

调优过程中，实时生成的结果文件命名为“aoe_result_sgat_${timestamp}_${pidxxx}.json”，记录了调优过程中被调优的子图信息。其中${timestamp}为时间戳，格式为：年月日时分秒毫秒，“${pidxxx}”中的“xxx”为进程ID。

内容格式如下所示，可以包括多个调优任务，各字段含义请参见表3。tid为线程ID。

"report_${timestamp}_${tid}": [
    {
      "basic": {
        "tuning_name": "调优任务名",
        "tuning_time(s)": 19
      }
    },
    {
      "SGAT": {
        "model_baseline_performance(ms)": 5.600486,
        "model_performance_improvement": "55.11%",
        "model_result_performance(ms)": 3.610442,
        "repo_modified_subgraphs": {
          "add_repo_subgraphs": [
            {
              "performance_after_tune(ms)": 3.573203,
              "performance_before_tune(ms)": 5.58434,
              "performance_improvement": "56.28%",
              "repo_key": "1024942313106047484"
            }
          ]
          "update_repo_subgraphs": [
            {
              "performance_after_tune(ms)": 2.573203,
              "performance_before_tune(ms)": 4.58434,
              "performance_improvement": "78.15%",
              "repo_key": "1024942313106057586"
            }
          ]
        },
        "repo_summary": {
          "repo_add_num": 1,
          "repo_hit_num": 1,
          "repo_reserved_num": 0,
          "repo_unsatisfied_num": 120,
          "repo_update_num": 1,
          "total_num": 121
        }
      }
    }
  ],
  "report_${timestamp}_${tid}": [
   .......
   .......