下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

AOE自动调优

AOE自动调优工具通过生成调优策略、编译、在运行环境上验证的闭环反馈机制,不断迭代出更优的调优策略,最终得到最佳的调优策略,从而可以更充分利用硬件资源,不断提升网络的性能,达到最优的效果。模型训练阶段,分别使能AOE工具进行子图/算子与梯度切分的调优,调优完成后,最优调度策略会固化到知识库,模型再次训练时,无需开启调优,即可以享受知识库带来的性能收益。

建议按照如下调优顺序使用AOE工具进行调优:

针对Atlas A2 训练系列产品,不支持子图调优。

训练场景下使能AOE调优有两种方式:
  • 设置环境变量
     # 1:子图调优  2:算子调优   4:梯度调优
    export AOE_MODE=2
  • 修改训练脚本,通过“aoe_mode”参数指定调优模式,例如:
    • sess.run模式下,训练脚本修改方法如下:
      1
      custom_op.parameter_map["aoe_mode"].s = tf.compat.as_bytes("2")
      
    • estimator模式下,训练脚本修改方法如下:
      1
      2
      3
      config = NPURunConfig(
          session_config=session_config, 
          aoe_mode=2)
      
    • keras模式下,训练脚本的修改方法如下:
      1
      custom_op.parameter_map["aoe_mode"].s = tf.compat.as_bytes("2")
      

关于AOE工具的使用约束及更多功能介绍,请参见AOE工具使用指南

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词