简介

模型转换和调优是将Caffe/TensorFlow等框架训练好的模型，通过ATC或者AOE工具将其转换为昇腾AI处理器支持的离线模型，详细架构如图1和图2所示。

• ATC工具：ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作，对原始的深度学习模型进行进一步的调优，从而满足部署场景下的高性能需求，使其能够高效执行在昇腾AI处理器上。
• AOE工具：AOE通过生成调优策略、编译、在运行环境上验证的闭环反馈机制，不断迭代出更优的调优策略，最终得到最佳的调优策略，从而可以更充分利用硬件资源，不断提升网络的性能，达到最优的效果。两种调优方式如下：
  • 子图调优：通过SGAT（SubGraph Auto Tune），对子图切分策略进行调优，通过在运行环境上验证获得真实性能，最终将最优的调优策略固化至模型知识库，并获取优化后的模型。
  • 算子调优：通过OPAT（Operator Auto Tune），对算子进行调优，通过在运行环境上验证获取真实性能，最终将优选算子调优策略固化到算子知识库。