前言
概述
当前昇腾AI处理器以及昇腾AI软件栈是没有办法直接拿比如Caffe,TensorFlow等开源框架网络模型来直接进行推理的,想要进行推理则需要做一步模型转换的步骤,将开源框架的网络模型转换成Davinci架构专用的模型。而此处模型转换的步骤就是通过本手册所要介绍的ATC工具完成的。
昇腾张量编译器(Ascend Tensor Compiler,简称ATC)是昇腾CANN架构体系下的模型转换工具:
- 它可以将开源框架的网络模型(如Caffe、TensorFlow等)以及Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型。
- 模型转换过程中,ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作,对原始的深度学习模型进行进一步的调优,从而满足部署场景下的高性能需求,使其能够高效执行在昇腾AI处理器上。
本手册将重点介绍模型转换过程中所使用的参数,并介绍如何配置以及使能AIPP,如何构造单算子描述文件等功能。
读者对象
本文档适用于使用ATC工具进行模型转换的人员,通过本文档您可以达成:
- 了解不同框架原始网络模型转成昇腾AI处理器离线模型的方法。
- 能够基于本文档中的参数,转成满足不同定制要求的离线模型。
- 掌握AIPP配置文件的配置方法,以及如何使能AIPP功能。
掌握以下经验和技能可以更好地理解本文档:
- 熟悉Linux基本命令。
- 对机器学习、深度学习有一定的了解。