工具部署架构

基于AscendCL接口的AMCT其部署架构如图1所示。当前支持部署的操作系统请参见支持的OS清单。

1. 用户需要先在带NPU设备的训练环境上安装CANN软件包，然后在该环境上安装AMCT，并进行模型压缩，生成压缩后的*.air模型。

   AMCT进行量化时（本手册主要是训练后量化），需要借助带NPU的设备进行校准推理。

2. 用户将压缩后的*.air模型，借助CANN软件包提供的ATC工具，将*.air模型转换成适配昇腾AI处理器的离线模型。
3. 使用2中的离线模型在昇腾AI处理器完成推理业务。