工具部署架构
AMCT
部署架构如
图1
所示。当前支持部署的操作系统请参见
支持的OS清单
。
图1
部署架构
用户需要先在带NPU设备的训练环境上搭建MindSpore环境,然后在该环境上安装
AMCT
,并进行模型压缩,生成压缩后的*.air模型(*.air格式的模型只能借助训练环境导出)。
用户将压缩后的*.air模型,借助CANN软件包提供的ATC工具,将*.air模型转换成
适配昇腾AI处理器的离线模型
。
使用
2
中的离线模型在
昇腾AI处理器
完成推理业务。
父主题:
概述