简介
为方便用户在模型推理过程中快速调用MindStudio功能,提供模型推理一体化入口AMIT(Ascend Model Inference Tool),支持用户在统一入口下调用模型分析、模型转换、离线模型dump、精度比对和性能分析工具,提升开发效率。同时,AMIT工具界面提供步骤指引,方便用户理解推理开发流程,更易上手使用。
图1 开发流程
- 环境准备:准备推理服务器,并安装CANN开发套件包、MindStudio。
- 数据准备:准备推理所需的样例工程和原始模型。
- 模型分析:分析模型中不支持的算子、查询当前CANN版本支持算子信息以及ModelZoo支持的模型信息。
- 模型转换:使用ATC工具生成OM离线模型。
- 执行应用工程推理:编译并运行OM离线模型。
- 离线模型dump:根据OM离线模型生成dump数据。
- 精度比对:根据OM离线模型dump数据与业界标准算子运算结果之间进行精度差异比对。
- 性能分析:使用Profiling工具采集性能数据并作简单的性能数据分析。
父主题: 推理一体化工具