推理一体化工具

概述

为方便用户在模型推理过程中快速调用MindStudio功能，提供模型推理一体化入口AMIT（Ascend Model Inference Tool），支持用户在统一入口下调用模型分析、模型转换、离线模型dump、精度比对和性能分析工具，提升开发效率。同时，AMIT工具界面提供步骤指引，方便用户理解推理开发流程，更易上手使用。

图1 AMIT工具

模型分析：分析模型中不支持的算子、查询当前CANN版本支持算子信息以及ModelZoo支持的模型信息。
模型转换：提供ATC工具进行模型的转换，并生成OM离线模型。
离线模型dump：根据转换后的OM离线模型生成dump数据。
精度比对：根据OM离线模型dump数据与业界标准算子运算结果之间进行精度差异比对。
性能分析：使用转换后的OM离线模型进行应用开发后，再使用Profiling工具采集性能数据并作简单的性能数据分析。

操作步骤

请参考以下步骤了解AMIT工具的操作流程，快速上手推理任务。

在菜单栏选择“Ascend > AMIT”启动推理一体化工具。

进入AMIT工具流程界面，单击“Model Analyse”启动模型分析任务，如图2所示。

图2 模型分析

分析模型中不支持的算子信息。
1. 在“Model File”中选择待分析模型，单击查看可视化查看模型原始网络结构图，当前CANN版本不支持的算子会标红，如图3所示。更多操作请参考可视化界面说明。
  图3 模型可视化
2. 单击“analyse”，在“output”窗口输出CANN不支持的算子信息。若无内容输出，则表示支持模型内算子，可以进行转换和后续开发任务。

模型速查，可以通过“Model Search by”后的下拉框选择支持的信息字段，并在输入框中补充关键字进行模型搜索，在当前界面得到查询结果，结果参数如表1所示。

图4 模型速查

表1 参数说明
参数	说明
Model Name	模型名称。
Application Area	应用领域，例如Image Classification、Object Detection。
Update Time	更新时间。
Precision	模型精度，例如FP16、INT8。
Model Type	模型类型，例如Offline Model。
Framework	框架，例如PyTorch、TensorFlow。
Processor Type	处理器类型，例如Ascend 310、Ascend 910。
Version	模型版本信息。
Download Link	下载链接，可以复制对应的链接粘贴到浏览器上打开，获取相应的模型文件。
Model Format	模型格式，例如om、onnx。

算子速查，在“Operator Search by Name”输入需要查询的算子类型名称或硬件型号筛选需要查询的算子。选中单个算子类型时，在右侧查看算子具体信息。
图5 算子具体信息
- 算子类型（Operator Type）
- 算子支持的硬件型号（Hardware Type）

进入AMIT工具流程界面，单击“Model Converter”进入模型转换参数配置界面，工具使用方式请参考模型转换。转换后的OM离线模型可用于离线模型dump和性能分析任务。
进入AMIT工具流程界面，单击“Om Dump Configure”进入离线模型dump选择模型界面，工具使用方式请参考准备离线模型dump数据。获取的离线模型dump数据可用于精度比对任务。
进入AMIT工具流程界面，单击“Model Accuracy Analyse”进入精度比对参数配置界面，工具使用方式请参考精度比对。
进入AMIT工具流程界面，单击“System Profiler”进入性能分析参数配置界面，工具使用方式请参考性能分析。