QAT模型适配CANN模型

如果用户对ONNX原始模型已经做了量化功能（以下简称QAT模型），但是该模型无法使用ATC工具转成适配昇腾AI处理器的离线模型，则需要借助昇腾模型压缩工具提供的convert_qat_model接口，将该QAT模型适配成CANN量化模型格式。然后才能使用ATC工具，将CANN量化模型转成适配昇腾AI处理器的离线模型。转换约束如下：

• 当前仅支持对QAT模型中包含QuantizeLinear和DequantizeLinear两类FakeQuant层结构的模型进行适配，且仅权重支持per-channel量化，成对的QuantizeLinear、DequantizeLinear层需要存在相同的量化因子。
• 当前仅支持Conv, Gemm, MatMul类型层匹配fake_quant节点并进行适配，层约束请参见表1。

适配原理

适配原理如图1所示。蓝色部分为用户实现，灰色部分为用户调用昇腾模型压缩工具提供的convert_qat_model实现，用户在ONNX QAT网络推理的代码中导入库，并在特定的位置调用相应API，即可实现适配功能。具体适配示例请参见获取更多样例>mobilenetv2，您也可以获取命令行方式的示例获取更多样例>cmd，快速体验其功能。

图1 QAT模型适配Ascend模型

调用示例

本示例演示了如何将ONNX的QAT量化模型通过昇腾模型压缩工具适配为CANN量化模型格式。

• 如下示例标有“由用户补充处理”的步骤，需要用户根据自己的模型和数据集进行补充处理，示例中仅为示例代码。
• 如下示例调用昇腾模型压缩工具的部分，函数入参请根据实际情况进行调整。

1. 导入昇腾模型压缩工具包，并通过设置环境变量日志级别。

   import amct_onnx as amct

2. （可选，由用户补充处理）在ONNX Runtime环境中验证推理脚本及环境。

   建议使用原始待量化的模型和测试集，在ONNX Runtime环境下推理，验证环境、推理脚本是否正常。

   推荐执行该步骤，请确保原始模型可以完成推理且精度正常；执行该步骤时，可以使用部分测试集，减少运行时间。

   user_do_inference(ori_model, test_data, test_iterations)

3. 调用昇腾模型压缩工具中的convert_qat_model接口，执行模型适配。
   该接口内部会将待适配的模型解析为graph形式，完成图的预处理操作>修改解析后的图结构，插入AscendQuant、AscendDequant等算子，保存为量化模型。

   model_file = "./pre_model/mobilenet_v2_qat.onnx"
   save_path="./results/model"
   amct.convert_qat_model(model_file, save_path)

4. （可选，由用户补充处理）使用量化后模型和测试集，在ONNX Runtime环境下推理，测试量化后的仿真模型精度。
   使用量化后仿真模型精度与2中的原始精度做对比，可以观察量化对精度的影响。

   quant_model = './results/user_model_fake_quant_model.onnx'
   user_do_inference(quant_model, test_data, test_iterations)