save_model

功能说明

根据量化因子记录文件record_file以及修改后的模型，调用该接口，插入AscendQuant、AscendDequant等算子，然后保存为可以在ONNX Runtime环境进行精度仿真的fake_quant模型，和可以在昇腾AI处理器做推理的deploy模型。

约束说明

• 在网络推理的batch数目达到batch_num后，再调用该接口，否则量化因子不正确，量化结果不正确。
• 该接口只接收quantize_model接口产生的ONNX类型模型文件。
• 该接口需要输入量化因子记录文件，量化因子记录文件在quantize_model阶段生成，在模型推理阶段填充有效值。

函数原型

save_model(modified_onnx_file, record_file, save_path)

参数说明

返回值说明

无。

函数输出

• 精度仿真模型文件：模型名中包含fake_quant，可以在ONNX执行框架ONNX Runtime进行精度仿真。
• 部署模型文件：模型名中包含deploy，经过ATC转换工具转换后可部署到昇腾AI处理器。
• （可选）*.external文件，包括*deploy.external和*fakequant.external：
  • 如果原始模型为非分离模式网络（不包含external data），只有保存的精度仿真模型以及部署模型文件大小>=2GB才会生成该类文件，且与压缩后的*.onnx模型文件生成在同级目录，用于保存Tensor中的数据，每个Tensor数据单独保存一份*.external文件，文件名与Tensor相同，例如conv1.weight_deploy.external和conv1.weight_fakequant.external。
  • 如果原始模型为数据模型分离模式网络（包含external data），不论压缩后的模型文件是否>=2GB，Tensor数据都会单独保存，即始终会生成*.external文件（constant节点不支持转存为external_data）。

  后续通过ATC工具加载压缩后的*.onnx部署模型文件进行模型转换时，会自动读取同级目录下*.external文件中的Tensor数据。

重新执行量化时，该接口输出的上述文件将会被覆盖。

调用示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import amct_onnx as amct
# 进行网络推理，期间完成量化
# 由于quantize_model接口生成的校准模型中包含了AMCT新增的自定义算子，所以在执行校准集的推理时创建的onnxruntime的InferenceSession需要包含AMCT提供的SessionOptions
for i in batch_num:
    onnxruntime.InferenceSession(onnx_model, amct.AMCT_SO).run(None, {'input':input_batch})

# 插入API，将量化的模型存为onnx文件
amct.save_model(modified_onnx_file="./tmp/modified_model.onnx",
                record_file="./scale_offset_record_file.txt",
                save_path="./results/model")