save_model

功能说明

训练后量化接口，根据量化因子记录文件record_file以及修改后的模型，插入AscendQuant、AscendDequant等算子，然后保存为可以在Onnx Runtime环境进行精度仿真的fake_quant模型，和可以在昇腾AI处理器做推理的部署模型。

约束说明

• 在网络推理的batch数目达到batch_num后，再调用该接口，否则量化因子不正确，量化结果不正确。
• 该接口只接收quantize_model接口产生的onnx类型模型文件。
• 该接口需要输入量化因子记录文件，量化因子记录文件在quantize_model阶段生成，在模型推理阶段填充有效值。

函数原型

save_model(modified_onnx_file, record_file, save_path)

参数说明

返回值说明

无。

函数输出

• 精度仿真模型文件：ONNX格式的模型文件，模型名中包含fake_quant，可以在ONNX Runtime环境进行精度仿真。
• 部署模型文件：ONNX格式的模型文件，模型名中包含deploy，经过ATC转换工具转换后可部署到在昇腾AI处理器。

重新执行量化时，该接口输出的上述文件将会被覆盖。

调用示例

1
2
3
4
5
6
7
8
9

import amct_pytorch as amct
# 进行网络推理，期间完成量化
for i in batch_num:
    output = calibration_model(input_batch)

# 插入API，将量化的模型存为onnx文件
amct.save_model(modified_onnx_file="./tmp/modified_model.onnx",
                record_file="./tmp/scale_offset_record.txt",
                save_path="./results/model")