save_model
功能说明
根据量化因子记录文件record_file以及修改后的模型,调用该接口,插入AscendQuant、AscendDequant等算子,然后保存为可以在ONNX Runtime环境进行精度仿真的fake_quant模型,和可以在昇腾AI处理器做推理的deploy模型。
约束说明
- 在网络推理的batch数目达到batch_num后,再调用该接口,否则量化因子不正确,量化结果不正确。
- 该接口只接收quantize_model接口产生的ONNX类型模型文件。
- 该接口需要输入量化因子记录文件,量化因子记录文件在quantize_model阶段生成,在模型推理阶段填充有效值。
函数原型
save_model(modified_onnx_file, record_file, save_path)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
modified_onnx_file |
输入 |
文件名,修改后的ONNX模型文件,由quantize_model接口输出。 |
数据类型:string |
record_file |
输入 |
量化因子记录文件路径及名称。 |
数据类型:string |
save_path |
输入 |
模型存放路径。 该路径需要包含模型名前缀,例如./quantized_model/*model。 |
数据类型:string |
返回值说明
无。
函数输出
- 精度仿真模型文件:模型名中包含fake_quant,可以在ONNX执行框架ONNX Runtime进行精度仿真。
- 部署模型文件:模型名中包含deploy,经过ATC转换工具转换后可部署到昇腾AI处理器。
重新执行量化时,该接口输出的上述文件将会被覆盖。
调用示例
1 2 3 4 5 6 7 8 9 10 |
import amct_onnx as amct # 进行网络推理,期间完成量化 # 由于接口生成的校准模型中包含了AMCT新增的自定义算子,所以在执行校准集的推理时创建的onnxruntime的InferenceSession需要包含AMCT提供的SessionOptions for i in batch_num: onnxruntime.InferenceSession(onnx_model, amct.AMCT_SO).run(None, {'input':input_batch}) # 插入API,将量化的模型存为onnx文件 amct.save_model(modified_onnx_file="./tmp/modified_model.onnx", record_file="./scale_offset_record_file.txt", save_path="./results/model") |
父主题: 训练后量化接口