save_model

功能说明

训练后量化接口，根据修改后的图结构，插入AscendQuant、AscendDequant等算子，将模型保存为可以做推理的文件，支持保存为可在Caffe环境下做精度仿真的fake_quant模型，和可在昇腾AI处理器上做推理的deploy模型。

约束说明

• 在网络推理的batch数目达到batch_num后，再调用save_model接口，否则量化因子不正确，量化结果不正确。

• 由于数据格式转换，生成的部署模型中存储的量化因子（scale, offset）与计算出来的量化因子，数值上不完全一致，但不影响精度。
• scale_offset_record_file中必须有所有量化层的量化因子，否则会报错，即quantize_model中的modified_model_file与modified_weights_file必须在Caffe环境中完成batch_num次推理。

函数原型

save_model(graph, save_type, save_path)

参数说明

返回值说明

无。

函数输出

• 精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。

  fake_quant模型主要用于验证量化后模型的精度，可以在Caffe框架下运行。进行前向推理的计算过程中，在fake_quant模型中对卷积层等的输入数据和权重进行了量化反量化的操作，来模拟量化后的计算结果，从而快速验证量化后模型的精度。

  如下图所示，Quant层、Convolution卷积层和DeQuant层之间的数据都是Float32数据类型的，其中Quant层将数据量化到INT8又反量化为Float32，权重也是量化到INT8又反量化为Float32，实际卷积层的计算是基于Float32数据类型的，该模型用于在Caffe框架验证量化后模型的精度，不能够用于ATC工具转换成om模型。

  图1 fake_quant模型
  
• 部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
  deploy模型由于已经将权重等转换成为了INT8, INT32类型， 因此不能在Caffe框架上执行推理计算。如下图所示，deploy模型的AscendQuant层将Float32的输入数据量化为INT8，作为卷积层的输入，权重也是使用INT8数据类型作为计算，在deploy模型中的卷积层的计算是基于INT8，INT32数据类型的，输出为INT32数据类型经过AscendDequant层转换成Float32数据类型传输给下一个网络层。

  图2 deploy模型
  
• 量化信息文件：该文件记录了AMCT插入的量化算子位置以及算子融合信息，用于量化后的模型进行精度比对使用。

重新执行量化时，该接口输出的上述文件将会被覆盖。

调用示例

1
2
3
4
5
6
7
8
9

from amct_caffe import save_model

# 在Caffe环境中对修改后的模型做batch_num次推理，以完成量化
run_caffe_model(modified_model_file, modified_weights_file, batch_num)

# 插入API，将量化的模型存为prototxt模型文件以及caffemodel权重文件，在./quantized_model中生成五个文件：model_fake_quant_model.prototxt，model_fake_quant_weights.caffemodel,model_deploy_model.prototxt，model_deploy_weights.caffemodel，model_quant.json。
save_model(graph=graph,
           save_type="Both",
           save_path="./quantized_model/model")