save_quant_retrain_model

功能说明

量化感知训练接口，根据用户最终的重训练好的模型，插入AscendQuant、AscendDequant等算子，生成最终fake quant仿真模型和deploy部署模型。

约束说明

无。

函数原型

save_quant_retrain_model(retrained_model_file, retrained_weights_file, save_type, save_path, scale_offset_record_file = None, config_file = None)

参数说明

参数名	输入/返回值	含义	使用限制
retrained_model_file	输入	用户重训练好的Caffe模型的定义文件，格式为.prototxt。	数据类型：string 使用约束：retrained_model_file中包含的用于推理的层，LayerParameter设置满足推理要求，比如BatchNorm层的use_global_stats必须设置为1。
retrained_weights_file	输入	用户重训练好的Caffe模型的权重文件，格式为.caffemodel。	数据类型：string
save_type	输入	保存模型的类型： Fakequant表明存储精度仿真模型。 Deploy表示存储可在昇腾AI处理器做推理的部署模型。 Both表示两种模型都进行存储。	数据类型：string
save_path	输入	模型存放路径。该路径需要包含模型名前缀，例如./quantized_model/*model。	数据类型：string
scale_offset_record_file	输入	存储量化因子的文件。	数据类型：string。默认已初始化，传None
config_file	输入	量化配置文件。	数据类型：string。默认已初始化，传None

返回值说明

无。

函数输出

精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。
fake_quant模型主要用于验证量化后模型的精度，可以在Caffe框架下运行。进行前向推理的计算过程中，在fake_quant模型中对卷积层等的输入数据和权重进行了量化反量化的操作，来模拟量化后的计算结果，从而快速验证量化后模型的精度。

如下图所示，Quant层、Convolution卷积层和DeQuant层之间的数据都是Float32数据类型的，其中Quant层将数据量化到INT8又反量化为Float32，权重也是量化到INT8又反量化为Float32，实际卷积层的计算是基于Float32数据类型的，该模型用于在Caffe框架验证量化后模型的精度，不能够用于ATC工具转换成om模型。
图1 fake_quant模型
部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
deploy模型由于已经将权重等转换成为了INT8, INT32类型，因此不能在Caffe框架上执行推理计算。如下图所示，deploy模型的AscendQuant层将Float32的输入数据量化为INT8，作为卷积层的输入，权重也是使用INT8数据类型作为计算，在deploy模型中的卷积层的计算是基于INT8，INT32数据类型的，输出为INT32数据类型经过AscendDequant层转换成Float32数据类型传输给下一个网络层。
图2 deploy模型

调用示例

from amct_caffe import amct
retrained_model_file =  './pre_model/retrained_resnet50.prototxt'
retrained_weights_file = './pre_model/resnet50_solver_iter_35000.caffemodel'
scale_offset_record_file = './record.txt'
# 插入API，将重训练的模型保存为prototxt模型文件以及caffemodel权重文件，在./result中生成四个文件：model_fake_quant_model.prototxt，model_fake_quant_weights.caffemodel，model_deploy_model.prototxt，model_deploy_weights.prototxt
amct.save_quant_retrain_model(retrained_model_file, retrained_weights_file, 'Both', './result/model', scale_offset_record_file, config_json_file)

父主题： 量化感知训练