save_quant_retrain_model
功能说明
量化感知训练接口,根据用户最终的重训练好的模型,插入AscendQuant、AscendDequant等算子,生成最终fake quant仿真模型和deploy部署模型。
约束说明
无。
函数原型
save_quant_retrain_model(retrained_model_file, retrained_weights_file, save_type, save_path, scale_offset_record_file = None, config_file = None)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
retrained_model_file |
输入 |
用户重训练好的Caffe模型的定义文件,格式为.prototxt。 |
数据类型:string 使用约束:retrained_model_file中包含的用于推理的层,LayerParameter设置满足推理要求,比如BatchNorm层的use_global_stats必须设置为1。 |
retrained_weights_file |
输入 |
用户重训练好的Caffe模型的权重文件,格式为.caffemodel。 |
数据类型:string |
save_type |
输入 |
保存模型的类型:
|
数据类型:string |
save_path |
输入 |
模型存放路径。 该路径需要包含模型名前缀,例如./quantized_model/*model。 |
数据类型:string |
scale_offset_record_file |
输入 |
存储量化因子的文件。 |
数据类型:string。默认已初始化,传None |
config_file |
输入 |
量化配置文件。 |
数据类型:string。默认已初始化,传None |
返回值说明
无。
函数输出
- 精度仿真模型文件:一个模型定义文件,一个模型权重文件,文件名中包含fake_quant;模型可在Caffe环境下做推理实现量化精度仿真。
fake_quant模型主要用于验证量化后模型的精度,可以在Caffe框架下运行。进行前向推理的计算过程中,在fake_quant模型中对卷积层等的输入数据和权重进行了量化反量化的操作,来模拟量化后的计算结果,从而快速验证量化后模型的精度。
如下图所示,Quant层、Convolution卷积层和DeQuant层之间的数据都是Float32数据类型的,其中Quant层将数据量化到INT8又反量化为Float32,权重也是量化到INT8又反量化为Float32,实际卷积层的计算是基于Float32数据类型的,该模型用于在Caffe框架验证量化后模型的精度,不能够用于ATC工具转换成om模型。图1 fake_quant模型
- 部署模型文件:一个模型定义文件,一个模型权重文件,文件名中包含deploy;模型经过ATC工具转换后可部署到昇腾AI处理器上。
deploy模型由于已经将权重等转换成为了INT8, INT32类型, 因此不能在Caffe框架上执行推理计算。如下图所示,deploy模型的AscendQuant层将Float32的输入数据量化为INT8,作为卷积层的输入,权重也是使用INT8数据类型作为计算,在deploy模型中的卷积层的计算是基于INT8,INT32数据类型的,输出为INT32数据类型经过AscendDequant层转换成Float32数据类型传输给下一个网络层。图2 deploy模型
调用示例
from amct_caffe import amct retrained_model_file = './pre_model/retrained_resnet50.prototxt' retrained_weights_file = './pre_model/resnet50_solver_iter_35000.caffemodel' scale_offset_record_file = './record.txt' # 插入API,将重训练的模型保存为prototxt模型文件以及caffemodel权重文件,在./result中生成四个文件:model_fake_quant_model.prototxt,model_fake_quant_weights.caffemodel,model_deploy_model.prototxt,model_deploy_weights.prototxt amct.save_quant_retrain_model(retrained_model_file, retrained_weights_file, 'Both', './result/model', scale_offset_record_file, config_json_file)