save_quant_retrain_model
功能说明
量化感知训练接口，根据用户最终的重训练好的模型，插入AscendQuant、AscendDequant等算子，生成最终量化精度仿真模型以及量化部署模型。
函数原型
save_quant_retrain_model (config_file, model, record_file, save_path, input_data, input_names=None, output_names=None, dynamic_axes=None)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
|---|---|---|---|
config_file |
输入 |
用户生成的量化感知训练配置文件，用于指定模型network中量化层的配置情况。 |
数据类型：string |
model |
输入 |
已进行量化感知训练后的量化模型。 |
数据类型：torch.nn.module |
record_file |
输入 |
量化因子记录文件路径及名称。 |
数据类型：string |
save_path |
输入 |
量化模型存放路径。 该路径需要包含模型名前缀，例如./quantized_model/*model。 |
数据类型：string |
input_data |
输入 |
模型的输入数据。一个torch.tensor会被等价为tuple（torch.tensor）。 |
数据类型：tuple |
input_names |
输入 |
模型的输入的名称，用于保存的量化onnx模型中显示。 |
默认值：None 数据类型：list(string) |
output_names |
输入 |
模型的输出的名称，用于保存的量化onnx模型中显示。 |
默认值：None 数据类型：list(string) |
dynamic_axes |
输入 |
对模型输入输出动态轴的指定，例如对于输入inputs（NCHW），N、H、W为不确定大小，输出outputs（NL），N为不确定大小，则指定形式为： {"inputs": [0,2,3], "outputs": [0]}，其中0,2,3分别表示N，H，W所在位置的索引。 |
默认值：None 数据类型：dict<string, dict<python:int, string>> or dict<string, list(int)> |
返回值说明
无。
函数输出
- 精度仿真模型文件：ONNX格式的模型文件，模型名中包含fake_quant，可以在ONNX Runtime环境进行精度仿真。
fake_quant模型主要用于验证量化后模型的精度，可以在ONNX Runtime环境下运行。进行前向推理的计算过程中，在fake_quant模型中对卷积层等的输入数据和权重进行了量化反量化的操作，来模拟量化后的计算结果，从而快速验证量化后模型的精度。
如下图所示，Quant层、Conv2d卷积层和DeQuant层之间的数据都是Float32数据类型的，其中Quant层将数据量化到INT8又反量化为Float32，权重也是量化到INT8又反量化为Float32，实际卷积层的计算是基于Float32数据类型的，该模型用于在ONNX Runtime环境验证量化后模型的精度，不能够用于ATC工具转换成om模型。图1 fake_quant模型
- 部署模型文件：ONNX格式的模型文件，模型名中包含deploy，经过ATC转换工具转换后可部署到在昇腾AI处理器。
deploy模型由于已经将权重等转换成为了INT8, INT32类型， 因此不能在ONNX Runtime环境上执行推理计算。如下图所示，deploy模型的AscendQuant层将Float32的输入数据量化为INT8，作为卷积层的输入，权重也是使用INT8数据类型作为计算，在deploy模型中的卷积层的计算是基于INT8，INT32数据类型的，输出为INT32数据类型经过AscendDeQuant层转换成Float32数据类型传输给下一个网络层。图2 deploy模型
重新执行量化感知训练时，该接口输出的上述文件将会被覆盖。
调用示例
import amct_pytorch as amct
# 建立待量化的网络图结构
model = build_model()
model.load_state_dict(torch.load(state_dict_path))
input_data = tuple([torch.randn(input_shape)])
# 训练量化retrain模型，训练量化因子
train_model(quant_retrain_model, input_batch)
# 推理量化retrain模型，导出量化因子
infer_model(quant_retrain_model, input_batch)
# 插入量化API，将量化感知训练的模型存为onnx文件
amct.save_quant_retrain_model(
config_json_file,
model,
record_file,
input_data,
input_names=['input'],
output_names=['output'],
dynamic_axes={'input':{0: 'batch_size'},
'output':{0: 'batch_size'}})
