quantize_model
功能说明
训练后量化接口,将输入的待量化的图结构按照给定的量化配置文件进行量化处理,在传入的图结构中插入权重量化、数据量化相关的算子,生成量化因子记录文件record_file,返回修改后的torch.nn.module校准模型。
函数原型
calibration_model = quantize_model(config_file, modfied_onnx_file, record_file, model, input_data, input_names=None, output_names=None, dynamic_axes=None)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
config_file |
输入 |
用户生成的量化配置文件,用于指定模型network中量化层的配置情况。 |
数据类型:string |
modfied_onnx_file |
输入 |
文件名,用于存储融合后模型的onnx格式。 |
数据类型:string |
record_file |
输入 |
量化因子记录文件路径及名称。 |
数据类型:string |
model |
输入 |
待量化的模型,已加载权重。 |
数据类型:torch.nn.module |
input_data |
输入 |
模型的输入数据。一个torch.tensor会被等价为tuple(torch.tensor)。 |
数据类型:tuple |
input_names |
输入 |
模型的输入的名称,用于modfied_onnx_file中显示。 |
默认值:None 数据类型:list(string) |
output_names |
输入 |
模型的输出的名称,用于modfied_onnx_file中显示。 |
默认值:None 数据类型:list(string) |
dynamic_axes |
输入 |
对模型输入输出动态轴的指定,例如对于输入inputs(NCHW),N、H、W为不确定大小,输出outputs(NL),N为不确定大小,则dynamic_axes={"inputs": [0,2,3], "outputs": [0]} |
默认值:None 数据类型:dict<string, dict<python:int, string>> or dict<string, list(int)> |
calibration_model |
返回值 |
修改后的torch.nn.module校准模型。 |
默认值:None 数据类型:torch.nn.module |
返回值说明
返回修改后的torch.nn.module校准模型。
调用示例
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
import amct_pytorch as amct # 建立待量化的网络图结构 model = build_model() model.load_state_dict(torch.load(state_dict_path)) input_data = tuple([torch.randn(input_shape)]) scale_offset_record_file = os.path.join(TMP, 'scale_offset_record.txt') modfied_model = os.path.join(TMP, 'modfied_model.onnx') # 插入量化API calibration_model = amct.quantize_model(config_json_file, modfied_model, scale_offset_record_file, model, input_data, input_names=['input'], output_names=['output'], dynamic_axes={'input':{0: 'batch_size'}, 'output':{0: 'batch_size'}}) |