save_quant_retrain_model

功能说明

量化感知训练接口，根据用户最终的重训练好的模型，插入AscendQuant、AscendDequant等算子，生成最终量化精度仿真模型以及量化部署模型。

函数原型

save_quant_retrain_model (config_file, model, record_file, save_path, input_data, input_names=None, output_names=None, dynamic_axes=None)

参数说明

参数名	输入/返回值	含义	使用限制
config_file	输入	用户生成的量化感知训练配置文件，用于指定模型network中量化层的配置情况。	数据类型：string
model	输入	已进行量化感知训练后的量化模型。	数据类型：torch.nn.module
record_file	输入	量化因子记录文件路径及名称。	数据类型：string
save_path	输入	量化模型存放路径。该路径需要包含模型名前缀，例如./quantized_model/*model。	数据类型：string
input_data	输入	模型的输入数据。一个torch.tensor会被等价为tuple（torch.tensor）。	数据类型：tuple
input_names	输入	模型的输入的名称，用于保存的量化onnx模型中显示。	默认值：None 数据类型：list(string)
output_names	输入	模型的输出的名称，用于保存的量化onnx模型中显示。	默认值：None 数据类型：list(string)
dynamic_axes	输入	对模型输入输出动态轴的指定，例如对于输入inputs（NCHW），N、H、W为不确定大小，输出outputs（NL），N为不确定大小，则指定形式为： {"inputs": [0,2,3], "outputs": [0]}，其中0,2,3分别表示N，H，W所在位置的索引。	默认值：None 数据类型：dict<string, dict<python:int, string>> or dict<string, list(int)> 使用约束：int类型取值需要为非负数

返回值说明

无。

函数输出

精度仿真模型文件：ONNX格式的模型文件，模型名中包含fake_quant，可以在ONNX Runtime环境进行精度仿真。
部署模型文件：ONNX格式的模型文件，模型名中包含deploy，经过ATC转换工具转换后可部署到在昇腾AI处理器。
（可选）*.external文件，包括*deploy.external和*fakequant.external：
只有保存的精度仿真模型以及部署模型文件大小>=2GB才会生成该类文件，且与压缩后的*.onnx模型文件生成在同级目录，用于保存Tensor中的数据，每个Tensor数据单独保存一份*.external文件，文件名与Tensor相同，例如conv1.weight_deploy.external和conv1.weight_fakequant.external。

后续通过ATC工具加载压缩后的*.onnx部署模型文件进行模型转换时，会自动读取同级目录下*.external文件中的Tensor数据。

重新执行量化感知训练时，该接口输出的上述文件将会被覆盖。

调用示例

      
       
         
         
           import amct_pytorch as amct
# 建立待量化的网络图结构
model = build_model()
model.load_state_dict(torch.load(state_dict_path))
input_data = tuple([torch.randn(input_shape)])
# 训练量化retrain模型，训练量化因子
train_model(quant_retrain_model, input_batch)
# 推理量化retrain模型，导出量化因子
infer_model(quant_retrain_model, input_batch)
 
# 插入量化API，将量化感知训练的模型存为onnx文件
amct.save_quant_retrain_model(
               config_json_file,
               model, 
               record_file,
               input_data,
               input_names=['input'],
               output_names=['output'],
               dynamic_axes={'input':{0: 'batch_size'},
                             'output':{0: 'batch_size'}})

          

        

      
     

父主题： 量化感知训练接口