create_quant_retrain_model
功能说明
量化感知训练接口,在原始的网络中根据量化配置匹配需要进行量化的网络层,插入数据量化和权重量化相关算子,输出修改后的retrain network,基于该retrain network继续进行训练。
约束说明
在调用该API之前,原始的网络已加载预训练好的checkpoint文件。
函数原型
retrain_network = create_quant_retrain_model(config_file, network, initializer, *input_data)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
config_file |
输入 |
用户生成的量化感知训练配置文件路径。 |
数据类型:string |
network |
输入 |
需要进行量化感知训练的MindSpore原始网络。 |
数据类型:MindSpore的Cell对象 |
initializer |
输入 |
用于初始化ulq层的initializer实例,需要提前初始化。 构造initializer实例对象需要传入calibration得到的scale_offset record文件;支持配置为None,表示使用默认的初始值来初始化 clip_min, clip_max,但不推荐使用,效果可能不好。 |
数据类型:class Initializer 的实例 默认值:None |
input_data |
输入 |
用户网络输入数据(仅要求数据的format和shape正确,数据本身可以是随机生成的),用于图编译。 |
数据类型:可以转化为MindSpore Tensor的对象,比如numpy.ndarray对象。 该参数为可变参数,支持用户网络有多个输入的情况。 |
retrain_network |
返回值 |
修改后的可以用于量化感知训练的网络模型。 |
数据类型:MindSpore的Cell对象 |
返回值说明
修改后的用于量化感知训练的网络模型。
函数输出
无。
调用示例
import amct_mindspore as amct from amct_mindspore.initializer import UlqInitializer import numpy as np network = resnet(10) network.set_train(True) ckpt_path = os.path.join(CUR_DIR, './ckpt/resnet50.ckpt') param_dict =load_checkpoint(ckpt_path) load_param_into_net(network, param_dict) input_data = np.random.uniform(0.0, 1.0, size=[32, 3, 224, 224]).astype(np.float32) config_file = os.path.join(CUR_DIR, './retrain_quant_config.json') # 1. create the quant config amct.create_quant_retrain_config(config_file, network, input_data) # scale_offset_record.txt is the record file of calibration initializer = UlqInitializer('./scale_offset_record.txt') # 2. get the quant aware traing retrain_network retrain_network = amct.create_quant_retrain_model(config_file, network, initializer, input_data)