auto_nuq
功能说明
训练后量化接口,根据用户输入的模型、配置文件进行自动非均匀量化,搜索得到一个满足目标精度的非均匀量化配置,输出可以在Caffe环境下做精度仿真的fake_quant模型,和可在昇腾AI处理器上做在线推理的deploy模型。
函数原型
auto_nuq(model_file, weights_file, nuq_evaluator, config_file, scale_offset_record_file, save_dir)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
model_file |
输入 |
用户Caffe模型的定义文件,格式为.prototxt。 |
数据类型:string |
weights_file |
输入 |
用户训练好的的Caffe模型权重文件,格式为.caffemodel。 |
数据类型:string |
nuq_evaluator |
输入 |
自动非均匀量化评估的python实例。 |
数据类型:python instance |
config_file |
输入 |
用户生成的量化配置文件。 |
数据类型:string |
scale_offset_record_file |
输入 |
存储量化因子的文件,如果该文件存在,会被重写。 |
数据类型:string |
save_dir |
输入 |
模型存放路径。 该路径需要包含模型名前缀,例如./quantized_model/*model。 |
数据类型:string |
返回值说明
无。
函数输出
- 精度仿真模型文件:一个模型定义文件,一个模型权重文件,文件名中包含fake_quant;模型可在Caffe环境下做推理实现量化精度仿真。
- 部署模型文件:一个模型定义文件,一个模型权重文件,文件名中包含deploy;模型经过ATC工具转换后可部署到昇腾AI处理器上。
- 量化因子记录文件:在接口中的scale_offset_record_file中写入量化层的权重量化因子(scale_w,offset_w)。
- 非均匀量化信息记录文件:该文件记录了哪些层做了非均匀量化。
- 量化信息文件:该文件记录了AMCT插入的量化算子位置以及算子融合信息,用于量化后的模型进行精度比对使用。
重新执行量化时,该接口输出的上述文件将会被覆盖。
调用示例
import amct_caffe as amct from amct_caffe.auto_nuq import AutoNuqEvaluatorBase class AutoNuqEvaluator(AutoNuqEvaluatorBase): def __init__(self, evaluate_batch_num): self.evaluate_batch_num = evaluate_batch_num def eval_model(self, model_file, weights_file, batch_num): return do_benchmark_test(args, model_file, weights_file, batch_num) def is_satisfied(self, original_metric, new_metric): # the loss of top1 acc need to be less than 1% if (original_metric - new_metric) *100<1: return True return False evaluator = AutoNuqEvaluator(1000) amct.auto_nuq( model_file, weights_file, evaluator, config_json_file, scale_offset_record_file, './results/Resnet50')
父主题: 训练后量化