auto_nuq

功能说明

训练后量化接口，根据用户输入的模型、配置文件进行自动非均匀量化，搜索得到一个满足目标精度的非均匀量化配置，输出可以在Caffe环境下做精度仿真的fake_quant模型，和可在昇腾AI处理器上做在线推理的deploy模型。

函数原型

auto_nuq(model_file, weights_file, nuq_evaluator, config_file, scale_offset_record_file, save_dir)

参数说明

参数名	输入/返回值	含义	使用限制
model_file	输入	用户Caffe模型的定义文件，格式为.prototxt。	数据类型：string
weights_file	输入	用户训练好的的Caffe模型权重文件，格式为.caffemodel。	数据类型：string
nuq_evaluator	输入	自动非均匀量化评估的python实例。	数据类型：python instance
config_file	输入	用户生成的量化配置文件。	数据类型：string
scale_offset_record_file	输入	存储量化因子的文件，如果该文件存在，会被重写。	数据类型：string
save_dir	输入	模型存放路径。该路径需要包含模型名前缀，例如./quantized_model/*model。	数据类型：string

返回值说明

无。

函数输出

精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。
部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
量化因子记录文件：在接口中的scale_offset_record_file中写入量化层的权重量化因子（scale_w，offset_w）。
非均匀量化信息记录文件：该文件记录了哪些层做了非均匀量化。
量化信息文件：该文件记录了AMCT插入的量化算子位置以及算子融合信息，用于量化后的模型进行精度比对使用。

重新执行量化时，该接口输出的上述文件将会被覆盖。

调用示例

      
       
         
         
           import amct_caffe as amct    
from amct_caffe.auto_nuq import AutoNuqEvaluatorBase

class AutoNuqEvaluator(AutoNuqEvaluatorBase):
    def __init__(self, evaluate_batch_num):
        self.evaluate_batch_num = evaluate_batch_num
    def eval_model(self, model_file, weights_file, batch_num):
        return do_benchmark_test(args, model_file, weights_file, batch_num)
    def is_satisfied(self, original_metric, new_metric):
        # the loss of top1 acc need to be less than 1%
        if (original_metric - new_metric) *100<1:
            return True
        return False

evaluator = AutoNuqEvaluator(1000)
amct.auto_nuq(
        model_file,
        weights_file,
        evaluator,
        config_json_file,
        scale_offset_record_file,
        './results/Resnet50')

          

        

      
     

父主题： 训练后量化