auto_nuq

功能说明

训练后量化接口，根据用户输入的模型、配置文件进行自动非均匀量化，搜索得到一个满足目标精度的非均匀量化配置，输出可以在Caffe环境下做精度仿真的fake_quant模型，和可在昇腾AI处理器上做在线推理的deploy模型。

函数原型

auto_nuq(model_file, weights_file, nuq_evaluator, config_file, scale_offset_record_file, save_dir)

参数说明

返回值说明

无。

函数输出

• 精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。
• 部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
• 量化因子记录文件：在接口中的scale_offset_record_file中写入量化层的权重量化因子（scale_w，offset_w）。
• 非均匀量化信息记录文件：该文件记录了哪些层做了非均匀量化。
• 量化信息文件：该文件记录了AMCT插入的量化算子位置以及算子融合信息，用于量化后的模型进行精度比对使用。

重新执行量化时，该接口输出的上述文件将会被覆盖。

调用示例

import amct_caffe as amct    
from amct_caffe.auto_nuq import AutoNuqEvaluatorBase

class AutoNuqEvaluator(AutoNuqEvaluatorBase):
    def __init__(self, evaluate_batch_num):
        self.evaluate_batch_num = evaluate_batch_num
    def eval_model(self, model_file, weights_file, batch_num):
        return do_benchmark_test(args, model_file, weights_file, batch_num)
    def is_satisfied(self, original_metric, new_metric):
        # the loss of top1 acc need to be less than 1%
        if (original_metric - new_metric) *100<1:
            return True
        return False

evaluator = AutoNuqEvaluator(1000)
amct.auto_nuq(
        model_file,
        weights_file,
        evaluator,
        config_json_file,
        scale_offset_record_file,
        './results/Resnet50')