下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

auto_nuq

功能说明

训练后量化接口,根据用户输入的模型、配置文件进行自动非均匀量化,搜索得到一个满足目标精度的非均匀量化配置,输出可以在Caffe环境下做精度仿真的fake_quant模型,和可在昇腾AI处理器上做在线推理的deploy模型。

函数原型

auto_nuq(model_file, weights_file, nuq_evaluator, config_file, scale_offset_record_file, save_dir)

参数说明

参数名

输入/返回值

含义

使用限制

model_file

输入

用户Caffe模型的定义文件,格式为.prototxt。

数据类型:string

weights_file

输入

用户训练好的的Caffe模型权重文件,格式为.caffemodel。

数据类型:string

nuq_evaluator

输入

自动非均匀量化评估的python实例。

数据类型:python instance

config_file

输入

用户生成的量化配置文件。

数据类型:string

scale_offset_record_file

输入

存储量化因子的文件,如果该文件存在,会被重写。

数据类型:string

save_dir

输入

模型存放路径。

该路径需要包含模型名前缀,例如./quantized_model/*model

数据类型:string

返回值说明

无。

函数输出

  • 精度仿真模型文件:一个模型定义文件,一个模型权重文件,文件名中包含fake_quant;模型可在Caffe环境下做推理实现量化精度仿真。
  • 部署模型文件:一个模型定义文件,一个模型权重文件,文件名中包含deploy;模型经过ATC工具转换后可部署到昇腾AI处理器上。
  • 量化因子记录文件:在接口中的scale_offset_record_file中写入量化层的权重量化因子(scale_w,offset_w)。
  • 非均匀量化信息记录文件:该文件记录了哪些层做了非均匀量化。
  • 量化信息文件:该文件记录了AMCT插入的量化算子位置以及算子融合信息,用于量化后的模型进行精度比对使用。

重新执行量化时,该接口输出的上述文件将会被覆盖。

调用示例

import amct_caffe as amct    
from amct_caffe.auto_nuq import AutoNuqEvaluatorBase

class AutoNuqEvaluator(AutoNuqEvaluatorBase):
    def __init__(self, evaluate_batch_num):
        self.evaluate_batch_num = evaluate_batch_num
    def eval_model(self, model_file, weights_file, batch_num):
        return do_benchmark_test(args, model_file, weights_file, batch_num)
    def is_satisfied(self, original_metric, new_metric):
        # the loss of top1 acc need to be less than 1%
        if (original_metric - new_metric) *100<1:
            return True
        return False

evaluator = AutoNuqEvaluator(1000)
amct.auto_nuq(
        model_file,
        weights_file,
        evaluator,
        config_json_file,
        scale_offset_record_file,
        './results/Resnet50')
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词