accuracy_based_auto_calibration

功能说明

根据用户输入的模型、配置文件进行自动的校准过程，搜索得到一个满足目标精度的量化配置，输出既可以在TensorFlow环境下做精度仿真的fake_quant模型又可在昇腾AI处理器上做推理的deploy模型。

约束说明

无。

函数原型

accuracy_based_auto_calibration(model_file,outputs,record_file,config_file,save_dir,evaluator,strategy='BinarySearch',sensitivity='CosineSimilarity')

参数说明

参数名	输入/返回值	含义	使用限制
model_file	输入	用户未量化的TensorFlow模型的定义文件，格式为.pb。	数据类型：string
outputs	输入	输出节点的字符串列表	数据类型：string
config_file	输入	用户生成的量化配置文件。	数据类型：string
record_file	输入	存储量化因子的路径，如果该路径下已存在文件，则会被重写。	数据类型：string
save_dir	输入	模型存放路径。该路径需要包含模型名前缀，例如./quantized_model/*model。	数据类型：string
evaluator	输入	自动量化进行校准和评估精度的python实例。	数据类型：python instance
strategy	输入	搜索满足精度要求的量化配置的策略，默认是二分法策略。	数据类型：string或python instance 默认值：BinarySearch
sensitivity	输入	评价每一层量化层对于量化敏感度的指标，默认是余弦相似度。	数据类型：string或python instance 默认值：CosineSimilarity

返回值说明

无。

函数输出

既可以在TensorFlow环境进行精度仿真又可以在昇腾AI处理器做推理的pb模型文件。
量化因子记录文件、量化配置文件、层相似度文件以及自动量化回退历史记录文件。

调用示例

import amct_tensorflow as amct
from amct_tensorflow.accuracy_based_auto_calibration import accuracy_based_auto_calibration

def main():
    args_check(args)
    outputs = [PREDICTIONS]
    record_file = os.path.join(RESULT_DIR, 'record.txt')
    config_file = os.path.join(RESULT_DIR, 'config.json')
    with tf.io.gfile.GFile(args.model, mode='rb') as model:
        graph_def = tf.compat.v1.GraphDef()
        graph_def.ParseFromString(model.read())
    tf.import_graph_def(graph_def, name='')
    graph = tf.compat.v1.get_default_graph()
    amct.create_quant_config(config_file, graph)
    save_dir = os.path.join(RESULT_DIR, 'MobileNetV2')
    evaluator = MobileNetV2Evaluator(args.dataset, args.keyword, args.num_parallel_reads, args.batch_size)
    accuracy_based_auto_calibration(args.model, outputs, record_file, config_file, save_dir, evaluator)

父主题： 训练后量化