如果用户使用TensorFlow框架的原始模型已经做了量化功能(以下简称QAT模型),但是该模型无法使用ATC工具转成适配昇腾AI处理器的离线模型,则需要借助AMCT提供的convert_qat_model接口,将该QAT模型适配成CANN量化模型格式。然后才能使用ATC工具,将CANN量化模型转成适配昇腾AI处理器的离线模型。转换约束如下:
适配原理如图1所示。蓝色部分为用户实现,灰色部分为用户调用AMCT提供的convert_qat_model接口实现,用户在TensorFlow QAT网络推理的代码中导入库,并在特定的位置调用相应API,即可实现适配功能。QAT模型当前不支持自动量化功能。详细适配示例请参见获取更多样例>mobilenet_v2,您也可以获取命令行方式的示例获取更多样例>cmd,快速体验其功能。
本示例演示了如何将TensorFlow的QAT量化模型通过AMCT适配为CANN量化模型格式。
import amct_tensorflow as amct amct.set_logging_level(print_level='info', save_level='info')
推荐执行该步骤,以确保原始模型可以完成推理且精度正常;执行该步骤时,可以使用部分测试集,减少运行时间。
user_do_inference(ori_qat_model, test_data)
quant_model_path = './result/user_model' record_file = './result/record.txt' amct.convert_qat_model(pb_model=ori_qat_model, outputs=ori_qat_model_outputs, save_path=quant_model_path, record_file=record_file)
使用量化后仿真模型精度与2中的原始精度做对比,可以观察量化对精度的影响。
quant_model = './results/user_model_quantized.pb' user_do_inference(quant_model, test_data)