QAT模型适配CANN模型

转换约束如下:

适配原理

适配原理如图1所示。蓝色部分为用户实现,灰色部分为用户调用AMCT提供的convert_qat_model接口实现,用户在TensorFlow QAT网络推理的代码中导入库,并在特定的位置调用相应API,即可实现适配功能。QAT模型当前不支持自动量化功能。详细适配样例请参见获取更多样例,您也可以获取命令行方式的示例,快速体验其功能。

图1 QAT模型适配Ascend模型

调用示例

本示例演示了如何将TensorFlow的QAT量化模型通过AMCT适配为CANN量化模型格式。

  • 如下示例标有“由用户补充处理”的步骤,需要用户根据自己的模型和数据集进行补充处理,示例中仅为示例代码。
  • 如下示例调用AMCT的部分,函数入参请根据实际情况进行调整。
  1. 导入AMCT包,设置日志级别。

    1
    2
    import amct_tensorflow as amct
    amct.set_logging_level(print_level='info', save_level='info')
    

  2. (可选,由用户补充处理)建议使用原始待量化的模型和测试集,在TensorFlow环境下推理,验证环境、推理脚本是否正常。

    推荐执行该步骤,以确保原始模型可以完成推理且精度正常;执行该步骤时,可以使用部分测试集,减少运行时间。

    1
    user_do_inference(ori_qat_model, test_data)
    

  3. 调用AMCT中的convert_qat_model接口,执行模型适配。

    该接口内部会将pb格式的模型解析为graph形式,完成图的预处理操作>修改解析后的图结构,插入AscendQuant、AscendDequant等算子,保存为量化模型。
    1
    2
    3
    4
    5
    6
    quant_model_path = './result/user_model'
    record_file = './result/record.txt'
    amct.convert_qat_model(pb_model=ori_qat_model,
    		       outputs=ori_qat_model_outputs,
    		       save_path=quant_model_path,
                           record_file=record_file)
    

  4. (可选,由用户补充处理)使用量化后模型user_model_quantized.pb和测试集,在TensorFlow的环境下推理,测试量化后的仿真模型精度。

    使用量化后仿真模型精度与2中的原始精度做对比,可以观察量化对精度的影响。

    1
    2
    quant_model = './results/user_model_quantized.pb'
    user_do_inference(quant_model, test_data)