校准流程

近似校准是通过用户手动校准+近似替换的方式，将原始模型中的部分算子替换为昇腾亲和的高性能算子，从而在精度无损的前提下提升部署模型在昇腾AI处理器上的运行性能，本节给出近似校准特性支持的层，接口调用流程和调用示例。

AMCT目前支持近似校准的层以及约束如下：

表1 近似校准支持的层以及约束
支持的层类型	约束
Softmax	无

接口调用流程

近似校准功能接口调用流程如图1所示。

图1 近似校准接口调用流程
点击放大

蓝色部分为用户实现，灰色部分为用户调用AMCT提供的API实现，用户在TensorFlow原始网络推理的代码中导入库，并在特定的位置调用相应API，即可实现近似校准功能。工具运行流程如下：

用户首先构造TensorFlow的原始模型，然后调用create_approximation_calibrator接口生成校准模型（对应图1中的序号1，2）。
用户使用原始模型对应的校准数据集，在TensorFlow环境中对校准模型进行Inference，获得校准数据（对应图1中的序号3，4）。
后续会根据获得的校准数据，计算近似算子校准参数，详情请参见近似校准算法。
最后用户可以调用save_approximation_graph接口保存近似校准后的模型，该模型既可在TensorFlow环境中进行精度仿真又可以在昇腾AI处理器部署。

调用示例

如下流程详细演示如何编写脚本调用AMCTAPI进行模型近似校准。

如下示例标有“由用户补充处理”的步骤，需要用户根据自己的模型和数据集进行补充处理，示例中仅为示例代码。
如下示例调用AMCT的部分，函数入参请根据实际情况进行调整。

导入AMCT包，设置日志级别。

        
             import amct_tensorflow as amct
amct.set_logging_level(print_level='info', save_level='info')

（可选，由用户补充处理）在TensorFlow原始环境中验证推理脚本及环境。

建议使用原始待近似的模型和测试集，在TensorFlow环境下推理，验证环境、推理脚本是否正常。

推荐执行该步骤，请确保原始模型可以完成推理且精度正常；执行该步骤时，可以使用部分测试集，减少运行时间。

        
             user_do_inference(ori_model, test_data, test_iterations)

（由用户补充处理）根据模型user_model.pb，准备好图结构tf.Graph。
1

ori_graph = user_load_graph()

调用AMCT，对模型近似校准。

修改图，在图中插入校准数据导出的dump算子。

          
               amct.create_approximation_calibrator(graph=ori_graph,
                    config_defination=None)

（由用户补充处理）使用修改后的图在校准集上做模型推理，导出校准数据。

该步骤执行时，需要注意如下三点：

校准集及其预处理过程数据要与模型匹配，以保证精度。
前向推理的次数为batch_num（默认为1，也可以通过配置文件指定batch_num项进行修改），如果次数不够，后续过程会失败。
导出的校准数据保存在当前工作目录下amct_log内的临时文件夹（以当前时间戳命名）内。

          
               user_do_inference(ori_graph, calibration_data, batch_num)

校准时提示“Invalid argument: You must feed a value for placeholder tensor **”，则请参见校准时提示“Invalid argument: You must feed a value for placeholder tensor **”进行处理。

保存模型。

删除插入的dump算子，并将Softmax替换为FastSoftmax，将校准过后的模型图保存为近似校准的结果模型。

           
                result_model_path = './results/user_model'
model_outputs = ['user_model_outputs0', 'user_model_outputs1']
amct.save_approximation_graph(graph=ori_graph,
                outputs=model_outputs,
                save_path=result_model_path,
                config_defination=None)

该步骤执行时，需要注意如下两点：

config_defination选项的配置需与调用create_approximation_calibrator时一致。
由于近似校准特性会对模型中的原有算子进行替换，若输出节点被替换，可能导致后续用户模型推理失败。故若存在输出节点替换的情况，用户传入的outputs变量会按照替换节点进行更新。

（可选，由用户补充处理）使用近似校准后模型user_model_approximation.pb和测试集，在TensorFlow环境下推理，测试近似校准后的仿真模型精度。

使用近似校准后仿真模型精度与2中的原始精度做对比，可以观察近似校准对精度的影响。

         
              approx_model = './results/user_model_approximation.pb'
user_do_inference(approx_model, test_data, test_iterations)

父主题： 近似校准