工具实现的融合功能

当前该工具主要实现的融合功能包括：

• Caffe框架：
  • Conv+BN+Scale融合，AMCT在量化前会对模型中的"Convolution+BatchNorm+Scale"结构做Conv+BN+Scale融合，融合后的"BatchNorm"、"Scale"层会被删除。
  • DeConv+BN+Scale融合，AMCT在量化前会对模型中的"Deconvolution+BatchNorm+Scale"结构做DeConv+BN+Scale融合，融合后的"BatchNorm"、"Scale"层会被删除。

• TensorFlow框架：
  • Conv+BN融合：AMCT在量化前会对模型中的"Conv2D/Conv3D+BatchNorm"结构做Conv+BN融合，融合后的"BatchNorm"层会被删除。
  • Depthwise_Conv+BN融合：AMCT在量化前会对模型中的"DepthwiseConv2dNative+BatchNorm"结构做Depthwise_Conv+BN融合，融合后的"BatchNorm"层会被删除。
  • Conv2DBackpropInput+BN融合：AMCT在量化前会对模型中的"Conv2DBackpropInput+BatchNorm"结构做Conv2DBackpropInput+BN融合，融合后的"BatchNorm"层会被删除。
• ONNX框架：
  • Conv+BN融合，AMCT在量化前会对模型中的"Conv+BatchNormalization"结构做Conv+BN融合，融合后的"BatchNorm"层会被删除。
  • ConvTranspose+BN融合，AMCT在量化前会对模型中的"ConvTranspose+BatchNormalization"结构做ConvTranspose+BN融合，融合后的"BatchNorm"层会被删除。
• requant融合场景中的Relu6算子替换成Relu（Relu6无法做Requant融合，需替换为Relu）：由于Relu6算子在Relu的基础上增加了对6以上数值的截断，同时量化过程中也会对输入浮点数进行截断，故AscendDequant+Relu6+AscendQuant与AscendDequant+Relu+AscendQuant存在等价的场景可以进行替换。基于该背景AMCT对量化部署模型中的AscendDequant+Relu6+AscendQuant结构等价替换为AscendDequant+Relu+AscendQuant。

  该场景下需要满足限制条件才可以进行替换，条件为(127-offset)/scale<6，其中scale/offset为quant中取出的量化参数。

• 支持对满足requant融合场景中的relu6算子替换成relu。
• BatchNorm+Mul+Add融合（适用于TensorFlow框架和ONNX框架）

  AMCT在量化前会先对模型中的 “BatchNorm+Mul” 结构做“BN+Mul”融合，融合后的 “Mul” 层会被删除；然后对模型中的 “BatchNorm+Add” 结构做“BN+Add”融合，融合后的 “Add” 层会被删除。

• BN小算子融合为BatchNorm大算子（适用于TensorFlow框架和ONNX框架）。

  AMCT对小算子结构的BN进行匹配，并将匹配到的小算子BN结构替换为大算子的BN结构。BN小算子结构融合的前提条件包括：

  1. BN结构中的data节点必须为可量化节点（Conv2D、DepthwiseConv2D、MatMulV2、Conv3D）。
  2. 如果结构中有除data、scale、offset、mean、variance和输出节点之外的节点与该结构外的节点连接，则不做融合。

  对于没有offset的BN结构，融合时会构造一个全0的offset节点；对于没有scale的BN结构，融合时会构造一个全1的scale节点。具体支持的小算子BN结构的场景如下所示：

  • 无offset，is_training=False，data_format=NHWC，输入节点为Const类型，融合前后网络结构图为：

    

  • 无offset，is_training=False，data_format=NCHW，输入节点为Const类型，融合前后网络结构图为：

    

  • 无scale和offset，is_training=False，data_format=NHWC，输入节点为Const类型，融合前后网络结构图为：

    

  • 无scale和offset，is_training=False，data_format=NCHW，输入节点为Const类型，融合前后网络结构图为：

    

  • 无scale，is_training=False，data_format=NHWC，输入节点为Const类型，融合前后网络结构图为：

    

  • 无scale，is_training=False，data_format=NCHW，输入节点为Const类型，融合前后网络结构图为：

    

  • is_training=False，data_format=NHWC，输入节点为Const类型，融合前后网络结构图为：

    

  • is_training=False，data_format=NCHW，输入节点为Const类型，融合前后网络结构图为：

    

  • 无offset，is_training=False，data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • 无offset，is_training=False，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

  • 无scale和offset，is_training=False，data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • 无scale和offset，is_training=False，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

  • 无scale，is_training=False，data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • 无scale，is_training=False，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

  • is_training=False，,data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • is_training=False，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

  • 一种简化后的BN结构，无offset，data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • 一种简化后的BN结构，无offset，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

  • 一种简化后的BN结构，无scale和offset，data_format=NHWC，输入节点为Variable类型，融合前后网络结构图为：

    

  • 一种简化后的BN结构，无scale和offset，data_format=NCHW，输入节点为Variable类型，融合前后网络结构图为：

    

• bn_branch类小算子融合成BN大算子

  AMCT对bn_branch小算子结构的双BN结构进行匹配，并将匹配到的小算子结构替换为大算子的BN结构。如果结构中存在以下三种场景：两个BN分支的输入数据来源不同、结构输出为训练BN输出、推理BN的is_traing参数为True，则不做融合。算子融合过程会保留原结构中的推理BN大算子，并删除多余的Switch等小算子结构的节点，并重新添加保留BN算子的输入输出边，实现小算子融合成大算子。具体支持的小算子BN结构的场景如下所示：