工具实现的融合功能
当前该工具主要实现的是BN融合功能,分为如下几类(如下融合场景中涉及的单个算子,需要先满足量化场景下的约束条件):
- Conv+BN+Scale融合:AMCT在量化前会对模型中的"Convolution+BatchNorm+Scale"结构做Conv+BN+Scale融合,融合后的"BatchNorm"、"Scale"层会被删除。
- Deconv+BN+Scale融合:AMCT在量化前会对模型中的"Deconvolution+BatchNorm+Scale"结构做Deconv+BN+Scale融合,融合后的"BatchNorm"、"Scale"层会被删除。
- BN+Scale+Conv融合:仅训练后量化支持,AMCT在量化前会对模型中的"BatchNorm+Scale+Convolution"结构做BN+Scale+Conv融合,融合后的"BatchNorm"、"Scale"层会被删除。
- FC+BN+Scale融合:仅训练后量化支持,AMCT在量化前会对模型中的"InnerProduct+BatchNorm+Scale"结构做FC+BN+Scale融合,融合后的"BatchNorm"、"Scale"层会被删除。
父主题: 参考信息