下载
中文
注册

V200RequantFusionPass

融合说明

该融合在推理场景下对量化节点进行优化。

匹配dequant+relu+concat(可选)+quant,融合成requant,同时在融合时,根据算法对相应算子参数进行调整。

融合成

使用约束

该融合pass主要用于推理网络量化模型时,对反量化算子融合处理。

模型小型化工具对原始框架模型进行量化时,会插入量化和反量化算子,而使用ATC工具进行模型转换过程中,会对插入的量化和反量化算子进行融合,此情况下就无法进行量化后模型dump结果与原始模型dump结果的比对,因此如果用户想使用通过模型小型化工具量化后的模型进行精度比对,则必须通过该配置文件,关闭融合功能。

配置文件模板如下所示,当前仅支持如下Pass规则的配置,使用该配置文件时,如下规则需要同时关闭。

V200RequantFusionPass:off                  //量化场景下,满足反量化(dequant)和量化(quant)相关pattern时,进行部署优化,提升推理性能
TbePool2dQuantFusionPass:off               //量化场景下,对Pool2d-quant连续的节点,标记UB融合,提升推理性能

支持的型号

Atlas 推理系列产品