graph fusion功能

功能简介

使用图模式运行模型时会自动融合算子，以降低推理的整体运行时间。算子融合是整网性能提升的一种关键手段，目前系统内置了一些算子融合规则，且均为自动开启。TorchAir在用户侧额外提供了接口，允许用户自定义关闭/开启部分融合算子。

算子融合分为图融合（Graph Fusion）和UB融合（Unified Buffer Fusion）两种，详情请参见《CANN 图融合和UB融合规则参考》。

图融合：指融合引擎（Fusion Engine）根据融合规则进行改图的过程，该过程主要通过拆分/合并计算图中的算子来提升计算效率，以实现加速运算的目的，与硬件无关。
UB融合：指对图上算子进行硬件UB相关的融合，UB是昇腾AI处理器上的Unified Buffer。例如两个算子a和b单独运行时，算子a的计算结果在UB上，需要搬移到DDR（Double Data Rate，双倍速率同步动态随机存储器）。算子b再执行时，需要将算子a的输出由DDR再搬移到UB，进行算子b的计算逻辑，计算完之后，又从UB搬移回DDR。

使用方法

创建融合配置文件。配置文件示例如下，文件名自定义（例如fusion_switch.cfg）。其中on表示开启融合规则，off表示关闭融合规则。

{
    "Switch":{
        "GraphFusion":{
            "ConvToFullyConnectionFusionPass":"on",
            "SoftmaxFusionPass":"on",
            "ConvConcatFusionPass":"on",
            "MatMulBiasAddFusionPass":"on",
            "PoolingFusionPass":"on",
            "ZConcatv2dFusionPass":"on",
            "ZConcatExt2FusionPass":"on",
            "TfMergeSubFusionPass":"on"
        },
        "UBFusion":{
            "FusionVirtualOpSetSwitch":"on"
        }
    }
}

同时支持用户一键关闭/开启融合规则，以一键关闭为例：

{
    "Switch":{
        "GraphFusion":{
            "ALL":"off"
        },
        "UBFusion":{
            "ALL":"off"
         }
    }
}

一键式关闭融合规则仅是关闭系统部分融合规则，而非全部融合规则，即便是配置"ALL": "off"后，部分融合算子仍旧会生效，因为关闭某些融合规则可能会导致功能问题。

融合配置文件创建完成后，在设置config时使用“config.fusion_config.fusion_switch_file”增加融合配置文件路径。具体示例如下：

import torch_npu
import torchair as tng
config = tng.CompilerConfig()
# 指定融合配置文件的路径
config.fusion_config.fusion_switch_file = "/home/test/fusion_switch.cfg"
npu_backend = tng.get_npu_backend(compiler_config=config)
...
model = Model()
model = torch.compile(model, backend=npu_backend, dynamic=False)

若想确认配置本身是否生效，在运行之前需要提前设置环境变量，该环境变量会打印图初始化时的一些开关配置。

export TNG_LOG_LEVEL=0

若配置正确，在日志信息中搜索“ge.fusionSwitchFile:”关键字，可以看见类似的屏显信息。

concrete_graph/session.cpp:28   ge.fusionSwitchFile: /home/test/fusion_switch.cfg

融合开关生效后，当前文件夹内会生成名为"fusion_result.json"的文件，结果示例如下：
```
[{
    "graph_fusion": {
        "RefreshInt64ToInt32FusionPass": {
            "effect_times": "1",        # 成功图融合的次数
            "match_times": "1"          # 匹配图融合条件的次数
        }
    },
    "session_and_graph_id": "0_0"，     # "0_0"是图所在session id和图本身id的拼接
    "ub_fusion": {
        "MatmulAtomicAddUbFusion": {
            "effect_times": "36",        # 成功UB融合的次数
            "match_times": "72",         # 匹配UB融合条件的次数
          
        }
    }
}]
```
当前图找到1次满足“RefreshInt64ToInt32FusionPass”条件的情况，成功融合了1次。找到了72次满足“MatmulAtomicAddUbFusion”融合条件的情况，成功融合了36次。

若用户未自定义配置融合算子文件，系统会采用默认配置运行图模式，默认配置文件的路径为“${HOME}/Ascend/ascend-toolkit/latest/opp/built-in/fusion_pass/config/fusion_config.json”，其中${HOME}为CANN软件安装目录。

父主题： 特性介绍