简介

概述

Scope融合是一种基于Scope来进行融合的能力，把Scope内的多个小算子替换为一个大算子或多个算子组合，以实现效率的提升。

本文主要介绍内置的Scope融合规则，同时开放Scope融合规则开发接口供用户自定义，具体请参考《TensorFlow Parser Scope融合规则开发指南》。

支持的TensorFlow版本为1.15。

通用和定制化融合规则

融合规则通常分为通用和定制化融合规则两类：

• 通用融合规则（General）：各网络通用的scope融合规则；默认生效，不支持用户指定失效。
• 定制化融合规则（Non-General）：特定网络适用的scope融合规则；默认不生效，用户可以指定需要生效的融合规则，定制化融合规则生效方式可以参考如下生效方式。

  表1 定制化融合规则生效方式

  场景	生效方式
  离线推理场景下，使用离线模型转换工具编译TensorFlow原始模型	通过模型转换命令行参数enable_scope_fusion_passes指定需要生效的融合规则，多个用“,”分隔： --enable_scope_fusion_passes = DecodeBboxV2ScopeFusionPass
  离线推理场景下，解析TensorFlow原始模型	通过aclgrphParseTensorFlow接口解析TensorFlow原始模型时，通过 ENABLE_SCOPE_FUSION_PASSES参数指定需要生效的融合规则，多个用“,”分隔： {ge::AscendString(ge::ir_option::ENABLE_SCOPE_FUSION_PASSES), ge::AscendString("DecodeBboxV2ScopeFusionPass")},
  训练或在线推理场景下，在TensorFlow框架内执行	通过TensorFlow框架运行配置参数enable_scope_fusion_passes指定需要生效的融合规则，多个用“,”分隔： import tensorflow as tf from npu_bridge.estimator import npu_ops from tensorflow.core.protobuf.rewriter_config_pb2 import RewriterConfig config = tf.ConfigProto() custom_op = config.graph_options.rewrite_options.custom_optimizers.add() custom_op.name = "NpuOptimizer" custom_op.parameter_map["use_off_line"].b = True custom_op.parameter_map["enable_scope_fusion_passes"].s = tf.compat.as_bytes("DecodeBboxV2ScopeFusionPass") config.graph_options.rewrite_options.remapping = RewriterConfig.OFF with tf.Session(config=config) as sess: sess.run(xx_name_scope) # xx_name_scope是融合算子名字的示例。