ScopeLayerNormPass
功能说明
将tf.layernorm生成的layernorm/batchnorm和layernorm/moments这两个Scope,融合为LayerNorm算子。
Scope详情
batchnorm展开:
moments展开:
融合对应关系
当有Cast节点时,首个cast的输入,作为融合后的第一个输入x。
Mul节点的gamma输入作为融合后的第2个输入gamma。
最后一个Add节点beta输入作为融合后的第3个输入beta。
第4个begin_norm_axis使用默认值1。
第5个begin_param_axis使用默认值-1。
适用网络
Bert
融合规则类型
通用融合规则
父主题: 融合规则说明