下载
中文
注册

ScopeLayerNormPass

功能说明

将tf.layernorm生成的layernorm/batchnorm和layernorm/moments这两个Scope,融合为LayerNorm算子。

Scope详情

batchnorm展开:

moments展开:

融合后的算子原型

LayerNorm,具体请参见算子加速库接口参考

融合对应关系

当有Cast节点时,首个cast的输入,作为融合后的第一个输入x。

Mul节点的gamma输入作为融合后的第2个输入gamma。

最后一个Add节点beta输入作为融合后的第3个输入beta。

第4个begin_norm_axis使用默认值1。

第5个begin_param_axis使用默认值-1。

适用网络

Bert

融合规则类型

通用融合规则