ScopeLayerNormGradPass
功能说明
将tf.layernorm的反向Scope融合为LayerNormGrad算子。
Scope详情
mul_grad展开：
sub_grad展开：
融合对应关系
LayerNorm反向的输入作为融合后的第一个输入dy。
LayerNorm正向的输入作为融合后的第2个输入x。
正向的第3个输出variance作为反向的第3个输入variance。
正向的第2个输出mean作为反向的第3个输入mean。
正向的第2个输入gamma作为反向的第4个输入gamma。
反向的第1个输出连接到反向图最后的addN节点的输出上。
反向的第2个输出gamma_backprop连接到mul_grad中的到cast节点的Mul的输出上。
反向的第3个输出beta_backprop连接到sub_grad中的到cast节点的Sum的输出上。
适用网络
Bert
融合规则类型
通用融合规则
父主题： 融合规则说明