RmsNormBackwardOperation
功能
rmsnorm的反向计算。
定义
struct RmsNormBackwardParam {};
输入
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
dy |
[-1,…,-1] |
float16/float/bf16 |
ND |
输入梯度。维度与x相同。数据类型与x一致。 |
x |
[-1,…,-1] |
float16/float/bf16 |
ND |
正向计算输入。 |
rstd |
[-1,…,-1] |
float |
ND |
正向计算中间结果。 |
gamma |
[-1,…,-1] |
float16/float/bf16 |
ND |
数据类型与x一致。维度数需要大于0，并小于x的维度数，gamma的维度从最后一维向前，每一维都需要和x保持一致。 |
输出
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
dx |
[-1,…,-1] |
float16/float/bf16 |
ND |
正向输入x的梯度。维度与x一致。数据类型与x一致。 |
dgamma |
[-1,…,-1] |
float |
ND |
正向输入gamma的梯度。维度与gamma一致。 |
规格约束
当前只支持