aclnnBatchNormReduceBackward

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnBatchNormReduceBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormReduceBackward”接口执行计算。

• aclnnStatus aclnnBatchNormReduceBackwardGetWorkspaceSize(const aclTensor* gradOut, const aclTensor* input, const aclTensor* mean, const aclTensor* invstd, const aclTensor* weight, const bool inputG, const bool weightG, const bool biasG, aclTensor* sumDy, aclTensor* sumDyXmu, aclTensor* gradWeight, aclTensor* gradBias, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnBatchNormReduceBackward(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

功能描述

• 算子功能： Batch Normalization的反向传播，完成以下计算：

  • 计算损失函数L对缩放权重γ的梯度($\frac{\partial L}{\partial γ}$)。
  • 计算损失函数L对偏移量β的梯度($\frac{\partial L}{\partial β}$)。
  • 以损失函数L相对于输出(y[object Object]i[object Object])的偏差d[object Object]yi[object Object]推导计算$\frac{\partial L}{\partial x_i}$所需的中间量sum_dy和sum_dy_xmu。其中($\frac{\partial L}{\partial x_i}$)为损失函数L相对于对应层各输入(x[object Object]i[object Object])的梯度。

• 计算公式：

$$gradWeight = \frac{\partial l}{\partial γ} = \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot \hat{x_i} = \frac{\sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot (x_i-μ_B)}{{\sqrt{σ^2_B + ε}}}$$ $$gradBias = \frac{\partial l}{\partial β} = \sum^m_{i=0} \frac{\partial l}{\partial y_i}$$ $$sumDy = sum(l, y_i) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i}$$ $$sumDyXmu = sum(l, y_i, x_i, μ_B) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot (x_i-μ_B)$$

aclnnBatchNormReduceBackwardGetWorkspaceSize

• 参数说明：

  • gradOut(aclTensor*, 计算输入): 梯度Tensor，Device侧的aclTensor，数据类型需要与input一致，shape支持2-8维，支持undefined，undefined为ND。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • input(aclTensor*, 计算输入): 输入Tensor，Device侧的aclTensor，shape支持2-8维，支持undefined，undefined为ND。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • mean(aclTensor*, 计算输入): 均值，Device侧的aclTensor，支持undefined，undefined为ND。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • invstd(aclTensor*, 计算输入): 标准差的倒数，Device侧的aclTensor，支持undefined，undefined为ND。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • weight(aclTensor*, 计算输入): 权重，Device侧的aclTensor，支持undefined，undefined为ND。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • inputG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出sumDy和sumDyXmu。
  • weightG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出gradWeight。
  • biasG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出gradBias。
  • sumDy(aclTensor*, 计算输出): 样本均值和对输出梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • sumDyXmu(aclTensor*, 计算输出): 样本均值和对输入梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • gradWeight(aclTensor*, 计算输出): 缩放参数的梯度，Device侧的aclTensor，如果weightG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • gradBias(aclTensor*, 计算输出): 偏置参数的梯度，Device侧的aclTensor，如果biasG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • Atlas 训练系列产品：数据类型支持FLOAT、FLOAT16。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • workspaceSize(uint64_t*, 出参): 返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus: 返回状态码，具体参见undefined。

  [object Object]

aclnnBatchNormReduceBackward

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnBatchNormReduceBackwardGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参): 指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus: 返回状态码，具体参见undefined。

约束与限制

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。