计算精度说明

NPU与主流AI处理器之间的计算差异

NPU与主流AI处理器之间的计算差异主要为浮点舍入模式差异和计算过程差异。

• 浮点舍入模式的差异
  在浮点舍入模式方面，主流AI处理器支持四种舍入模式，NPU在主流AI处理器的四种模式基础上，增加了A模式和O模式。舍入都会带来数值精度误差，相比主流AI处理器，NPU的舍入模式更丰富。

  • A模式：最近舍入并在尾数为五时选择远离零舍入（正数选择更大数的方向，负数选择更小数的方向）。
  • O模式：最近舍入并在尾数为五时向奇数舍入。
  • 向最接近的可表示的值。
  • 当有两个最接近的可表示的值时首选“偶数”值。
  • 向负无穷大（向下）。
  • 向正无穷大（向上）以及向零（截断）。

  默认模式是最近舍入（Round to Nearest），它与四舍五入只有一点不同，对.5的舍入上，采用取偶数的方式。最近舍入模式：Round(0.5) = 0；Round(1.5) = 2；Round(2.5) = 2。四舍五入模式：Round(0.5) = 1；Round(1.5) = 2；Round(2.5) = 3。

• 计算过程的差异

  计算过程的差异包括计算使用的浮点精度、累加运算的顺序等。计算过程中的细微差异都能引起最终输出结果的不同，从而产生跟标杆比对程度不一的误差。

精度调试的前提条件

小的计算差异在某些超参配置下（例如大学习率、 大adam_beta1、大adam_beta2）以及某些场景下（例如浅层参数中极小数值的梯度）会被放大，从而在训练稳定性的表现上出现很大差异。例如主流AI处理器或NPU其中一方不稳定（很多loss尖刺），或者双方都不稳定，这在大规模训练和训练对比实践中都非常常见。

计算差异对训练结果的影响

• Google TPU上的实验证明了计算精度和模型精度的复杂关系。

  实验中，将82.3%~90.3%的芯片比特翻转故障注入实验，发现训练Loss不会有显著差异，其中还有65.5%~86.3%的loss甚至略微优于无故障基准。故障产生了噪声，相当于在模型结构中引入了正则层。所以计算或者通信的某些精度差异，并不一定会导致训练更不稳定。

• 华为内部也做了大量计算精度误差模拟实验。
  • 实验1，在LLaMA2 -1B模型上，对一些算子或者torch模块（正向和反向）注入各种程度不一的无偏误差（误差均值为0），实验结果证明可控的计算误差对最终的loss收敛没有影响。

    实验步骤和结果如下：

    1. 开启确定性计算，在NPU上两次训练loss误差很小，反向传播时权重梯度方向对比相似度也在99%，以此正常训练作为基准。
    2. 在基准实验设置基础上，对ParallelTransformerLayer的每层输出，每步都加入正负1%的无偏误差（实际的计算误差远小于1%），训练1000步的loss差异大约在1.5%，如果注入正负0.48%的无偏误差，训练1000步的误差小于1% ，如图2所示。
       图2 实验1中NPU的loss曲线对比图
       
    3. 对比正常训练时和注入误差训练时，迭代1000步的最终模型参数，发现两者的余弦相似度几乎为1。注入误差训练的模型只是在优化路径上落后于正常训练的模型。
    4. 以上实验证明，即便人为注入一个很大的无偏误差，对训练结果的影响仍然在可接受范围内，并且对训练稳定性不会造成影响，即loss尖刺跟计算误差无关。对反向过程中的激活值梯度与权重梯度注入误差，也会有非常类似的结果。
  • 实验2，在LLaMA2 （7B，32层transformer）模型上，对主流AI处理器和NPU进行对比实验，为保证计算差异实验中未开确定性计算。实验在一个能够保持训练稳定性的合理超参配置下，从同一个初始权重训练，能精确对齐loss，并且在检查点的模型参数对比结果显示，两者相似度很高。

    实验设置和结论如下：

    • 实验设置：
      • 数据集设置：C4 real news-like，9B token数。
      • 并行设置：DP为4，TP为1，PP为2。
      • 优化器设置：使用开启overlap_grad_reduce通信并行的分布式优化器，关键超参参见表1。

        表1 优化器关键超参表

        超参名	说明	超参值
        adam_beta1	adam优化器梯度动量参数	0.9
        adam_beta2	adam优化器梯度方差参数	0.95
        adam_eps	adam优化器极小值参数	1e-8
        weight_decay	权重衰减	0.1
        clip_grad	修剪梯度	1.0
        lr	学习率	5e-5
        lr_warmup_fraction	学习率预热步数占比	0.01
        global_batch_size	全局批大小	256 (1M token)

    • 实验结果：
      训练8000步，loss平均收敛差异小于0.6%，最终收敛差异小于0.1%。训练到2000步时主流AI处理器和NPU模型参数的余弦相似度在0.998，到8000步时的余弦相似度在0.965。此实验可以证明在主流AI处理器和NPU上训练LLM，不仅两者在loss上很接近，而且收敛的位置也非常接近，如图3所示。

      图3 实验2中主流AI处理器和NPU的loss曲线对比图
      

用户使用案例

• NPU在用户使用的过程中， 其训练结果优于主流AI处理器的情况也很常见。用户的Qwen-1.8B模型在小学习率下进行训练，NPU的loss表现比主流AI处理器更好。更高的蓝线为主流AI处理器的loss，更低的红线为NPU的loss，如图4所示。
  图4 Qwen-1.8B模型上NPU与主流AI处理器的Loss曲线对比图
  

• 用户在昇腾千卡平台上训练LLaMA2-7B模型，已经做到了loss完全一致（训练不稳定状态的前一万步除外），如图5所示，并且每3万步MMLU评估精度，得分波动在4%以内，如图6所示。
  图5 LLaMA2-7B模型上NPU与主流AI处理器的Loss曲线图

  

  图6 MMLU评分对比图
  

精度调试过程案例