场景和功能介绍

场景介绍

目前AMP支持以下4种场景。

典型场景：开启混合精度进行一般模型训练的场景。
梯度累加场景：每计算一个batch的梯度，进行梯度的累加而不是清零，当累加到一定次数再更新参数、清零梯度的场景。
多模型、损失函数和优化器场景：神经网络中同时存在多个损失函数和优化器的场景。
DDP场景（one NPU per process）：在分布式训练中，一个进程在一个NPU上运行的场景。

功能介绍

AMP默认使用动态Loss Scale。当前AMP工具中amp.GradScaler增加了dynamic和init_scale参数。dynamic默认为True，设置为False时，AMP支持静态Loss Scale并且可以通过init_scale参数设置scale系数。示例如下：

scaler=amp.GradScaler(init_scale=2.**10, dynamic=False)

父主题： 使用示例