FixedLossScaleManager构造函数
函数原型
def __init__(self, loss_scale, enable_overflow_check=True)
功能说明
FixedLossScaleManager类的构造函数,浮点计算的溢出模式为“饱和模式”的场景下,可通过此接口定义训练场景下的静态LossScale参数。
- Atlas 训练系列产品,浮点计算的溢出模式默认为“饱和模式”,且仅支持“饱和模式”。饱和模式为:计算出现溢出时,饱和为浮点数极值(+-MAX)。
- Atlas A2 训练系列产品,浮点计算的溢出模式默认为“INF/NAN模式”,开发者可手工调用set_device_sat_mode接口修改溢出模式为“饱和模式”,但推荐保持默认的“INF/NAN模式”。
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
loss_scale |
输入 |
LossScale值。float类型,取值不能小于1。 选择过小的LossScale的值可能会影响模型收敛,选择较大的LossScale可能会导致训练过程出现溢出。可以与GPU的值保持一致。 |
enable_overflow_check |
输入 |
参数更新时,是否检查溢出。
|
返回值
返回FixedLossScaleManager类对象。