文档
注册

FixedLossScaleManager构造函数

功能说明

FixedLossScaleManager类的构造函数,浮点计算的溢出模式为“饱和模式”的场景下,可通过此接口定义训练场景下的静态LossScale参数。

  • Atlas 训练系列产品,浮点计算的溢出模式默认为“饱和模式”,且仅支持“饱和模式”。饱和模式为:计算出现溢出时,饱和为浮点数极值(+-MAX)。
  • Atlas A2 训练系列产品,浮点计算的溢出模式默认为“INF/NAN模式”,开发者可手工调用set_device_sat_mode接口修改溢出模式为“饱和模式”,但推荐保持默认的“INF/NAN模式”。

函数原型

def __init__(self, loss_scale, enable_overflow_check=True)

参数说明

参数名

输入/输出

描述

loss_scale

输入

LossScale值。float类型,取值不能小于1。

选择过小的LossScale的值可能会影响模型收敛,选择较大的LossScale可能会导致训练过程出现溢出。可以与GPU的值保持一致。

enable_overflow_check

输入

参数更新时,是否检查溢出。
  • True:检测到有溢出的迭代,会放弃参数更新,默认是True。
  • False:始终更新参数,不检查迭代中是否出现溢出。

返回值

返回FixedLossScaleManager类对象。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词