文档
注册
评分
提单
论坛
小AI

近似校准算法

该场景使用的算法为FastSoftmax近似算法,通过替换Softmax算子实现来提升其激活函数在Atlas 推理系列产品芯片上的运行性能。原始的Softmax激活函数计算公式为:

而FastSoftmax算法将上述公式中的exp指数函数近似为如下带截断的一元三次方程,从而降低计算量:

上式函数中的a(二项式系数近似参数)、b(三项式系数近似参数)、clip_value(截断值近似参数)通过拟合校准集(插入dump算子,经过推理得到的校准数据)的真实数据来求近似解。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词