近似校准算法
该场景使用的算法为FastSoftmax近似算法,通过替换Softmax算子实现来提升其激活函数在Atlas 推理系列产品芯片上的运行性能。原始的Softmax激活函数计算公式为:
而FastSoftmax算法将上述公式中的exp指数函数近似为如下带截断的一元三次方程,从而降低计算量:
上式函数中的a(二项式系数近似参数)、b(三项式系数近似参数)、clip_value(截断值近似参数)通过拟合校准集(插入dump算子,经过推理得到的校准数据)的真实数据来求近似解。
父主题: 压缩算法