文档
注册
评分
提单
论坛
小AI

DMQ均衡算法

该算法用于训练后量化场景。

DMQ(Diagonal Matrix Quantization Balancer)在计算量化因子之前对数据进行均衡处理,将数据的量化难度转移一部分至权重。如下图所示,X为数据,W为权重。

均衡原理为:

  1. 针对待量化算子的输入数据的每个通道,计算出均衡因子。
  2. 将数据除以均衡因子,同时权重乘以均衡因子,使得待量化算子的计算结果在均衡前后是数学等价的。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词