DMQ均衡算法
该算法用于训练后量化场景。
DMQ(Diagonal Matrix Quantization Balancer)在计算量化因子之前对数据进行均衡处理,将数据的量化难度转移一部分至权重。如下图所示,X为数据,W为权重。
均衡原理为:
- 针对待量化算子的输入数据的每个通道,计算出均衡因子。
- 将数据除以均衡因子,同时权重乘以均衡因子,使得待量化算子的计算结果在均衡前后是数学等价的。
父主题: 训练后量化算法
该算法用于训练后量化场景。
DMQ(Diagonal Matrix Quantization Balancer)在计算量化因子之前对数据进行均衡处理,将数据的量化难度转移一部分至权重。如下图所示,X为数据,W为权重。
均衡原理为: