ULQ数据量化算法
该算法用于量化感知训练场景。
ULQ(Universal Linear Quantization)算法在训练过程中不断训练量化因子,以减少量化损失。该算法初始化时会对数值做量化(包含截断),对初始化敏感。量化配置中ULQuantize(参数解释请参见表1)来控制ULQ算法。
- clip_max_min为初始化的截断范围,clip_min为截断下限,clip_max为截断上限,可根据数据的范围来设置,不设置则使用昇腾模型压缩工具自带的默认方式初始化。
- fixed_min表示在训练过程中,是否将截断下限设置为0。例如,当量化层的前一层是ReLu层,则数据范围为[0, +inf],此场景下数据量化可以设置fixed_min为true,表示截断下限始终为0。
父主题: 量化算法