蒸馏算法

蒸馏量化的思想是将量化模型作为学生模型，原始模型作为教师模型，通过引导量化模型“模仿”浮点模型从而获得更好的精度结果。蒸馏量化，仅需要少量无标签数据集，即可以在较短的量化时间内达到较好的精度结果。

量化蒸馏的步骤：

1. 量化原始模型，得到结构与浮点模型相同的量化模型。
2. 将若干级联的量化层划分为一个蒸馏单元。
3. 以浮点蒸馏模块的输出作为soft label，对量化蒸馏模块进行fine-tune。
4. 完成所有的模块蒸馏，得到精度更优的量化模型。