算法介绍

BitFit是一种稀疏的微调方法。具体做法是在下游任务微调时，冻结大部分模型参数，只更新所有（或者部分）bias的参数。实验结果表明，对于bert模型使用BitFit算法，在仅更新bias参数的情况下，微调后精度近似全参微调。BitFit算法可与其他微调算法搭配使用，常常有助于提升模型精度。

算法具体细节可参考相关论文BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models。