手工调优
如果按照某组配置稀疏模型后,经过重训练精度未满足要求,则可以修改简易配置文件(文件配置请参见
量化感知训练简易配置文件
)重新稀疏模型并重训练。常用的方法包括:
调整更新间隔(计算哪些元素被保留的间隔),由简易配置文件中的
update_freq
参数控制,用户可尝试将更新间隔改为正整数并重新进行稀疏来进行调试,一般来说更新间隔越小精度收益越大。
某些层不做稀疏,由简易配置文件中的
regular_prune_skip_layers
参数控制,通过该参数配置不需要稀疏的层。
父主题:
4选2结构化稀疏