AMCT使用的4选2结构化稀疏算法为L1SelectivePrune,通过比较权重的l1值即绝对值来决定保留哪些权重,每4个连续的权重中保留l1值最大的2个权重。
稀疏配置文件中通过L1SelectivePruner字段(参数解释请参见量化感知训练简易配置文件)来控制L1SelectivePrune算法。
update_freq=0时表示训练时仅在第一个batch计算哪些元素被保留,update_freq=2时,表示训练时每2个batch计算哪些元素被保留,以此类推。默认为0。