手工通道稀疏算法

AMCT使用的通道稀疏算法为BalancedL2Norm,该算法通过计算权重各个filter(输出维度通道)的L2范数(各元素的平方和然后求平方根),对输出通道进行重要性排序并裁剪重要性较低的通道,即重要性低的通道优先被稀疏,原理下图所示:

图1 通道稀疏算法原理

稀疏配置文件中通过BalancedL2NormFilterPruner字段(参数解释请参见量化感知训练简易配置文件)来控制BalancedL2Norm算法。