说明:当前版本该特性为试用特性,不支持应用于商用产品中。
当前通道稀疏支持对不同的层做不同稀疏率的稀疏处理,但逐层设置稀疏率对用户的使用门槛较高,对于某一层,如何选择稀疏率(即配置中的prune_ratio)是比较困难的,手动尝试的配置需要进行重训练,耗费时间多。针对上述问题,引入自动通道稀疏搜索特性,根据用户模型来计算各通道的稀疏敏感度(影响精度)以及稀疏收益(影响性能),然后搜索策略依据稀疏敏感度和稀疏收益来搜索最优的逐层通道稀疏率,以平衡精度和性能。
采用近似估计的方法对loss(w - wi)进行泰勒展开,目前考虑到计算量只算一阶。
其中,Flops为浮点计算量,act_bit为数据的数据精度,wts_bit为权重的数据精度。
自动通道稀疏搜索流程如图1所示,支持稀疏的层以及规格请参见表1。
各流程简要说明如下: