简介

说明:当前版本该特性为试用特性,不支持应用于商用产品中

自动通道稀疏搜索流程如图1所示,支持稀疏的层以及规格请参见表1

图1 自动通道稀疏搜索流程

各流程简要说明如下:

  1. 初始化:初始化动作首先需要解析用户模型以及稀疏配置(可选),分析网络中可通道稀疏层及其对应的通道稀疏配置(是否有用户指定配置稀疏率),生成通道稀疏配置生成的搜索空间:解析用户目标压缩率配置。
    • 搜索空间:为支持通道稀疏的层,但是没有通过override_layer_configs或者override_layer_types配置稀疏率。
    • 压缩率:定义为原模型比特复杂度与稀疏后模型比特复杂度之比。
  2. 敏感度计算:计算每个通道的稀疏敏感度,内置基于损失估计的敏感度计算方法,使用泰勒展开的一次项估计裁剪该通道后网络loss的变化;支持用户自定义敏感度计算方法。
  3. 比特复杂度计算:计算每个通道的比特复杂度,视为通道的稀疏收益。
  4. 通道稀疏率配置搜索:默认采用自动通道稀疏搜索算法,搜索满足用户指定压缩率的最优通道稀疏率配置;支持用户自定义求解器。

    自动通道稀疏搜索特性只是生成通道稀疏的简易配置文件,若想得到最终稀疏后模型,还需要进行通道稀疏,将上述生成的简易配置文件作为入参传入通道稀疏。