简介
组合压缩是针对同一个网络模型，既进行量化又进行稀疏的操作，具体支持什么样的组合压缩方式，本章节给出详细介绍。
组合压缩方式
目前组合压缩支持如下组合方式，使用AMCT进行压缩时，每层可压缩算子每次只能选择其中一种组合压缩方式，简要流程如图1所示。
当前组合压缩特性的压缩配置由用户手动处理（故又称之为静态组合压缩，压缩配置文件配置方法请参见量化感知训练简易配置文件），通过手动设置全局量化位宽和稀疏率（通道稀疏比例）或更新4选2稀疏的间隔，实现模型自动压缩。组合压缩示例请参见获取更多样例。
组合压缩场景介绍
当前组合压缩支持如下几种场景，实际使用时，可以通过简易配置文件中的参数进行控制。如下场景中的整网量化指量化感知训练，其中：
- 整网量化：包括INT8和INT4，量化方式二选一。
- 整网（全局）量化配置参数：retrain_data_quant_config/retrain_weight_quant_config
- 部分层差异化配置参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config
- 整网稀疏：包括通道稀疏和4选2结构化稀疏，使用时二选一。
- 整网（全局）稀疏配置参数：prune_config
- 部分层差异化稀疏参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config
关于上述参数的详细解释请参见量化感知训练简易配置文件。
组合压缩场景 |
配置参数 |
说明 |
|---|---|---|
整网量化+整网稀疏 |
不配置override_layer_configs或override_layer_types |
- |
部分层差异化量化+整网稀疏 |
|
配置特性参数时，首先要指定全局配置，否则该特性不使能。 |
整网量化+部分层差异化稀疏 |
|
配置特性参数时，首先要指定全局配置，否则该特性不使能。 |
部分层量化+部分层差异化稀疏 |
|
配置特性参数时，首先要指定全局配置，否则该特性不使能。 |
整网量化 |
retrain_data_quant_config/retrain_weight_quant_config 不配置override_layer_configs或override_layer_types |
- |
部分层差异化量化 |
retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types |
配置特性参数时，首先要指定全局配置，否则该特性不使能。 |
整网稀疏 |
prune_config 不配置override_layer_configs或override_layer_types |
- |
部分层差异化稀疏 |
prune_config+override_layer_configs或override_layer_types |
配置特性参数时，首先要指定全局配置，否则该特性不使能。 |
