简介

组合压缩方式

目前组合压缩支持如下组合方式，使用AMCT进行压缩时，每层可压缩算子每次只能选择其中一种组合压缩方式，简要流程如图1所示。

通道稀疏+量化感知训练 INT8量化
4选2结构化稀疏+量化感知训练 INT8量化

当前组合压缩特性的压缩配置由用户手动处理（故又称之为静态组合压缩，压缩配置文件配置方法请参见量化感知训练简易配置文件说明），通过手动设置全局量化位宽和稀疏率（通道稀疏比例）或更新4选2稀疏的间隔，实现模型自动压缩；如果组合压缩后，模型精度不满足要求，则需要参见稀疏下的手动调优章节和量化感知训练下的手动调优章节分别进行调优。组合压缩示例请参见获取更多样例>resnet_v1_50。

支持组合压缩的层以及约束请分别参见通道稀疏下的表1、4选2结构化稀疏、表1或量化感知训练下的表1。

图1 组合压缩简要流程
点击放大

组合压缩场景介绍

当前组合压缩支持如下几种场景，实际使用时，可以通过简易配置文件中的参数进行控制。如下场景中的整网量化指量化感知训练，其中：

整网量化：
- 整网（全局）量化配置参数：retrain_data_quant_config/retrain_weight_quant_config
- 部分层差异化配置参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config
整网稀疏：包括通道稀疏和4选2结构化稀疏，使用时二选一。
- 整网（全局）稀疏配置参数：prune_config
- 部分层差异化稀疏参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config

关于上述参数的详细解释请参见量化感知训练简易配置文件说明。

表1 组合压缩场景介绍
组合压缩场景	配置参数	说明
整网量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
部分层量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网量化	retrain_data_quant_config/retrain_weight_quant_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化	retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网稀疏	prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化稀疏	prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。

父主题： 组合压缩