简介

组合压缩方式

组合压缩是结合了稀疏和量化感知训练的特性，根据配置文件先进行稀疏，然后进行量化；在稀疏时根据相应算法插入稀疏算子，然后量化时，对稀疏后的模型插入数据和权重的量化层和SearchN的层，生成组合压缩模型，以期望得到更高的性能收益。生成组合压缩模型后，对模型进行重训练，保存为既可以进行精度仿真又可以部署的量化模型，简要流程如图1所示。

当前组合压缩特性的压缩配置由用户手动处理（故又称之为静态组合压缩，压缩配置文件配置方法请参见量化感知训练简易配置文件说明），通过手动设置全局量化位宽和稀疏率（通道稀疏比例），实现模型自动压缩；如果组合压缩后，模型精度不满足要求，则需要参见稀疏下的手动调优章节和量化感知训练下的手动调优章节分别进行调优。组合压缩示例请参见获取更多样例>resnet_v1_50。

支持组合压缩的层以及约束请分别参见通道稀疏下的表1或量化感知训练下的表1。

图1 组合压缩简要流程
点击放大

组合压缩场景介绍

当前组合压缩支持如下几种场景，实际使用时，可以通过简易配置文件中的参数进行控制。如下场景中的整网量化指量化感知训练，其中：

整网量化：
- 整网（全局）量化配置参数：retrain_data_quant_config/retrain_weight_quant_config
- 部分层差异化配置参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config
整网稀疏：
- 整网（全局）稀疏配置参数：prune_config
- 部分层差异化稀疏参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config

关于上述参数的详细解释请参见量化感知训练简易配置文件说明。

表1 组合压缩场景介绍
组合压缩场景	配置参数	说明
整网量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
部分层量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网量化	retrain_data_quant_config/retrain_weight_quant_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化	retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。
整网稀疏	prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化稀疏	prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不使能。

父主题： 组合压缩