QuantConfig
功能说明
量化参数配置类,保存量化过程中配置的参数。
函数原型
QuantConfig(a_bit=8, w_bit=8, disable_names=None, dev_type='cpu', dev_id=None, act_method=1, pr=1.0, w_sym=True, mm_tensor=True, w_method='MinMax', co_sparse=False, fraction=0.01, nonuniform=False,is_lowbit =False,do_smooth=False,use_sigma=False,sigma_factor=3,disable_last_linear:bool=True,use_kvcache_quant=False,is_dynamic=False, open_outlier=True, group_size=64)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
w_bit |
输入 |
权重量化bit。 |
可选。 数据类型:int。 默认为8。
|
a_bit |
输入 |
激活值量化bit。 |
可选。 数据类型:int。 可选值为8和16,默认为8。
|
w_sym |
输入 |
权重量化是否为对称量化。 |
可选。 数据类型:bool。 默认为True。 W8A8场景仅支持配置为True。 |
act_method |
输入 |
激活值量化方法。 |
可选。 数据类型:int。 可选值如下所示,默认为1。
|
disable_names |
输入 |
需排除量化的节点名称,即手动回退的量化层名称。 如精度太差,推荐回退量化敏感层,如分类层、输入层、检测head层等。 |
可选。 数据类型:object。 |
pr |
输入 |
量化选择概率。 |
可选。 数据类型:float。 取值范围:[0,1]。 默认值:1.0,建议取值0.5。 |
mm_tensor |
输入 |
选择进行per-channel量化或per-tensor量化。 |
可选。 数据类型:bool。 默认值:True。
|
dev_type |
输入 |
device类型。 |
可选。 数据类型:object。 可选值:['cpu', 'npu'],默认为'cpu'。 |
dev_id |
输入 |
DEVICE ID。 |
可选。 数据类型:int。 默认值为None。 仅在“dev_type”配置为“npu”时生效。“dev_id”指定的DEVICE ID优先级高于环境变量配置的DEVICE ID。 |
co_sparse |
输入 |
是否开启稀疏量化功能。 |
可选。 数据类型:bool。 默认值:False,不开启稀疏量化 大模型稀疏量化场景下,优先使用lowbit稀疏量化功能,开启lowbit稀疏量化后,co_sparse参数自动失效。 |
fraction |
输入 |
模型权重稀疏量化过程中被保护的异常值占比。 |
可选。 数据类型:float。 取值范围[0.01,0.1]。 默认值为0.01。 |
nonuniform |
输入 |
是否在稀疏量化中采用非均匀量化。 |
可选。 数据类型:bool。 默认值为False。 |
w_method |
输入 |
权重量化策略 |
可选。 数据类型:str。 默认为'MinMax',可选值:'MinMax','GPTQ','HQQ'。
|
is_lowbit |
输入 |
是否开启lowbit量化功能。 |
可选。 数据类型:bool。 默认为False,不开启lowbit量化功能。 设置为True之后,有以下两种情况: |
do_smooth |
输入 |
是否开启smooth功能。 启用do_smooth功能后,平滑激活值。 |
可选。 数据类型:bool。 默认为False,不开启smooth功能。 |
use_sigma |
输入 |
是否启动sigma功能。 启用use_sigma功能后,可根据正态分布数值特点进行异常值保护。 |
可选。 数据类型:bool。 默认为False,不开启sigma功能。 |
sigma_factor |
输入 |
启用sigma功能后sigma_factor的值,用于限制异常值的保护范围。 |
可选。 数据类型:float。 默认为3,取值范围为[3, 4]。 |
disable_last_linear |
输入 |
是否自动回退至最后线性层linear。 当前该参数为True时,会自动回退最后一个线性层linear。例如LLaMA2-13B模型的[lm_head]层,ChatGLM2-6B的[transformer.output_layer]层。 |
可选。 数据类型:bool。 默认为True。
|
use_kvcache_quant |
输入 |
是否使用kvcache量化功能。 |
可选。 数据类型:bool。 默认为False 。
|
is_dynamic |
输入 |
是否使用per-token动态量化功能。 |
可选。 数据类型:bool。 默认为False 。
|
open_outlier |
输入 |
是否开启权重异常值划分。 |
可选。 数据类型:bool。 默认为True。
说明:
|
group_size |
输入 |
per_group量化中group的大小。 |
可选。 数据类型:int。 默认值为64,支持配置为64或128。
说明:
仅适用于W4A16的per_group量化场景,需协同设置is_lowbit为True,open_outlier为False。 |
调用示例一
根据实际需求,在QuantConfig初始化中完成所有参数的配置。
from msmodelslim.pytorch.llm_ptq.llm_ptq_tools import Calibrator, QuantConfig quant_config = QuantConfig(pr=0.5, mm_tensor=Flase)
调用示例二
在QuantConfig初始化中完成核心参数(w_bit,a_bit,disable_names,disable_last_linear,dev_type,dev_id)的配置后,再根据不同量化场景,配置表中的参数。目前支持的量化场景有稀疏量化、权重量化、kvcache量化和权重激活量化,具体参数配置情况和调用示例请参考表1。
量化类型 |
需配置参数列表 |
调用示例 |
---|---|---|
weight_quant 权重量化的参数初始化,即 w8a16。 |
w_method,mm_tensor,w_sym |
quant_config = QuantConfig(w_bit=8,disable_names=disable_names,dev_type='npu',dev_id=0). weight_quant (w_sym=False) |
weight_activation_quant 权重激活量化的参数初始化, 即w8a8。 |
act_method,pr,is_dynamic |
quant_config = QuantConfig(w_bit=8,disable_names=disable_names,dev_type='npu',dev_id=0). weight_activation_quant (act_method=2) |
sparse_quant 稀疏量化的参数初始化。 |
act_method,fraction,nonuniform,is_lowbit,do_smooth,use_sigma,sigma_factor |
quant_config = QuantConfig(w_bit=4,disable_names=disable_names,dev_type='npu',dev_id=0). sparse_quant(is_lowbit=True) |
kv_quant kvcache量化的参数初始化,无需输入参数,调用本函数后,会自动将use_kvcache_quant设置为True。 |
- |
quant_config = QuantConfig(w_bit=8,disable_names=disable_names,dev_type='npu',dev_id=0). kv_quant () |