QuantConfig
功能说明
量化参数配置类，保存量化过程中配置的参数。
函数原型
QuantConfig(a_bit=8, w_bit=8, disable_names=None, dev_type='cpu', dev_id=None, act_method=1, pr=1.0, w_sym=True, mm_tensor=True, w_method='MinMax', co_sparse=False, fraction=0.01, nonuniform=False，is_lowbit =False，do_smooth=False，model_type=None，use_sigma=False，sigma_factor=3，disable_last_linear：bool=True，use_kvcache_quant=False，is_dynamic=False)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
|---|---|---|---|
w_bit |
输入 |
权重量化bit。 |
可选。 数据类型：int。 默认为8。
|
a_bit |
输入 |
激活值量化bit。 |
可选。 数据类型：int。 可选值为8和16，默认为8。
|
w_sym |
输入 |
权重量化是否为对称量化。 |
可选。 数据类型：bool。 默认为True。 W8A8场景仅支持配置为True。 |
act_method |
输入 |
激活值量化方法。 |
可选。 数据类型：int。 可选值如下所示，默认为1。
|
disable_names |
输入 |
需排除量化的节点名称，即手动回退的量化层名称。 如精度太差，推荐回退量化敏感层，如分类层、输入层、检测head层等。 |
可选。 数据类型：object。 |
pr |
输入 |
量化选择概率。 |
可选。 数据类型：float。 取值范围：[0,1]。 默认值：1.0，建议取值0.5。 |
mm_tensor |
输入 |
选择进行per-channel量化或per-tensor量化。 |
可选。 数据类型：bool。 默认值：True。
|
dev_type |
输入 |
device类型。 |
可选。 数据类型：object。 可选值：['cpu', 'npu']，默认为'cpu'。 |
dev_id |
输入 |
DEVICE ID。 |
可选。 数据类型：int。 默认值为None。 仅在“dev_type”配置为“npu”时生效。“dev_id”指定的DEVICE ID优先级高于环境变量配置的DEVICE ID。 |
co_sparse |
输入 |
是否开启稀疏量化功能。 |
可选。 数据类型：bool。 默认值：False，不开启稀疏量化 优先使用lowbit稀疏量化功能，开启lowbit稀疏量化后，co_sparse参数自动失效。 |
fraction |
输入 |
模型权重稀疏量化过程中被保护的异常值占比。 |
可选。 数据类型：float。 取值范围[0.01,0.1]。 默认值为0.01。 |
nonuniform |
输入 |
是否在稀疏量化中采用非均匀量化。 |
可选。 数据类型：bool。 默认值为False。 |
w_method |
输入 |
权重量化策略 |
可选。 数据类型：str。 默认为'MinMax'，可选值：'MinMax','GPTQ','HQQ'。
|
is_lowbit |
输入 |
是否开启lowbit稀疏量化功能。 |
可选。 数据类型：bool。 默认为False，不开启lowbit稀疏量化功能。 优先使用lowbit稀疏量化功能，开启lowbit稀疏量化后，co_sparse参数自动失效。 |
do_smooth |
输入 |
是否开启smooth功能。 启用do_smooth功能后，平滑激活值。 |
可选。 数据类型：bool。 默认为False，不开启smooth功能。 |
model_type |
输入 |
待量化模型类型。 |
可选。 数据类型: str。 默认为None。 开启do_smooth参数时，需要配置该参数，当前支持“llama”、“bloom”以及“baichuan”三种模型。 |
use_sigma |
输入 |
是否启动sigma功能。 启用use_sigma功能后，可根据正态分布数值特点进行异常值保护。 |
可选。 数据类型：bool。 默认为False，不开启sigma功能。 |
sigma_factor |
输入 |
启用sigma功能后sigma_factor的值，用于限制异常值的保护范围。 |
可选。 数据类型：float。 默认为3，取值范围为[3, 4]。 |
disable_last_linear |
输入 |
是否自动回退至最后线性层linear。 当前该参数为True时，会自动回退最后一个线性层linear。例如LLaMA2-13B模型的[lm_head]层，ChatGLM_V2-6B的[transformer.output_layer]层。 |
可选。 数据类型：bool。 默认为True。
|
use_kvcache_quant |
输入 |
是否使用kvcache量化功能。 |
可选。 数据类型：bool。 默认为False 。
|
is_dynamic |
输入 |
是否使用per-token动态量化功能。 |
可选。 数据类型：bool。 默认为False 。
|
调用示例
from modelslim.pytorch.llm_ptq.llm_ptq_tools import Calibrator, QuantConfig quant_config = QuantConfig(pr=0.5, mm_tensor=Flase)
