Calibrator

功能说明

量化参数配置类，通过Calibrator类封装量化算法。

函数原型

Calibrator(model, cfg: QuantConfig, calib_data=None, disable_level='L0', logger=None, all_tensors=None, threshold_disable=None)

参数说明

参数名	输入/返回值	含义	使用限制
model	输入	模型。	必选。数据类型：PyTorch模型。
cfg	输入	已配置的QuantConfig类。	必选。数据类型：QuantConfig。
calib_data	输入	LLM大模型量化校准的数据，输入真实数据用于label-free量化。	必选。数据类型：object。默认值为None。输入模板：[[input1],[input2],[input3]]。
disable_level	输入	自动回退等级，在模型精度损失大可以适当提升等级。	可选。数据类型：object。可选范围如下： 'L0'：默认值，不执行回退。 'L1'：回退1层。 'L2'：回退2层。 'L3'：回退3层。 'L4'：回退4层。 'L5'：回退5层。
logger	输入	Logger对象。	可选。数据类型：object。默认值为None，采用默认配置即可。
all_tensors	输入	用于逐层量化校准的{name:tensor}。	可选。数据类型：dict。默认值为None，采用默认配置即可。
threshold_disable	输入	用于判断layer退出量化的阈值。	可选。数据类型：float。默认值为None，采用默认配置即可。

调用示例

from modelslim.pytorch.llm_ptq.llm_ptq_tools import Calibrator, QuantConfig
quant_config = QuantConfig(dev_type='cpu', pr=0.5, mm_tensor=Flase)
model = AutoModel.from_pretrained('THUDM/chatglm2-6b', torch_dtype=torch.float16, trust_remote_code=True).cpu()   #根据模型实际路径配置
calibrator = Calibrator(model, quant_config, calib_data=dataset_calib, disable_level='L0')

父主题： 大模型量化接口