save()
功能说明
量化参数配置类,通过calibrator类封装量化算法来保存量化后的权重及相关参数。
因为在存储量化参数过程中存在反序列化风险,所以已通过在存储过程中,将保存的量化结果文件夹权限设置为750,量化权重文件权限设置为400,量化权重描述文件设为600来消减风险。
函数原型
calibrator.save(outpath_path, save_type=None)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
output_path |
输入 |
量化后的权重及相关参数保存路径。 |
必选。 数据类型:string。 |
save_type |
输入 |
量化后权重的保存格式。 |
可选。 数据类型:list,元素必须为string。 本参数默认为None,使用"numpy"格式。 支持设置为"numpy"或"safe_tensor"两种格式。用户需按照模型推理的实际情况进行选择:
|
safetensors_name |
输入 |
safe_tensor格式量化权重文件的名称。 |
可选。 数据类型:string。 |
json_name |
输入 |
safe_tensor格式量化权重json描述文件的名称。 |
可选。 数据类型:string。 |
父主题: 大模型量化接口