下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

save()

功能说明

量化参数配置类,通过calibrator类封装量化算法来保存量化后的权重及相关参数。

因为在存储量化参数过程中存在反序列化风险,所以已通过在存储过程中,将保存的量化结果文件夹权限设置为750,量化权重文件权限设置为400,量化权重描述文件设为600来消减风险。

函数原型

calibrator.save(outpath_path, save_type=None)

参数说明

参数名

输入/返回值

含义

使用限制

output_path

输入

量化后的权重及相关参数保存路径。

必选。

数据类型:string。

save_type

输入

量化后权重的保存格式。

可选。

数据类型:list,元素必须为string。

本参数默认为None,使用"numpy"格式。

支持设置为"numpy"或"safe_tensor"两种格式。用户需按照模型推理的实际情况进行选择:

  • 设置为['numpy']时,仅导出npy格式的量化权重文件。
  • 设置为['safe_tensor']时,仅导出safe_tensor格式的权重文件和json描述文件。
    • safetensors权重文件包含浮点、量化权重,量化层使用的量化权重和未量化层使用的原始浮点权重。
    • json描述文件包含模型的所有module,并标明该module的量化或浮点类型,例如 FLOAT、W8A8、W8A16。

safetensors_name

输入

safe_tensor格式量化权重文件的名称。

可选。

数据类型:string。

json_name

输入

safe_tensor格式量化权重json描述文件的名称。

可选。

数据类型:string。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词