save()

output_path

输入

量化后的权重及相关参数保存路径。

必选。

数据类型：string。

save_type

输入

量化后权重的保存格式。

可选。

数据类型：list，元素必须为string。

本参数默认为None，使用"numpy"格式。

支持设置为"numpy"或"safe_tensor"两种格式。用户需按照模型推理的实际情况进行选择：

• 设置为['numpy']时，仅导出npy格式的量化权重文件。
• 设置为['safe_tensor']时，仅导出safe_tensor格式的权重文件和json描述文件。
  • safetensors权重文件包含浮点、量化权重，量化层使用的量化权重和未量化层使用的原始浮点权重。
  • json描述文件包含模型的所有module，并标明该module的量化或浮点类型，例如 FLOAT、W8A8、W8A16。

safetensors_name

输入

safe_tensor格式量化权重文件的名称。

可选。

数据类型：string。

json_name

输入

safe_tensor格式量化权重json描述文件的名称。

可选。

数据类型：string。