ModelLoadOptV2类
请根据实际情况选择对应配置,如配置与实际输入存在差异,会在Model处抛出RuntimeError。
属性名 |
类型 |
说明 |
---|---|---|
modelType |
ModelType枚举类型 |
推理模型类型,支持情况参见如下。(默认为“base.model_type_om”。)
|
loadType |
ModelLoadType枚举类型 |
推理模型输入类型,可通过以下参数选定输入方式。(默认为“base.load_model_from_file”。)
|
modelPath |
str |
推理模型文件路径,仅在以下模式生效。(默认为"",最大只支持至4GB大小的模型且要求模型属主为当前用户,模型文件的权限应小于或等于“640”。)
|
modelPtr |
int |
推理模型所在内存地址,仅在以下模式生效。(默认为0,用户需根据实际情况输入内存地址。)
|
modelSize |
int |
推理模型数据长度,单位Byte,仅在以下模式生效。(默认为0,最大只支持至4GB大小的模型。)
|
modelWorkPtr |
int |
推理模型所在工作内存地址,仅在以下模式生效。(默认为0,表示由系统管理内存。)
|
modelWeightPtr |
int |
推理模型权值内存地址,仅在以下模式生效。(默认为0,表示由系统管理内存。)
|
workSize |
int |
推理模型所在工作内存大小,单位Byte。(默认为0,当“modelWorkPtr”为0时无效。) |
weightSize |
int |
推理模型权值内存大小,单位Byte。(默认为0,当“modelWeightPtr”为0时无效。) |
父主题: 通用枚举类型/数据类