下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

ModelLoadOptV2类

请根据实际情况选择对应配置,如配置与实际输入存在差异,会在Model处抛出RuntimeError

表1 模型加载选项

属性名

类型

说明

modelType

ModelType枚举类型

推理模型类型,支持情况参见如下。(默认为“base.model_type_om”。)

  • base.model_type_om
  • base.model_type_mindir(对于MindIR模型,仅支持静态Shape和动态Batch。)

loadType

ModelLoadType枚举类型

推理模型输入类型,可通过以下参数选定输入方式。(默认为“base.load_model_from_file”。)

  • base.load_model_from_file:从文件加载离线模型数据,由系统内部管理内存。
  • base.load_model_from_file_with_mem:从文件加载离线模型数据,由用户自行管理模型运行的内存(包括工作内存和权值内存,工作内存用于模型执行过程中的临时数据,权值内存用于存放权值数据)。
  • base.load_model_from_mem:从内存加载离线模型数据,由系统内部管理内存。
  • base.load_model_from_mem_with_mem:

    从内存加载离线模型数据,由用户自行管理模型运行的内存(包括工作内存和权值内存)。

  • “modelType”“base.model_type_mindir”时,仅支持“base.load_model_from_file”“base.load_model_from_mem”两种输入类型。

modelPath

str

推理模型文件路径,仅在以下模式生效。(默认为"",最大只支持至4GB大小的模型且要求模型属主为当前用户,模型文件的权限应小于或等于“640”。)

  • base.load_model_from_file
  • base.load_model_from_file_with_mem

modelPtr

int

推理模型所在内存地址,仅在以下模式生效。(默认为0,用户需根据实际情况输入内存地址。)

  • base.load_model_from_mem
  • base.load_model_from_mem_with_mem

modelSize

int

推理模型数据长度,单位Byte,仅在以下模式生效。(默认为0,最大只支持至4GB大小的模型。)

  • base.load_model_from_mem
  • base.load_model_from_mem_with_mem

modelWorkPtr

int

推理模型所在工作内存地址,仅在以下模式生效。(默认为0,表示由系统管理内存。)

  • base.load_model_from_file_with_mem
  • base.load_model_from_mem_with_mem

modelWeightPtr

int

推理模型权值内存地址,仅在以下模式生效。(默认为0,表示由系统管理内存。)

  • base.load_model_from_file_with_mem
  • base.load_model_from_mem_with_mem

workSize

int

推理模型所在工作内存大小,单位Byte。(默认为0,当“modelWorkPtr”为0时无效。)

weightSize

int

推理模型权值内存大小,单位Byte。(默认为0,当“modelWeightPtr”为0时无效。)

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词