下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

aclmdlConfigAttr

模型加载配置类型

含义

ACL_MDL_PRIORITY_INT32 = 0

模型执行的优先级,数字越小优先级越高,取值[0,7],可选项。默认值为0。昇腾910 AI处理器,docker容器内安装CANN,且配置算力分组的场景,该枚举值不生效。

ACL_MDL_LOAD_TYPE_SIZET = 1

模型加载方式,见下文详细的取值说明,必选项。

ACL_MDL_PATH_STR = 2

离线模型文件路径的指针,如果选择从文件加载模型,则该选项必选。

ACL_MDL_MEM_ADDR_PTR = 3

模型在内存中的起始地址,如果选择从内存加载模型,则该选项必选。

ACL_MDL_MEM_SIZET = 4

模型在内存中的大小,如果选择从内存加载模型,则该选项必选,与ACL_MDL_MEM_ADDR_PTR选项配合使用。

ACL_MDL_WEIGHT_ADDR_PTR = 5

Device上模型权值内存(存放权值数据)的指针,如果需要由用户管理权值内存,则该选项必选。若不配置该选项,则表示由系统管理内存。

ACL_MDL_WEIGHT_SIZET = 6

权值内存大小,单位为Byte,如果需要由用户管理权值内存,则该选项必选,与ACL_MDL_WEIGHT_ADDR_PTR选项配合使用。

ACL_MDL_WORKSPACE_ADDR_PTR = 7

Device上模型所需工作内存(存放模型输入/输出等数据)的指针,如果需要由用户管理工作内存,则该选项必选。若不配置该选项,则表示由系统管理内存。

ACL_MDL_WORKSPACE_SIZET = 8

模型所需工作内存的大小,单位为Byte,如果需要由用户管理权值内存,则该选项必选,与ACL_MDL_WORKSPACE_ADDR_PTR选项配合使用。

ACL_MDL_INPUTQ_NUM_SIZET = 9

模型输入队列大小 ,带队列加载模型时,该选项必选,与ACL_MDL_INPUTQ_ADDR_PTR选项配合使用。当前版本不支持该接口。

ACL_MDL_INPUTQ_ADDR_PTR = 10

模型输入队列ID的指针,带队列加载模型时,该选项必选,一个模型输入对应一个队列ID。当前版本不支持该接口。

ACL_MDL_OUTPUTQ_NUM_SIZET = 11

模型输出队列大小,带队列加载模型时,该选项必选,与ACL_MDL_OUTPUTQ_ADDR_PTR选项配合使用。当前版本不支持该接口。

ACL_MDL_OUTPUTQ_ADDR_PTR = 12

模型输出队列ID的指针,带队列加载模型时,该选项必选,一个模型输出对应一个队列ID。当前版本不支持该接口。

ACL_MDL_LOAD_TYPE_SIZET(表示模型加载方式)对应的属性值如下:

模型加载方式

含义

ACL_MDL_LOAD_FROM_FILE = 1

从文件加载离线模型数据,由系统内部管理内存。

ACL_MDL_LOAD_FROM_FILE_WITH_MEM = 2

从文件加载离线模型数据,由用户自行管理模型运行的内存。

ACL_MDL_LOAD_FROM_MEM = 3

从内存加载离线模型数据,由系统内部管理模型运行的内存。

ACL_MDL_LOAD_FROM_MEM_WITH_MEM = 4

从内存加载离线模型数据,由用户自行管理模型运行的内存。

ACL_MDL_LOAD_FROM_FILE_WITH_Q = 5

从文件加载离线模型数据,模型的输入、输出数据都存放在队列中。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词