函数:load_from_file_with_mem
C函数原型 |
aclError aclmdlLoadFromFileWithMem(const char *modelPath, uint32_t *modelId, void *workPtr, size_t workSize, void *weightPtr, size_t weightSize) |
---|---|
Python函数 |
model_id, ret = acl.mdl.load_from_file_with_mem(model_path, work_ptr, work_size, weight_ptr, weight_size) |
函数功能 |
从文件加载离线模型数据(适配昇腾AI处理器的离线模型),由用户自行管理模型运行的内存,同步接口。 系统完成模型加载后,返回的模型ID,作为后续操作时用于识别模型的标志。 |
输入说明 |
model_path:str,离线模型文件的存储路径,路径中包含文件名。运行程序(APP)的用户需要对该存储路径有访问权限。 此处的离线模型文件是适配昇腾AI处理器的离线模型,即*.om文件。
说明:
关于如何获取om文件,请参见模型构建。 对om模型文件大小有限制的场景下,如果使用ATC工具生成om文件时,将“--external_weight”参数设置为1(1表示将原始网络中的Const/Constant节点的权重保存在单独的文件中,且该文件保存在与om文件同级的“weight”目录下),那么在使用本接口加载om文件时,需将“weight”目录与om文件放在同级目录下,这时pyACL会自行到“weight”目录下查找权重文件,否则可能会导致单独的权重文件加载不成功。 work_ptr:int,Device上模型所需工作内存(存放模型输入/输出等数据)的地址,由用户自行管理。 work_size:int,模型所需工作内存的大小,单位Byte。 weight_ptr:int,Device上模型权值内存(存放权值数据)的指针,由用户自行管理。 weight_size:int,模型所需权值内存的大小,单位Byte。 |
返回值说明 |
model_id:系统完成模型加载后生成的模型ID。 ret:int,错误码。
|
约束说明 |
模型加载、模型执行、模型卸载的操作必须在同一个Context下(关于Context的创建请参见acl.rt.create_context)。 |
注意事项 |
无 |
相关接口 |
当前pyACL还提供了acl.mdl.set_config_opt接口、acl.mdl.load_with_config接口来实现模型加载,通过配置对象中的属性来区分,在加载模型时是从文件加载,还是从内存加载,以及内存是由系统内部管理,还是由用户管理。 |
参考资源 |