函数:execute_v2

C函数原型

aclError aclmdlExecuteV2(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream, const aclmdlExecConfigHandle *handle)

Python函数

ret = acl.mdl.execute_v2(model_id, input, output, stream, handle)

函数功能

根据acl.mdl.set_exec_config_opt接口所配置的属性,执行模型推理,直到返回推理结果。该接口是在acl.mdl.execute接口基础上进行了增强,支持在执行模型推理时控制Stream任务的超时时间、Event任务的超时时间。

输入说明

model_id:int,指定需要执行推理的模型的ID。

可在以下接口成功加载模型后获取到模型ID。

input:int,模型推理的输入数据的指针地址,具体请参见aclmdlDataset

output:int,模型推理的输出数据的指针地址,具体请参见aclmdlDataset

调用acl.create_data_buffer接口创建存放对应index输出数据的aclDataBuffer类型时,可通过“data”参数处传入0,同时设置“size”为0,创建一个空的aclDataBuffer类型,在模型执行过程中,系统内部自行计算并申请该index输出的内存。

使用该方式可节省内存,但内存数据使用结束后,需由用户释放内存并重置aclDataBuffer,并且系统内部申请内存时涉及内存拷贝,可能涉及性能损耗。

释放内存并重置aclDataBuffer的示例代码如下:

data_buffer = acl.mdl.get_dataset_buffer(output, 0) // 根据index获取对应的dataBuffer        
data_addr = acl.get_data_buffer_addr(data_buffer) // 获取data的Device指针地址
acl.rt.free(data_addr) // 释放Device内存
acl.update_data_buffer(data_buffer, 0, 0) // 重置dataBuffer,以便下次推理

stream:int,指定已创建的Stream指针地址,如需指定新的Stream,可通过acl.rt.create_stream等接口创建并获取Stream指针地址。

handle:int,模型执行的配置对象的指针地址,与acl.mdl.set_exec_config_opt中的handle保持一致。

返回值说明

ret:int,错误码。

  • 返回0表示成功。
  • 返回其它值表示失败。

约束说明

参考资源