C函数原型 |
aclError aclmdlExecuteV2(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream, const aclmdlExecConfigHandle *handle) |
---|---|
Python函数 |
ret = acl.mdl.execute_v2(model_id, input, output, stream, handle) |
函数功能 |
根据acl.mdl.set_exec_config_opt接口所配置的属性,执行模型推理,直到返回推理结果。该接口是在acl.mdl.execute接口基础上进行了增强,支持在执行模型推理时控制Stream任务的超时时间、Event任务的超时时间。 |
输入说明 |
model_id:int,指定需要执行推理的模型的ID。 可在以下接口成功加载模型后获取到模型ID。
input:int,模型推理的输入数据的指针地址,具体请参见aclmdlDataset。 output:int,模型推理的输出数据的指针地址,具体请参见aclmdlDataset。 调用acl.create_data_buffer接口创建存放对应index输出数据的aclDataBuffer类型时,可通过“data”参数处传入0,同时设置“size”为0,创建一个空的aclDataBuffer类型,在模型执行过程中,系统内部自行计算并申请该index输出的内存。 使用该方式可节省内存,但内存数据使用结束后,需由用户释放内存并重置aclDataBuffer,并且系统内部申请内存时涉及内存拷贝,可能涉及性能损耗。 释放内存并重置aclDataBuffer的示例代码如下: data_buffer = acl.mdl.get_dataset_buffer(output, 0) // 根据index获取对应的dataBuffer data_addr = acl.get_data_buffer_addr(data_buffer) // 获取data的Device指针地址 acl.rt.free(data_addr) // 释放Device内存 acl.update_data_buffer(data_buffer, 0, 0) // 重置dataBuffer,以便下次推理 stream:int,指定已创建的Stream指针地址,如需指定新的Stream,可通过acl.rt.create_stream等接口创建并获取Stream指针地址。 handle:int,模型执行的配置对象的指针地址,与acl.mdl.set_exec_config_opt中的handle保持一致。 |
返回值说明 |
ret:int,错误码。
|
约束说明 |
|
参考资源 |