下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

函数:set_dynamic_batch_size

C函数原型

aclError aclmdlSetDynamicBatchSize(uint32_t modelId, aclmdlDataset *dataset, size_t index, uint64_t batchSize)

Python函数

ret = acl.mdl.set_dynamic_batch_size(model_id, dataset, index, batch_size)

函数功能

在动态Batch场景下,在模型执行前调用本接口设置模型推理时的批量大小Batch(每次处理图片的数量)。

输入说明

model_id:int,模型ID。

  • 调用acl.mdl.load_from_file接口/acl.mdl.load_from_mem接口/acl.mdl.load_from_file_with_mem接口/acl.mdl.load_from_mem_with_mem接口加载模型成功后,会返回模型ID。

dataset:int,表示模型的输入数据对应的指针对象。

  • 使用acl.model_dataset类型的数据描述模型推理时的输入数据,输入的内存地址、内存大小用aclDataBuffer类型的数据来描述。

index:int,标识动态Batch输入的输入index,需调用acl.mdl.get_input_index_by_name接口获取,动态Batch和动态分辨率输入的名称固定为"ascend_mbatch_shape_data",动态AIPP输入的名称固定为"ascend_dynamic_aipp_data"。

batch_size:int,指定模型推理时的批量大小Batch。

可以调用acl.mdl.get_dynamic_batch接口获取指定模型支持的Batch档位数以及每一档中的Batch数。

返回值说明

ret:int,错误码。

  • 返回0表示成功。
  • 返回其它值表示失败。

约束说明

注意事项

调用acl.mdl.get_input_index_by_name接口获取,动态Batch和动态分辨率输入的名称固定为"ascend_mbatch_shape_data",动态AIPP输入的名称固定为"ascend_dynamic_aipp_data"。

参考资源

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词