下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

函数:set_dynamic_batch_size

C函数原型

aclError aclmdlSetDynamicBatchSize(uint32_t modelId, aclmdlDataset *dataset, size_t index, uint64_t batchSize)

Python函数

ret = acl.mdl.set_dynamic_batch_size(model_id, dataset, index, batch_size)

函数功能

在动态Batch场景下,在模型执行前调用本接口设置模型推理时的批量大小Batch(每次处理图片的数量)。

输入说明

model_id:int,模型ID。

可在以下接口成功加载模型后获取到模型ID。

dataset:int,表示模型的输入数据对应的指针地址。

使用aclmdlDataset类型的数据描述模型推理时的输入数据,输入的内存地址、内存大小用aclDataBuffer类型的数据来描述,具体请参见aclmdlDataset

index:int,标识动态Batch输入的输入index,需调用acl.mdl.get_input_index_by_name接口获取,动态Batch和动态分辨率输入的名称固定为“ascend_mbatch_shape_data”,动态AIPP输入的名称固定为“ascend_dynamic_aipp_data”

batch_size:int,指定模型推理时的批量大小Batch。

此处设置的“batch_size”只能为模型构建时设置的Batch档位中的其中一档,也可调用acl.mdl.get_dynamic_batch接口获取指定模型支持的Batch档位数以及每一档中的Batch数。

返回值说明

ret:int,错误码。

  • 返回0表示成功。
  • 返回其它值表示失败。

约束说明

参考资源

接口调用流程与示例,参见动态Batch/动态分辨率/动态维度(设置多档维度值)

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词