函数:set_dynamic_batch_size
C函数原型 |
aclError aclmdlSetDynamicBatchSize(uint32_t modelId, aclmdlDataset *dataset, size_t index, uint64_t batchSize) |
---|---|
Python函数 |
ret = acl.mdl.set_dynamic_batch_size(model_id, dataset, index, batch_size) |
函数功能 |
在动态Batch场景下,在模型执行前调用本接口设置模型推理时的批量大小Batch(每次处理图片的数量)。 |
输入说明 |
model_id:int,模型ID。 调用acl.mdl.load_from_file接口/acl.mdl.load_from_mem接口/acl.mdl.load_from_file_with_mem接口/acl.mdl.load_from_mem_with_mem接口加载模型成功后,会返回模型ID。 dataset:int,表示模型的输入数据对应的指针地址。 使用aclmdlDataset类型的数据描述模型推理时的输入数据,输入的内存地址、内存大小用aclDataBuffer类型的数据来描述,具体请参见aclmdlDataset。 index:int,标识动态Batch输入的输入index,需调用acl.mdl.get_input_index_by_name接口获取,动态Batch和动态分辨率输入的名称固定为“ascend_mbatch_shape_data”,动态AIPP输入的名称固定为“ascend_dynamic_aipp_data”。 batch_size:int,指定模型推理时的批量大小Batch。 此处设置的Batch size只能为模型构建时设置的Batch档位中的其中一档,也可调用acl.mdl.get_dynamic_batch接口获取指定模型支持的Batch档位数以及每一档中的Batch数。 |
返回值说明 |
ret:int,错误码。
|
约束说明 |
无 |
参考资源 |