--dynamic_batch_size
功能说明
设置动态Batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。
关联参数
该参数需要与--input_shape配合使用,不能与--dynamic_image_size、--dynamic_dims同时使用。
且只支持N在shape首位的场景,既shape的第一位设置为"-1"。如果N在非首位场景下,请使用--dynamic_dims参数进行设置。
参数取值
参数值:档位数,例如"1,2,4,8"。
参数值格式:指定的参数必须放在双引号中,每一组参数中间使用英文逗号分隔。
参数值约束:档位数取值范围为(1,100],既必须设置至少2个档位,最多支持100档配置;档位之间通过英文逗号分隔,每个档位数值建议限制为:[1~2048]。
推荐配置及收益
- 如果用户设置的档位数值过大或档位过多,可能会导致调优失败,此时建议用户减少档位或调低档位数值。
- 如果用户设置的档位数值过大或档位过多,在运行环境执行推理时,建议执行swapoff -a命令关闭swap交换区间作为内存的功能,防止出现由于内存不足,将swap交换空间作为内存继续调用,导致运行环境异常缓慢的情况。
示例
--input_shape="data:-1,3,416,416;img_info:-1,4" --dynamic_batch_size="1,2,4,8"
其中,“--input_shape”中的“-1”表示设置动态Batch。则调优引擎在调优模型时,支持的输入组合档数分别为:
第0档:data(1,3,416,416)+img_info(1,4)
第1档:data(2,3,416,416)+img_info(2,4)
第2档:data(4,3,416,416)+img_info(4,4)
第3档:data(8,3,416,416)+img_info(8,4)
依赖约束
- 使用约束:
若用户执行推理业务时,每次处理的图片数量不固定,则可以通过配置该参数来动态分配每次处理的图片数量。例如用户执行推理业务时需要每次处理2张,4张,8张图片,则可以配置为2,4,8,申请了档位后,模型推理时会根据实际档位申请内存。
- 接口约束:
如果调优时通过该参数设置了动态Batch,则使用应用工程进行模型推理时,需要在aclmdlExecute接口之前,增加aclmdlSetDynamicBatchSize接口,用于设置真实的Batch档位。
关于aclmdlSetDynamicBatchSize接口的具体使用方法,请参见《应用软件开发指南(C&C++)》手册“AscendCL API参考”中的模型加载与执行章节。