--dynamic_batch_size
功能说明
设置动态Batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。
关联参数
该参数需要与--input_shape同时使用,不能与--dynamic_image_size、--dynamic_dims同时使用。
且只支持N在shape首位的场景,既shape的第一位设置为"-1"。如果N在非首位场景下,请使用--dynamic_dims参数进行设置。
参数取值
参数值:档位数,例如"1,2,4,8"。
参数值格式:指定的参数必须放在双引号中,每一组参数中间使用英文逗号分隔。
参数值约束:档位数取值范围为(1,100],既必须设置至少2个档位,最多支持100档配置;档位之间通过英文逗号分隔,每个档位数值建议限制为:[1~2048]。
推荐配置及收益
- 如果用户设置的档位数值过大或档位过多,可能会导致调优失败,此时建议用户减少档位或调低档位数值。
- 如果用户设置的档位数值过大或档位过多,在运行环境执行推理时,建议执行swapoff -a命令关闭swap交换区间作为内存的功能,防止出现由于内存不足,将swap交换空间作为内存继续调用,导致运行环境异常缓慢的情况。
示例
--input_shape="data:-1,3,416,416;img_info:-1,4" --dynamic_batch_size="1,2,4,8"
其中,“--input_shape”中的“-1”表示设置动态Batch。则调优引擎在调优模型时,支持的输入组合档数分别为:
第0档:data(1,3,416,416)+img_info(1,4)
第1档:data(2,3,416,416)+img_info(2,4)
第2档:data(4,3,416,416)+img_info(4,4)
第3档:data(8,3,416,416)+img_info(8,4)
父主题: 基础功能