从开放态部署切换到标准态部署后，发现检索性能存在下降情况

问题现象

从开放态部署切换到标准态部署后，在Index的底库、batch较小场景下，检索性能出现下降情况。

解决方案

Index在batch越大时，AI Core的使用率越高，性能也会有所提升。

建议在使用检索功能过程中，尝试使用最优batch获取最佳性能，可通过组batch的方式（参考开源的triton推理服务），通过提高batch的方式进行性能提升。