问题现象描述

近似检索的IVF系列算法在使用Atlas 300I Duo 推理卡时，发现相较于全量检索算法，性能的线性增长不如后者。

问题说明

对于IVF系列算法，在Atlas 300I Duo 推理卡上的线性增长取决于距离计算的运算量在整个search过程的占比。相较于其他计算类型，只有距离计算的运算量可以均分到多个运算单元，所以在大batch和nprobe较大的场景下，线性增长度更好，而小batch和nprobe较小的场景下线性增长度则较差。