近似检索算法在Duo卡上性能的线性增长不及全量检索算法

问题现象

近似检索的IVF系列算法在使用Atlas 300I Duo 推理卡时,发现相较于全量检索算法,性能的线性增长不如后者。

解决方案

对于IVF系列算法,在Atlas 300I Duo 推理卡上的线性增长取决于距离计算的运算量在整个search过程的占比。相较于其他计算类型,只有距离计算的运算量可以均分到多个运算单元,所以在大batch和nprobe较大的场景下,线性增长度更好,而小batch和nprobe较小的场景下线性增长度则较差。