总体说明

在图像检索场景,通常使用深度学习算法处理感兴趣的图像时,提取出高维特征向量;并将一组感兴趣的图像提取得到的特征向量作为底库,待搜索的特征向量与底库中的向量依次进行相似度计算,按相似度排序返回检索结果。为了进一步降低存储和计算的开销,对浮点型长特征向量进行量化处理、转换为短特征再进行检索比对的技术被广泛应用。

昇腾AI处理器支持基于硬件加速的PQ短特征检索,提供特征底库的添加/删除接口,特征向量的修改/删除接口、以及执行检索接口;支持长度为32 Byte的短特征向量,支持设置返回TOP结果的数量,支持1:N和N:M检索模式。用户需要自行准备短特征底库,以及生成待检索向量的ADC表,流程如下:

检索比对过程示意图如下所示:

ADC表是大小为32KByte的查找表,使用时需要将表的内容以无符号字符的格式传入对应接口。

Atlas 推理系列产品的特征检索规格如下表所示:

表1 规格说明

类型

规格说明

特征长度

32字节(因为数据结构管理开销,每条特征的平均内存开销约为36字节)

底库容量

最大5亿条(实际值取决于板卡的内存容量)

检索比对类型

支持1:N检索,支持N:M检索

底库数量

1:N底库最大100万个

N:M底库最大1个

底库容量

1:N每个特征库最大100万条特征

N:M底库最大1000万条特征

检索比对性能

每秒50亿次;

5亿底库下可达到10QPS,时延<1秒

检索返回候选特征数量

2~4800