在图像检索场景,通常使用深度学习算法处理感兴趣的图像时,提取出高维特征向量;并将一组感兴趣的图像提取得到的特征向量作为底库,待搜索的特征向量与底库中的向量依次进行相似度计算,按相似度排序返回检索结果。为了进一步降低存储和计算的开销,对浮点型长特征向量进行量化处理、转换为短特征再进行检索比对的技术被广泛应用。
昇腾AI处理器支持基于硬件加速的PQ短特征检索,提供特征底库的添加/删除接口,特征向量的修改/删除接口、以及执行检索接口;支持长度为32 Byte的短特征向量,支持设置返回TOP结果的数量,支持1:N和N:M检索模式。用户需要自行准备短特征底库,以及生成待检索向量的ADC表,流程如下:
检索比对过程示意图如下所示:
ADC表是大小为32KByte的查找表,使用时需要将表的内容以无符号字符的格式传入对应接口。
Atlas 推理系列产品的特征检索规格如下表所示:
类型 |
规格说明 |
---|---|
特征长度 |
32字节(因为数据结构管理开销,每条特征的平均内存开销约为36字节) |
底库容量 |
最大5亿条(实际值取决于板卡的内存容量) |
检索比对类型 |
支持1:N检索,支持N:M检索 |
底库数量 |
1:N底库最大100万个 N:M底库最大1个 |
底库容量 |
1:N每个特征库最大100万条特征 N:M底库最大1000万条特征 |
检索比对性能 |
每秒50亿次; 5亿底库下可达到10QPS,时延<1秒 |
检索返回候选特征数量 |
2~4800 |