当前的特征检索是否支持多个Index分不同的线程执行搜索
2023/09/14
103
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型推理 | Index SDK | 特征检索、多个Index |
问题说明
每一个昇腾AI处理器一次只能处理来自同一个进程的一个请求,不支持同时处理Host侧两个不同进程的请求。
- 在同一进程的多线程场景下,特征检索支持不同线程间共享一个Device。
- 在多线程的场景中,例如一个昇腾AI处理器上创建了来自Host侧两个线程的两个index,那么Device在处理第一个Index请求的过程中,处理第二个index的请求将会被阻塞。
本页内容