随着机器学习和深度学习的发展,向量搜索成为许多信息检索系统的重要工具,它可以根据用户查询的语义相似度来搜索并找到最匹配的用户查询。这些在线服务要求搜索架构既要有效,又要高精度、高效率、低延迟和内存占用,这是现有工作无法提供的。我们开发了一种新的矢量搜索解决方案Zoom,它基于多视图方法协作优化精度、延迟和内存。(1)“Priview”步骤生成一小组好的候选对象,利用内存中的压缩向量来减少占用空间和快速查找。(2)SSD上的“fullview”步骤用其全长向量重新排序这些候选人,准确率高得惊人。
我们的评估表明,与最先进的技术相比,Zoom在效率上提高了一个数量级,同时获得了同等或更高的精度。
三个挑战:
挑战1:基于图的方法效率虽然很高,但是过于消耗内存,同时不能很好的扩展到SSD上。
挑战2:基于量化的方法虽然节省内存,但是召回率过低。
挑战3:基于量化的方法查询时的延迟过高。
网友评论