faiss sbert实现的十亿级语义相似性搜索 | 雷峰网-米乐m6平台
译者：ai研习社（）
双语原文链接：
介绍
语义搜索是一种关注句子意义而不是传统的关键词匹配的信息检索系统。尽管有许多文本嵌入可用于此目的，但将其扩展到构建低延迟api以从大量数据集合中获取数据是很少讨论的。在本文中，我将讨论如何使用sota语句嵌入（）和来实现最小语义搜索引擎。
句子transformers
它是一个框架或一组模型，给出句子或段落的密集向量表示。这些模型是transformer网络（bert、roberta等），它们专门针对语义文本相似性的任务进行了微调，因为bert在这些任务中执行得不是很好。下面给出了不同模型在sts基准测试中的性能。
图片来源：
我们可以看到句子transformer模型比其他模型有很大的优势。
但是如果你用和来看看排行榜，你会看到很多的模型超过90。为什么我们需要句子transformers？
在这些模型中，语义文本相似度被视为一个回归任务。这意味着，每当我们需要计算两个句子之间的相似度得分时，我们需要将它们一起传递到模型中，然后模型输出它们之间的数值分数。虽然这对于基准测试很有效，但是对于实际的用例来说，它的伸缩性很差，原因如下。
1.当你需要搜索大约10k个文档时，你需要进行10k个独立的推理计算，不可能单独计算嵌入量而只计算余弦相似度。见作者的。
2.最大序列长度（模型一次可以接受的单词/标记的总数）在两个文档之间共享，这会导致的表示的含义由于分块而被稀释
faiss
faiss是一个基于c 的库，由facebookai构建，在python中有完整的包装器，用于索引矢量化数据并对其进行有效的搜索。faiss基于以下因素提供了不同的索引。
搜索时间
搜索质量
每个索引向量使用的内存
训练时间
无监训练需要外部数据
因此，选择合适的指数将是这些因素之间的权衡。
加载模型并对数据集执行推理
首先，让我们安装并加载所需的库
| !pip install faiss-cpu !pip install -u sentence-transformersimport numpy as np import torch import os import pandas as pd import faiss import time from sentence_transformers import sentencetransformer |
加载一个包含一百万个数据点的数据集
我使用了一个来自kaggle的数据集，其中包含了17年来出版的新闻标题。
| df=pd.read_csv("abcnews-date-text.csv") data=df.headline_text.to_list() |
加载预训练模型并且进行推断
| model = sentencetransformer('distilbert-base-nli-mean-tokens')encoded_data = model.encode(data) |
为数据集编制索引
我们可以根据我们的用例通过参考来选择不同的索引选项。
让我们定义索引并向其添加数据
| index = faiss.indexidmap(faiss.indexflatip(768))index.add_with_ids(encoded_data, np.array(range(0, len(data)))) |
序列化索引
| faiss.write_index(index, 'abc_news') |
将序列化的索引导出到托管搜索引擎的任何计算机中
反序列化索引
| index = faiss.read_index('abc_news') |
执行语义相似性搜索
让我们首先为搜索构建一个包装函数
| def search(query): t=time.time() query_vector = model.encode([query]) k = 5 top_k = index.search(query_vector, k) print('totaltime: {}'.format(time.time()-t)) return [data[_id] for _id in top_k[1].tolist()[0]] |
执行搜索
| query=str(input()) results=search(query) print('results :') for result in results: print('\t' |
cpu中的结果
现在让我们看看搜索结果和响应时间
只需1.5秒，就可以在仅使用cpu后端的百万文本文档的数据集上执行基于意义的智能搜索。
gpu中的结果
首先让我们关闭cpu版本的faiss并重启gpu版本
| !pip uninstall faiss-cpu !pip install faiss-gpu |
之后执行相同步骤，但是最后将索引移到gpu上。
| res = faiss.standardgpuresources() gpu_index = faiss.index_cpu_to_gpu(res, 0, index) |
现在让我们转移这个搜索方法并用gpu执行这个搜索
很好，你可以在0.02秒内得到结果，使用gpu（在这个实验中使用了tesla t4），它比cpu后端快75倍
因为numpy没有序列化函数，因此唯一的方法是将其转换为json，然后保存json对象，但是大小将增加五倍。例如，在768维向量空间中编码的一百万个数据点具有正常的索引，大约为3gb，将其转换为json将使其成为15gb，而普通机器无法保存它的ram。因此，每次执行搜索时，我们都要运行一百万次计算推理，这是不实际的。
最后的想法
这是一个基本的实现，在语言模型部分和索引部分仍然需要做很多工作。有不同的索引选项，应该根据用例、数据大小和可用的计算能力选择正确的索引选项。另外，这里使用的句子嵌入只是对一些公共数据集进行了微调，在特定领域的数据集上对它们进行微调可以改进，从而提高搜索结果。
参考文献
[1] nils reimers and iryna gurevych. “.” arxiv (2020): 2004.09813.
[2]johnson, jeff and douze, matthijs and j{\’e}gou, herv{\’e}. “” arxiv preprint arxiv:1702.08734.
ai研习社是ai学术青年和ai开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为ai学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的ai爱好者。欢迎与译站一起，学习新知，分享成长。
