使用 Embeddings 将自建知识库接入 OpenAI _Embeddings

什么是嵌入嵌入（embeddings）捕捉文本、图像、视频或其他信息类型的“相关性” 。这种相关性最常用于以下方面：

搜索：搜索词与文本主体的相似程度有多高？
推荐：两个产品有多相似？
分类：如何对文本进行分类？
聚类：如何识别趋势？

让我们来看一下文本嵌入的一个例子。假设我们有三个短语：

“The cat chases the mouse”（猫追逐老鼠）
“The kitten hunts rodents”（小猫捕猎啮齿动物）
“I like ham sandwiches”（我喜欢火腿三明治）

你的工作是将具有相似含义的短语分组。对于人类来说，这很容易完成分组。短语 1 和 2 的含义几乎完全相同，而短语 3 的意思完全不同。
尽管短语 1 和 2 含义相似，但它们没有共同的词汇（除了“the”）。但是，我们如何让计算机明白它们的含义是相似的呢？
人类语言人类使用单词和符号来传达语言。但是孤立的单词大多没有意义，我们需要从共同的知识和经验中汲取理解它们的含义。例如，“你应该谷歌一下” 这个短语只有在你知道谷歌是一个搜索引擎，并且人们一直在用它作为动词时才有意义。
同样地，我们需要训练神经网络模型来理解人类语言。一个有效的模型应该在数百万不同的例子上进行训练，以了解每个单词、短语、句子或段落在不同的语境中可能意味着什么。
那么这与嵌入有什么关系呢？
嵌入如何工作嵌入将离散信息（单词和符号）压缩成分布式连续值数据（向量）。如果我们拿之前的短语并在图表上标记它们，可能会看起来像这样：

文章插图
【使用 Embeddings 将自建知识库接入 OpenAI】
短语 1 和 2 将被绘制的位置比较接近，因为它们的含义相似。而短语 3 所在的位置与其他短语的距离较远，因为它与其它短语没有关联。如果我们有第四个短语 “Sally ate Swiss cheese”（莎莉吃了瑞士奶酪），它可能会位于于短语 3（奶酪可以放在三明治上）和短语 1（老鼠喜欢瑞士奶酪）之间的某个位置。
在这个例子中，我们只有两个维度：X 轴和 Y 轴。实际上，我们需要更多维度来有效地捕捉人类语言的复杂性。
OpenAI 的嵌入OpenAI 提供了一个 API，可以使用其语言模型为文本字符串生成嵌入。您提供任何文本信息（博客文章、文档、公司的知识库），它将输出代表该文本“含义”的浮点数向量。与上面的 2 维示例相比，他们最新的嵌入模型 text-embedding-ada-002 会输出 1536 个维度。
为什么要使用嵌入呢？OpenAI 的 text-davinci-003 模型面临的最大挑战之一是 4000 个 token 大小的限制，必须要将提示和结果完成都放在 4000 个 token 内。如果您想提示 GPT-3 回答关于自己的自定义知识库的问题，要避免在每个提示都携带这些内容。如果自定义知识库内容较多，提示可能会超过大小限制；而且每次都携带这些内容，也会造成浪费。
首先，我们要借助 OpenAI 将自定义知识库生成嵌入并保存到数据库，然后将提示分为两个阶段来帮助解决这个问题：

查询您的嵌入数据库，寻找与问题相关的最相关文档。
将这些文档作为上下文注入到 GPT-3 中，让它在回答中引用。

这样处理之后，OpenAI 不仅会返回现有的文档，它还能将各种信息融合为一个连贯的答案。整个问题的处理流程可能如下所示：

预处理知识库，并为每个知识库文档页面生成嵌入
存储嵌入以备以后使用（更多信息）
构建一个搜索页面来提示用户输入
获取用户输入，生成一次性嵌入，然后对已预处理的嵌入执行相似性搜索。
将嵌入和搜索的问题提交给 ChatGPT，并将最终内容返回给用户。

实际应用中的嵌入开源数据处理服务平台 Supabase 的文档提供了 AI 搜索功能，有兴趣可以去 https://supabase.com/docs 体验一下。
，时长00:56
然后，有一个开源项目 nextjs-openai-doc-search 可以快速搭建出一套 AI 文档系统，它里面所有用到的东西都是开源的，只需点击一下文档中的 “Deploy” 就可以部署出一套来，感兴趣可以试用一下。
整个项目基于 Markdown 文档，每次部署的时候将 Markdown 处理，每次查询的时候都要进行相似性搜索，它的实现细节如下：