知识分享|一文带你全面理解向量数据库
发布时间：2023-09-04 14:33:10
近些年来，向量数据库引起业界的广泛关注，一个相关事实是许多向量数据库初创公司在短期内就筹集到数百万美元的资金。
你很可能已经听说过向量数据库，但也许直到现在才真正关心向量数据库——至少，我想这就是你现在阅读本文的原因……
如果你阅读本文只是为了简单回答上面的问题，那就让我们直接进入话题吧。
1、定义：什么是向量数据库？
向量数据库是一种以向量嵌入（高维向量）方式存储和管理非结构化数据（如文本、图像或音频）的数据库，以便于快速查找和检索类似对象。
如果这个定义只会引起人们更多的理解上的混乱，那么就让我们一步一步来进行解释。本文的灵感来自 WIRED 的 5 级视频系列（https://www.wired.com/video/series/5-levels），本文将揭示向量数据库在以下三个难度级别中的内容：
最浅显的解释
向数字原住民和技术爱好者解释向量数据库
向工程师和数据专业人员解释向量数据库
2、向量数据库：最浅面的解释
这有点离题，但你知道我不明白的是什么吗？当人们按颜色排列书架时，哎哟！当他们不知道书的封面是什么颜色时，他们是如何找到书的？
1)向量数据库背后的直觉
如果你想快速找到一本特定的书，那么，按类型和作者排列书架比按颜色排列更有意义。这就是为什么大多数图书馆都是这样组织的原因，以便帮助你快速找到你想要的东西。
但是，你如何根据一个查询而不是一个流派或作者来找到可以阅读的书籍呢？如果你想读一本书，例如：类似于《饥饿的毛毛虫》或关于一个和你一样喜欢吃美食的主角？
如果你没有时间浏览书架，最快的方法是向图书管理员征求他们的推荐，因为他们读过很多书，会确切地知道哪本书最适合你的查询。
在组织书籍的例子中，你可以将图书管理员视为向量数据库，因为向量数据库旨在存储关于对象（例如书籍）的复杂信息（例如书籍的情节）。因此，向量数据库可以帮助你根据特定的查询（例如，一本关于…的书）而不是一些预定义的属性（例如，作者）来查找对象，就像图书管理员一样。
3、向数字原住民和技术爱好者解释向量数据库
现在，让我们继续探讨图书馆的例子，并获得更多的技术知识：当然，现在，在图书馆中搜索书籍的技术比只按类型或作者搜索更先进了一些。
如果你去图书馆，通常角落里会有一台电脑，可以帮助你找到一本具有更具体属性的书，比如书名、国际标准图书编号、出版年份或一些关键词。根据输入的值，就可以查询存储可用书籍信息的数据库。不过，这个数据库通常是一个传统的关系数据库。
1）关系数据库和向量数据库之间的区别是什么？
关系数据库和向量数据库之间的主要区别在于它们存储的数据类型。虽然关系数据库是为适合表的结构化数据而设计的，但是，向量数据库即是为非结构化数据（如文本或图像）而设计的。
存储的数据类型也会影响数据的检索方式：在关系数据库中，查询结果基于特定关键字的匹配。在向量数据库中，查询结果是基于相似性进行的。
你可以把传统的关系数据库想象成电子表格。它们非常适合存储结构数据，例如关于一本书的基本信息（例如，标题、作者、ISBN 等），因为这类信息可以存储在列中，非常适合过滤和排序。
使用关系数据库，你可以快速获取所有书籍，例如儿童书籍，并且标题中有“毛虫”。
但是，如果你喜欢《饥饿的毛毛虫》是关于食物的呢？你可以试着搜索关键词“食物”，但除非在书的摘要中提到关键词“食品”，否则你甚至找不到“非常饥饿的毛毛虫”。相反，你可能会以一堆烹饪书和失望告终。
这是关系数据库的一个限制：你必须添加你认为某人可能需要的所有信息才能找到该特定项目。但是，你怎么知道该添加哪些信息以及添加多少信息呢？添加所有这些信息往往非常耗时，并且不能保证完整性。
然而，这正是向量数据库发挥作用的地方！
不过，你首先需要先来了解一下一个叫做向量嵌入（vector embeddings）的概念。
今天的机器学习（ML）算法可以将给定的对象（例如，单词或文本）转换为保留该对象信息的数字表示。想象一下，你给一个 ML 模型一个词（例如，“食物”），然后这个 ML 模型发挥了它的魔力，给你返回了一长串数字。这个长长的数字列表是单词的数字表示，即称为向量嵌入。
因为这些嵌入是一长串数字，所以我们称之为高维。让我们假设这些嵌入只是三维的，以便将它们可视化，如下所示。
你可以看到，类似的单词，如“饥饿”（hungry）、“口渴”（thirsty）、“食物”（food）和“饮料”（drink），都被分组在一个相似的角落里，而其他单词如“自行车”（bicycle）和“汽车”（car），则在这个向量空间中靠近在一起，但在不同的角落里。
数字表示使我们能够将数学计算应用于通常不适合计算的对象，如单词。例如，除非将单词替换为其嵌入；否则，以下计算将不起作用：
drink - food + hungry = thirsty
因为我们可以使用嵌入进行计算，所以我们也可以计算一对嵌入对象之间的距离。两个嵌入对象之间的距离越近，它们就越相似。
正如你所看到的，向量嵌入非常酷。
让我们回到前面的例子，假设我们将每本书的内容嵌入到图书馆中，并将这些嵌入存储在向量数据库中。现在，当你想找到一本“主角喜欢食物的童书”时，你的查询也会被嵌入，并返回与你的查询最相似的书籍，例如《饥饿的毛毛虫》或《金发姑娘与三只熊》。
2）向量数据库的使用情况是什么？
事实上，向量数据库在大型语言模型（LLM）的宣传开始之前就已经存在了。最初，它们被应用于推荐系统中，因为它们可以快速找到给定查询的相似对象。但是，由于它们可以为大型语言模型提供长期记忆，因此最近也被应用于问答应用程序中。
4、向工程师和数据专业人员解释向量数据库
如果在打开本文之前，你已经猜到向量数据库可能是存储向量嵌入的一种方式，并且只想知道向量嵌入的背后是什么，那么，现在让我们来深入了解并讨论一下相关的算法。
1）向量数据库是如何工作的？
向量数据库能够快速检索查询中的类似对象，因为它们已经预先计算过了。其基本概念被称为近似最近邻（Approximate Nearest Neighbor：ANN）搜索，它使用不同的算法来索引和计算相似性。
正如你所能想象的，当你有数百万个嵌入时，用简单的 k 近邻（kNN）算法计算查询和每个嵌入对象之间的相似性可能会变得相当耗时。而使用 ANN 搜索算法，你可以以一定的准确性换取速度，并检索与查询近似最相似的对象。
索引：为此，向量数据库对向量嵌入进行索引。此步骤将向量映射到数据结构，从而实现更快的搜索。
你可以把索引看作是把图书馆里的书分成不同的类别，比如作者或流派。但由于嵌入可以包含更复杂的信息，进一步的分类可能是“主角的性别”或“情节的主要位置”。因此，索引可以帮助您检索所有可用向量的较小部分，从而加快检索速度。
我们不会讨论索引算法的技术细节；但是，如果你有兴趣进一步阅读，你可能想从查找分层导航小世界（Hierarchical Navigable Small World：HNSW）开始。
相似性度量：为了从索引向量中找到查询的最近邻居，向量数据库应用相似性度量。常见的相似性度量包括余弦相似性、点积、欧几里得距离、曼哈顿距离和汉明距离（Hamming distance）。
2）向量数据库相对于将向量嵌入存储在 NumPy 数组中的优势是什么？
我经常（已经）遇到的一个问题是：我们不能只使用 NumPy 数组来存储嵌入吗？——当然，如果你没有很多嵌入，或者你只是在做一个有趣的爱好项目，你可以这样做。但正如你已经猜到的，当你有很多嵌入时，向量数据库会明显更快，而且你不必把所有东西都保存在内存中。
以上为本次所有分享内容
