谁也没想到，向量数据库会发展得这样快！
时间回到 2018 年， FAIss 项目刚刚开源，Milvus 才写下它的第一行代码。我们也只预见到向量数据库和嵌入式技术将会成为非结构化数据领域的关键研究工具。
很快，LLM 时代到来，从 BERT 到 GPT3，再到 GPT4 以及开源大模型 LLaMa，大模型能力日渐增强，生态逐步开发开放，加上向量提取技术的快速进步，人们越来越认识到高维向量在信息检索和生成中的重要地位。生成型 AI 大模型通常需要使用相似性搜索和匹配的结果作为 Prompt，以便提供精准的回复、推荐或匹配结果，这种方法我们称之为“检索增强生成”。传统的基于关键词的搜索可能无法满足复杂的语义和上下文需求，而随着图像、语音等多模态大模型的涌现，向量数据库已经成为了大模型数据存储的事实标准。
忽如一夜春风来，千树万树梨花开。大型模型的爆发使得大模型数据存储成为构建未来AI系统的关键环节，同时也催生了众多向量数据库的出现。除了较早诞生的向量数据库 Milvus 和云服务 Zilliz Cloud，我们还看到了 Pinecone、Weaviate、Qdrant、Chroma 等形态各异的向量数据库和云服务的涌现。与此同时，一些传统数据库厂商也纷纷加入向量处理能力的提供之列，如 PGVector、ElasticSearch、MongoDB 等都推出了对向量的支持（Lucene 对 Dense Vector 的支持进一步推动了这一趋势）。
然而，随着向量数据库如雨后春笋般涌现，如何科学地评价和选择一个优秀的向量数据库，成为了一个备受讨论和争议的话题。
正如我们在评估大模型时会考虑其准确性、多样性、泛化能力、推理性能等诸多指标一样，本文也将尝试从多个角度分析向量数据库的异同，并为每种产品赋予独特的价值定位。实际上，当我们拨开表面的迷雾，聚焦向量数据库本质的时候，就会发现在向量数据库的概念外壳下包含着各式各样的内在要素。向量数据库作为一个独特的产品类别，其存在必然包含着特殊的价值，且一定会进化并分化出具有各自特点的产品。
01
向量数据库- Just Another WrApper for Faiss？
根据微软的定义，“向量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。”拆解来看，向量数据库有两个关键要素，一是面向高维向量数据的处理能力，二是具备一个数据库的基本能力，因此以下几个因素是向量数据库必须要具备的：
1）支持向量数据的增删改查
2）高性能的向量检索
3）支持数据的持久化
4）支持一种易用的查询语言
除了上述的基本需求，我们还可以从许多角度来评估向量数据库：系统的扩展性、弹性、可用性，所采用的向量检索算法，是否支持标量过滤、混合查询、多向量等功能，是否开源，是否提供云服务，以及是否有完善的生态支持等等。“并非所有的向量数据库都天生平等”，在研究和选择向量数据库时，这些都是我们必须要考虑的因素。
Chroma 曾是一个建立在著名的实时 OLAP 数据库 ClickHouse 之上的向量数据库，尽管因此被批评为“只是在ClickHouse 上加了一个轻量级的封装”，但这个刚成立一年的初创公司还是凭借其向量搜索功能获得了 1800 万美元的种子轮融资。Chroma 在底层深度依赖 ClickHouse 和 HNSWlib，只是在向量检索上增加了一层 Python/ target=_blank class=infotextkey>Python 封装。这种依赖第三方构建复杂软件和服务的方法虽然快速，但会引发严重的性能问题，也会使得软件迭代变得非常困难。
事实上，仅仅数月后，Chroma 就决定放弃对 ClickHouse 的依赖，转而基于 SQLite 重建其查询引擎。Chroma 的经历证明，向量数据库绝不是简简单单的功能组合，做好向量数据库同样需要良好的设计和大量的工程实践。
0
2
传统数据库- 向量数据库的终极选择？
除了专属向量数据库，传统数据库也纷纷支持了向量检索能力，包括 PostgreSQL、ElasticSearch 和 redis 等在内的数据库厂商纷纷加入这一赛道。那么，向量数据库是否会像很多 NoSQL 数据库一样，慢慢被关系型数据库所取代呢？
尽管传统数据库已经扩展其功能以支持向量搜索，专门的向量数据库在许多方面仍具有突出优势。首先，向量数据库在易用性方面表现得更为优秀。虽然对于许多开发者而言 SQL 的学习成本相对较低，但传统数据库对 SQL 语法的兼容实际上成为了其功能迭代的包袱。相反，向量数据库往往提供了更易于迭代和拓展的 Python、JAVA 和Restful API 接口，从而可以更方便地增加新的功能和语法。这使得向量数据库能够适应 AI 和大数据领域日新月异的变化，更符合开发者的需求。
其次，向量数据库在处理高维向量数据时通常能够提供更高的性能。这种性能优势不只是源于对向量索引的优化，更多地在于向量数据库对算力资源的有效利用和对数据分布的深入理解。优秀的向量数据库会基于 CPU SIMD、GPU 等算力进行优化，我们的测试结果显示，GPU 索引的性能可能优于 CPU 的十倍以上。相比之下，传统数据库虽然增加了对向量数据的支持，但其能力往往受限于已有的系统架构，因此很难充分利用算力资源。同时，传统数据库也无法像专门针对向量数据设计的数据库那样，更有效地处理向量数据的分片、增量插入和删除等问题。
向量数据库的终极武器就是AI化，它不仅是DBfor AI的最佳实践，查询不需要100%准确的特性也使得向量数据库成为了AIfor DB的理想试验场。向量数据库可以无缝地与 LLM 应用集成，提供一站式的数据管理和处理解决方案，成为多模态数据之间的重要桥梁，这一生态优势是传统数据库难以超越的。同时，向量数据库本身重度依赖Embedding、Ranking、Clustering 等机器学习技术，与传统数据库开发者之间存在较大的技术鸿沟，想完成跨界绝非易事。
正因为此，我们可以看到传统数据库在向量检索领域并没有太多惊艳的实践案例，且或多或少地存在更新困难、性能慢、标量向量查询无法打通、索引任务和查询相互影响等问题。
03
优秀的向量数据库，到底需要哪些能力？
那么，如何打造出一款出色的向量数据库呢？在我看来，架构、算法、计算能力以及对场景的深入理解是关键。
首先，我们谈论架构。向量数据库与传统数据库有很多不同之处，例如，向量索引构建倾向于离线操作且消耗大量计算资源，这意味着将计算密集任务 Offload 到数据库的概念在向量数据库中能得到更好的实现。实现 Offload 计算任务的关键在于实现存储计算分离，只有在系统完全无状态化的情况下，才能解除数据和计算能力之间的耦合，实现真正的弹性。传统的数据库的架构设计并没有考虑向量数据本身的特性，比如索引的不可变性、计算资源的消耗、内存使用成为主要瓶颈，这便带来了一个问题——尽管传统数据库可以支持向量插件，但对增删改查和存算分离等特性并不能进行有力的支持。
目前，绝大多数向量数据库直接使用如 Faiss 或者 HNSW 这样的向量检索库，这可以快速获得不错的性能。然而，随着向量数据库使用场景的复杂化，传统向量索引在满足开发者对于标量过滤、多向量混合查询的需求方面变得力不从心，提升性能需要综合考虑向量和标量之间的关系。每种向量索引在性能、成本、功能上各有优劣，无法一刀切，这也是我们决定重新自主研发向量数据查询引擎的关键原因。
接下来，是底层硬件能力的应用。这也是向量数据库与传统数据库的重大区别之一。近年来，随着 NVMe，RDMA 等技术的发展和普及，传统数据库的瓶颈逐渐从磁盘和网络转向了 CPU，但其计算密度仍然远远低于向量数据库所需的稠密向量距离计算。随着图索引越来越成为向量检索的主流，它带来的内存/IO 随机访问问题开始成为了向量数据库进一步优化性能的关键挑战。
最后，我们需要深度理解用户场景。比如在大模型知识库场景下，往往有多租户查询、行级权限管理、动态 Schema 等业务需求。对于训练数据的检索，则需要非常灵活的标量过滤能力，海量数据的离线导入能力以及磁盘索引的能力来降低海量数据的服务成本。如同十多年前的移动互联网浪潮成就了MongoDB，这一波AIGC的浪潮也一定会给数据库带来更多场景的需求和新的挑战。
04
做好 Vector Database - 我们是专业的！
如今 Milvus 即将迎来诞生的第五个年头，全面更新的 2.3 版本于上周发布。Milvus 2.3 版本正式支持了GPU索引、RangeSearch、MMap加载数据等更多能力，帮助用户进一步降低了向量检索的使用成本。不仅如此，基于开源 Milvus 的托管云服务 Zilliz Cloud已在国内全面发布，用户可以基于向量检索服务和大模型 API 快速构建自己的 AIGC 应用。
对比开源的 Milvus，Zilliz Cloud更强调降低用户的总体成本，包括硬件成本，开发成本以及维护成本。这不仅有助于快速推出用户应用以抢占市场份额，同时也确保了应用的稳定运行。
以下是 Zilliz Cloud 的主要优势和提供的核心能力：
05
总结
向量数据库作为大模型实现的重要补充，其价值不容忽视。随着大模型的广泛应用与实际落地，用户对于数据库的性能、扩展性和稳定性等方面的需求不断提升。然而，在众多向量数据库中选择一款最适合自身业务的，无疑是一个富有意义却颇具挑战性的任务。如果你正在寻找一款让人省心、定价合理的向量数据库，那么Zilliz Cloud无疑是最佳选择，其高效稳定的特性，绝对能满足你的各项需求。
更多详情可以访问 Https://zilliz.com.cn。
京公网安备 11010802035086号