Part 01 什么是图形数据库
图形数据库是NoSQL数据库的一种类型,起源于欧拉理论和图理论,对应英文名是Graph Database。一种专用于创建和处理图形的专业化单一用途平台,图形包括节点、边和属性,它们能够以关系数据库无法实现的方式来表示和存储数据。
图形数据库有两种常见的数据库模型:属性图(Property Graphs)和资源描述框架图(RDF Graphs)。属性图侧重于分析和查询,而RDF图则侧重于数据集成。
1.1 属性图
属性图用于对数据之间的关系进行建模,能够基于这些关系进行查询和数据分析。属性图具有顶点(包含有关主题的详细信息)和边(表示顶点之间的关系)。顶点和边可以具有相关联的属性。属性图用途广泛,因此被广泛用于金融、制造、公共安全、零售等众多行业和领域。
下图是一个属性图片段的可视化示例,说明了演员、导演、电影和电视剧的相互关系:
其中浅蓝色椭圆表示节点,深蓝色框表示节点的标签,黄色框表示属性,红色方框表示边的类型。
1.2 RDF图
RDF,即资源描述框架(Resource Description Framework),形式上主要由主谓宾(SPO, 即subject, predicate, object)三元组组成。RDF图存在统一的标准,其技术栈的标准是由万维网联盟(W3C)负责管理。
RDF图主要由以下两种元素组成:
RDF也有标准的查询语言SPARQL,SPARQL既是一种功能齐全的查询语言,也是一种HTTP协议,可以接收通过HTTP发送的查询请求。
RDF图的标准化有一个关键点就是序列化。通过序列化可以在不同RDF图数据库之间无缝切换,常用的序列化格式包括Turtle(最常用)、JSON-LD、XML。
下图是一个RDF图片段的可视化示例,内容和属性图片段示例基本一致:
相比于属性图数据库,RDF数据库的可视化结果会更干净(构成数据的元素类型少),但也更宽广(节点和边的数量更多)。
Part 02 图形数据库的优势
图形格式可提供一个更灵活的平台,帮助用户基于关系强度或关系质量等因素查找远关系或分析数据。您可以使用图形来探索和发现社交网络、物联网、大数据、数据仓库以及多种业务使用场景(包括银行中的欺诈检测、社交网络中的关系发现以及360度客户视图)下复杂事务数据中的关系和模式。如今,图形数据库正越来越广泛地应用于数据科学,帮助用户更加清晰地呈现数据关系。
由于图形数据库以显式方式存储关系,因此利用顶点间连接的查询和算法可以达到亚秒(而不是小时或天)级别。用户无需执行无数次联接,可以更轻松地将数据用于分析和机器学习,高效探索周围世界。
图形数据库高度灵活,功能超强,可助您通过图形格式,更轻松地识别复杂关系,捕获更深入的洞察。它通常使用PGQL一类的语言来运行查询。请查看以下示例,了解使用PGQL和SQL进行查询有何不同。
从示例中可以看出,PGQL代码更简单,更高效。由于图形强调的是数据之间的关系,因此非常适合多种不同类型的分析。图形数据库尤其擅长:
Part 03 主流图形数据库
图形数据库TOP10排名:
2013年到2023年图形数据库流行趋势统计图:
Neo4j因其嵌入式、高性能、轻量级等优势,越来越受到关注。
Neo4j是由JAVA实现的开源NoSQL图数据库。Neo4j实现了专业数据库级别的图数据模型的存储。与普通的图处理或内存数据库不同,Neo4j提供了完整的数据库特性,包括ACID 事务的支持、集群支持、备份与故障转移等,这使其适合于企业级生产环境下各种应用。
Neo4j还提供了一些特殊的功能:
➤ 一个本地化的图数据库:Neo4j自底向上构建成一个图数据库。它的体系结构旨在优化快速管理、存储和遍历节点和关系。在Neo4j中,关系是数据库中最重要的元素,它代表节点之间的相互联系。众所周知,在关系数据库领域中,“关系”适用于多个不同表之间的连接操作,这种操作的性能下降与关系的数量呈指数级别的,但在Neo4j中则是用于从一个几点指向另一个节点,其性能却是线性级别的。
➤ 界面友好:提供了查询与展示的Web操作界面。对于图数据模型使用D3.js做数据可视化,形象地展示了数据模型的节点和关系。
➤ 声明式图查询语言:Cypher是一种声明式图数据库查询语言,它表现力丰富,查询效率高,其地位和作用域关系型数据库中的SQL类似,Cypher还有良好的扩展性,用户可以定制自己的查询方式(如自定义过程)。
➤ ACID事务:Neo4j通过ACID事务提供真正的数据安全,Neo4j使用事务来保证输在硬件故障或系统奔溃的情况下不会丢失。
➤ 高性能:Neo4j使用多副本主从复制的方式构建高可靠集群,支持大数据集合并且可以不断扩展其容量,可存储数百万亿个实体,提供了可容错、可扩展的集群,此外Neo4j还提供热备份和性能监控功能。
Azure Cosmos DB是微软提供的一种用于新式应用开发的完全托管的NoSQL数据库和关系数据库。Azure Cosmos DB提供个位数的毫秒响应时间以及自动和即时可伸缩性,不管什么规模都可以保证速度。SLA支持的可用性和企业级安全性可确保业务连续性。
Virtuoso可以对RDF数据进行有效的存储和管理。基于Virtuoso进行RDF数据存储的应用也越来越多,BioGateway、Bio2RDF、DBpedia-live和Neurocommons。
Virtuoso提供的开源版本能支持数十亿规模的三元组存储和管理。
Virtuoso是OpenLink公司开发的一款跨平台的对象关系数据库、虚拟/通用数据库,拥有强大的过程语言,支持Java和.NET语言的内嵌,可以通过Web、Web Services、ODBC和JDBC等进行数据的访问。
Virtuoso在现有(对象)关系数据库上增加了对RDF数据的支持,一方面可以充分利用传统数据库的事务处理、查询优化、访问控制、日志和数据恢复等功能,技术成熟度高、系统稳定,另一方面可以实现语义数据和其他数据的无缝连接。