介绍

企业正在以巨大的速度积累数据，需要大量的存储空间。由于要存储和处理数 TB 的数据，开发人员常常会陷入困境。 Apache Ignite 以内存为中心的分布式数据库、缓存和处理平台，用于事务性、分析性和流式工作负载，可以在PB级数据上享有内存级的性能。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。

Ignite的一个突出特性是完全支持分布式的SQL关联，Ignite支持并置和非并置的数据关联。并置时，关联是在每个节点的可用数据集上执行的，而不需要在网络中移动大量的数据，这种方式在分布式数据库中提供了最好的扩展性和性能。Ignite和其他关系型数据库具有相似的行为，但是在处理约束和索引方面略有不同。Ignite支持一级和二级索引，但是只有一级索引支持唯一性。在持久化方面，Ignite固化内存在内存和磁盘中都能良好的工作，但是持久化到磁盘是可以禁用的，一般将Ignite作为一个内存数据库来使用。

发展史

特性

• 多层存储:Apache Ignite 多层存储实现了一种尖端的存储架构，它将内存的性能优势与基于磁盘的数据库的可扩展性和持久性优势相结合，存储模式包括内存模式、内存+外部数据库模式、多层数据库模式
• ACID兼容：存储在Ignite中的数据，在内存和磁盘上是同时支持ACID的，使Ignite成为一个强一致的系统，Ignite可以在整个网络的多台服务器上保持事务。
• SQL支持：Ignite提供了完整的SQL、DDL和DML的支持，可以使用纯SQL而不用写代码与Ignite进行交互，这意味着只使用SQL就可以创建表和索引，以及插入、更新和查询数据。有这个完整的SQL支持，Ignite就可以作为一种分布式SQL数据库。
• 键-值：Ignite的内存数据网格组件是一个完整的事务型分布式键值存储，它可以在有几百台服务器的集群上进行水平扩展。在打开持久化时，Ignite可以存储比内存容量更大的数据，并且在整个集群重启之后仍然可用。
• 并置处理：大多数传统数据库是以客户机-服务器的模式运行的，这意味着数据必须发给客户端进行处理，这个方式需要在客户端和服务端之间进行大量的数据移动，通常来说不可扩展。而Ignite使用了另外一种方式，可以将轻量级的计算发给数据，即数据的并置计算，从结果上来说，Ignite扩展性更好，并且使数据移动最小化。
• 可扩展性和持久性：Ignite是一个弹性的、可水平扩展的分布式系统，它支持按需地添加和删除节点，Ignite还可以存储数据的多个副本，这样可以使集群从部分故障中恢复。如果打开了持久化，那么Ignite中存储的数据可以在集群的完全故障中恢复。Ignite集群重启会非常快，因为数据从磁盘上获取，瞬间就具有了可操作性。从结果上来说，数据不需要在处理之前预加载到内存中，而Ignite会缓慢地恢复内存级的性能。
• 机器学习：Ignite的机器学习（ML）是一套简单、可扩展以及高效的工具，可以构建可预测的机器学习模型，而不需要昂贵的数据传输。
• 多语言支持：Ignite是以JAVA语言为主进行开发的，因此可以在JVM支持的任何操作系统和架构上部署和运行

场景

三种主要使用场景

• 应用程序加速和横向扩展：使用 Ignite 作为内存缓存或部署在一个或多个外部数据库上的内存数据网格，将现有应用程序加速 100 倍。
• 用于HTAP 工作负载的分布式数据库：通过将 Ignite 用作可扩展超出可用内存容量的数据库，构建支持事务和分析工作负载的应用程序。
• 数字集成中心：创建一个高级平台架构，将多个后端系统和数据库聚合到一个低延迟和共享的数据存储中。

存储模式

Apache Ignite 多层存储实现了一种尖端的存储架构，它将内存的性能优势与基于磁盘的数据库的可扩展性和持久性优势相结合，存储模式包括内存模式、内存+外部数据库模式、多层数据库模式

内存模式

基于内存计算解决方案的所有优势。以最低延迟和最高吞吐量存储和处理数据，整个数据集仅在内存层中可用，为了避免节点故障，建议在集群中至少保留一份数据的备份副本，适用于数据缓存、高性能计算、Web 会话缓存、实时处理连续数据流

内存+外部数据库模式

通过将 Ignite 部署为现有基于磁盘的数据库和后端系统之上的缓存层来加速和卸载现有数据库。以将 Ignite 用作现有数据库（例如 RDBMS 或 NoSQL 数据库，例如 Apache Cassandra 或 MongoDB）之上的缓存层，Ignite 提供与 Apache Cassandra 的开箱即用集成。对于其他没有现成集成的 NoSQL 数据库，您可以提供自己的CacheStore接口实现。

多层数据库模式

通常，内存缓存和数据库提供有限的持久性能力。Ignite持久性没有任何限制，超出可用内存容量并在重启时跳过内存预热，100% 的数据被持久化到 Ignite 原生持久化，相同数量或更少的数据缓存在内存中。缓存的数据越多，性能越快。应用程序可以查询内存中和仅磁盘的记录，透明地扩展到可用内存容量之外。由于 Ignite 可以从磁盘提供数据，因此无需在重新启动时进行内存预热。

分布式 SQL

对 SQL 的原生支持让可以像使用标准 SQL 数据库一样使用 Ignite，Apache Ignite自带JDBC 驱动程序、ODBC 驱动程序以及支持Java、C#、C++、Python/ target=_blank class=infotextkey>Python 和其他编程语言的sql API，Ignite支持所有的DML指令，包括SELECT、UPDATE、INSERT和DELETE，它还实现了一个与分布式系统有关的DDL指令的子集。Ignite的一个突出特性是完全支持分布式的SQL关联，Ignite支持并置和非并置的数据关联。并置时，关联是在每个节点的可用数据集上执行的，而不需要在网络上移动大量的数据，这种方式在分布式数据库中提供了最好的扩展性和性能

分布式 ACID

Ignite是一个强一致的平台，完全支持分布式ACID事务，内存和磁盘层，都提供一样的一致性保证。Ignite的事务，可以跨越多个节点，多个缓存（或者说表）以及多个分区。对于应用来说，乐观锁和悲观锁都是可用的，乐观模式还支持无死锁事务，可以在业务代码层面避免分布式死锁。

Ignite采用二阶段提交协议,在分布式系统中，事务可能跨越多个节点，显然，要保证所有参与节点的数据一致性是一个很大的挑战。比如，如果一个节点故障，故障节点的事务就不能完整提交，在这类场景中，要保证数据一致性，一个广泛使用的方法是二阶段提交协议（2PC）。Ignite带来了二阶段提交协议的最快实现，另外，如果事务只涉及一个分区或者一个节点，Ignite会使用一个更快的一阶段提交协议。在一个事务中，如果数据发生了变化，那么在变化提交之前，Ignite会在本地事务映射中保存一个事务的状态，提交时，数据会被发送到相关的远程节点，其中只有持有相关数据主副本的节点，才会参与事务。

一致性和Ignite持久化

如果使用了Ignite的原生持久化，那么所有的更新都会写入预写日志（WAL）文件中来保证一致性，即使事务执行期间集群或者某个节点故障，也没有问题。WAL的目的是，以附加模式将更新传播到磁盘，这是将数据持久化到磁盘的最快方式，如果集群或者某个节点故障，WAL提供了一个故障场景的恢复机制，集群总是可以恢复到最近成功提交的事务状态。

一致性和第三方持久化

如果Ignite作为缓存层运行于第三方数据库之上，比如RDBMS，Ignite仍然会保证缓存数据和外部数据的事务一致性。比如，如果RDBMS作为持久化层，Ignite会在将提交消息发给相关的集群节点之前，将事务写入数据库，这样的话，如果在数据库层发生事务故障，Ignite仍然会将回滚消息发给所有的相关节点，从而保持两者之间的数据一致性

架构

• 持久化层：Ignite同时支持原生持久化和用第三方存储做持久化，比如RMDBMS，HDFS等。虽然Ignite有以内存为中心的存储，但是毕竟内存中数据在节点出现故障的时候都有丢失的可能性。 因此持久化层为Ignite提供了故障恢复的能力。另外有了持久化能力，可以让冷热数据更合理使用内存。比如在内存足够情况下，数据可以全部加载到内存中。 而当内存紧张时，可以只加载热数据至内存中，冷数据就留在硬盘上。
• Ignite内存存储层：这一层可以算是Ignite的核心层了。数据可以通过不同分区，复制模式分布在Ignite集群所有节点，部分节点或者本地节点。通过数据分区和复制，比如1主多备的方式，可以提高数据的可用性，即便主数据节点故障后，集群中的备数据节点可以切换为主节点继续提供读写服务。 同时备节点也可以作为只读节点使用，提高数据读操作的吞吐量。Ignite还利用Java堆外内存存储数据和索引，减少了JVM的垃圾回收次数和时间，提供了更高效的操作。
• API接口层： 丰富多样的接口支撑Ignite向上提供了诸如分布式数据库，数据网格和计算网格的能力。Key/Value+transaction，可以把Ignite当做和redis,Memcached一样的缓存使用。 而对SQL ANSI-99的兼容，有可以把Ignite当做一个分布式数据库来用。 除了数据能力，Ignite还允许你通过Compute Grid的接口提交计算任务，充分利用集群的计算资源。Ignite还支持把计算任务部署在和计算数据所在的相同节点上，减少网络传输和数据的序列化开销，提高计算效率。 流处理，机器学习网格，服务网格，消息队列等，Ignite也同时提供支持。

结论

Apache Ignite 是一个专注于分布式内存计算的开源项目。Ignite 将数据存储在内存中，分布在提供快速数据访问的多个节点上。将数据异步传播到持久层的选项是一个额外的优势。此外，与各种数据库集成的能力也使 Ignite 成为开发人员使用它进行数据库缓存的简单选择。　Apache Ignite整体来说，它基本把现在分布式的一些概念都集成了，包含分布式存储、分布式计算、分布式服务、流式计算等等。而且，它对Java语言的支持，与JDK能够很好的整合，能够很友好的兼容JDK的现有API，当你开启一个线程池，你不需要关系是本地线程池还是分布式线程池，只管提交任务就行。Apache Ignite在与RDBMS、Hadoop、Spark、Kafka等传统关系型数据库和主流大数据套件的集成，提供了非常灵活好用的组件API。