分布式系统是指由多个节点通过网络进行通信和协作的系统,它具有高可用性、高扩展性、高性能等优点,但也面临着一些挑战,如数据一致性、容错性、负载均衡等。为了解决这些问题,分布式系统设计出现了一些经典的理论和方法,如 CAP 理论、BASE 理论、一致性等。
CAP 理论是指一个分布式系统不可能同时满足以下三个特性:
CAP 理论的含义是,在一个分布式系统中,当发生网络分区或故障时,只能在一致性和可用性之间做出权衡,不能同时保证两者。因此分布式系统的设计者需要根据不同的业务场景和需求,选择合适的架构和策略。对于需要强一致性的场景,如银行转账,可以选择 CP 架构,牺牲可用性;对于可以容忍一定程度的数据不一致的场景,如社交网络,面对庞大用户群体要保证可用性,可以选择 AP 架构,牺牲一致性。
BASE 理论是对 CAP 理论的延伸和补充,它是对大规模分布式系统实践的总结,其核心思想是即使无法做到强一致性(CAP 的一致性是强一致性),但应用可以采用适当的方式来使系统达到最终一致性。BASE 是由 Basically Available(基本可用),Soft state(软状态)和 Eventually consistent(最终一致性)三个短语的缩写。
BASE 理论是对传统事务 ACID 特性(原子性、一致性、隔离性、持久性)的反思和妥协,在牺牲强一致性的前提下,追求更高的可用性和扩展性。
一致性问题是指在分布式系统中,由于多个节点之间需要通过网络进行通信和协调,而网络本身是不可靠的,可能出现延迟、丢包、重传等现象,导致不同节点上的数据存在不一致或冲突的情况。例如,在一个分布式数据库中,如果一个客户端向一个节点写入了一个新值,而另一个客户端从另一个节点读取了旧值,就出现了一致性问题。一致性问题会影响分布式系统的正确性和可靠性,因此需要采用一些协议和算法来解决。
两阶段提交(2PC):是一种保证分布式事务强一致性的协议,它将事务的提交过程分为两个阶段:准备阶段和提交阶段。在准备阶段,事务协调者向所有参与者发送准备请求,要求它们执行事务并锁定资源,然后等待它们的响应;在提交阶段,如果协调者收到了所有参与者的同意响应,就向它们发送提交请求,要求它们释放资源并完成事务;如果协调者收到了任何一个参与者的拒绝响应或超时,就向它们发送回滚请求,要求它们释放资源并取消事务。
2PC 的优点是简单和高效,它只需要两个阶段就可以完成事务的提交或回滚,而且可以保证强一致性。2PC 的缺点是容易出现阻塞,如果协调者或参与者在第二阶段发生故障,那么其他节点就无法知道事务的最终状态,只能等待故障恢复或超时。另外 2PC 也会占用较多的资源,因为它需要在第一阶段锁定所有参与者的资源,直到第二阶段结束才释放。
三阶段提交(3PC):是对 2PC 的改进,它将事务的提交过程分为三个阶段:准备阶段、预提交阶段和提交阶段。在准备阶段,事务协调者向所有参与者发送准备请求,要求它们执行事务并锁定资源,然后等待它们的响应;在预提交阶段,如果协调者收到了所有参与者的同意响应,就向它们发送预提交请求,并进入预提交状态;如果协调者收到了任何一个参与者的拒绝响应或超时,就向它们发送回滚请求,并进入中止状态;在提交阶段,如果协调者收到了所有参与者的确认响应,就向它们发送提交请求,并进入完成状态;如果协调者收到了任何一个参与者的超时或中断消息,就向其余参与者发送回滚请求,并进入中止状态。
3PC 的优点是避免了阻塞,它通过引入一个预提交阶段来降低协调者或参与者在第二阶段发生故障的概率,并且可以在故障发生时快速地进行回滚或提交。3PC 的缺点是增加了网络开销,因为它需要多发送一轮消息,并且需要维护一个超时机制来处理异常情况。而且 3PC 也不能完全保证强一致性。
3PC 强一致性失效是因为它无法处理所有可能发生的异常情况,例如网络分区、协调者故障、参与者故障等。这些异常情况会导致不同的节点之间的信息不同步,从而造成数据或状态的不一致。如果在提交阶段,网络发生了分区,导致协调者和部分参与者与其他参与者失去联系,那么就可能出现不同的分区中有不同的提交决定。这样就会造成数据不一致。
3PC 是一种试图在保证强一致性的同时,避免阻塞和死锁的协议,但是它并不完美,它也有自己的局限性和缺陷。因此在实际的分布式系统中,很少使用 3PC 协议,而是采用其他更先进和通用的一致性算法或协议,如 Paxos 算法、Raft 算法等。这些算法或协议可以容忍任意数量的节点故障,并且可以保证线性一致性或最终一致性。
Paxos 算法是由 Leslie Lamport 在 1989 年提出的一种分布式一致性算法,它的目标是在一个由若干个提议者(Proposer)、若干个接受者(Acceptor)和若干个学习者(Learner)组成的系统中,选择一个值作为共识结果。Paxos 算法分为两个子过程:基本 Paxos 和多数派 Paxos。
基本 Paxos 是指在一个由若干个提议者和若干个接受者组成的系统中,选择一个值作为共识结果。基本 Paxos 的过程如下:
多数派 Paxos 是指在一个由若干个提议者、若干个接受者和若干个学习者组成的系统中,选择一个值作为共识结果。多数派 Paxos 的过程如下:
Paxos 算法的优点是简洁和高效,它只需要两轮消息就可以完成一个值的共识,并且可以保证线性一致性。Paxos 算法的缺点是难以理解和实现,它涉及到多个角色和多个子过程,并且需要处理各种可能发生的情况。Paxos 算法也不适用于动态变化的系统,因为它需要预先知道所有节点的数量和身份。
Raft 算法是由 Diego Ongaro 和 John Ousterhout 在 2013 年提出的一种分布式一致性算法,它的目标是在一个由若干个节点组成的系统中,选择一个领导者,并通过领导者来维护系统的状态。Raft 算法将系统分为领导者、跟随者和候选者三种角色,并且通过心跳和日志复制来维持系统的状态。
Raft 算法的过程如下:
Raft 算法的优点是易于理解和实现,它将系统分为三种角色,并且通过心跳和日志复制来维持系统的状态。Raft 算法的缺点是可能存在较高的网络开销,因为它需要频繁地发送心跳消息,并且需要同步所有节点的日志。Raft 算法也不适用于高并发的场景,因为它只允许一个领导者来处理所有的请求。
在上面讲解了常见的一致性协议和算法后,博主这里介绍一个开源的分布式一致性解决方案 EasyRetry。
EasyRetry 是一款基于 BASE 思想实现的分布式服务重试组件,旨在通过重试机制确保数据的最终一致性。它提供了控制台任务观测、可配置的重试策略、重试后执行回调以及丰富地告警配置等功能。通过这些手段,可以对异常数据进行全面监测和回放,从而在确保系统高可用性的同时,大大提升数据的一致性。
对于系统中核心场景的数据安全是非常重要的保障手段, 基于内存重试策略(目前业界比较比较出名的 SpringRetry 或者 GuavaRetry 都是基于内存重试实现的)数据的持久性得不到保障, EasyRetry 提供了本地重试、服务端重试、本地重试和服务端重试相结合三种重试模式。EasyRetry 的本地重试方案依然保留了内存重试的策略,应对短暂不可用场景下的快速补偿。服务端重试则实现了数据的持久化,支持多种数据库配置。用户可以通过控制台管理异常数据,自定义多种配置,便捷地完成数据补偿操作。
在分布式系统里,我们可以使用 EasyRetry 来捕获和处理异常数据,将不同系统产生的异常数据集中到 EasyRetry 的控制台进行配置和管理。通过 EasyRetry,我们可以自定义重试策略和触发时间。当重试任务执行成功或达到系统配置的最大执行次数时,服务端会向客户端发送回调请求。在接收到回调请求后,客户端可以指定后续动作。举例来说,当服务端发起重试达到最大请求次数但仍然失败时,客户端可以执行回滚操作,确保事务的完整性。通过灵活配置回调请求的处理方式,我们可以根据具体业务需求进行相应的处理操作。
重试操作可以更加轻量化低成本的保障数据一致性,但是带来的风险也不容忽视,那就是重试风暴。EasyRetry 支持多种方式防止重试风暴的产生比如单机流量管控、跨集群链接管控和可视化数据管控等。
EasyRetry 和 SpringRetry 一样的都是基于注解实现,只需要添加一个@Retryable 即完成接入,具体的接入方式可参考接入指北
EasyRetry 控制台提供了多样化的参数配置,包括路由策略、Id 生成模式、分区指定、退避策略、最大重试次数、告警通知等。满足用户在不同场景下的配置需求。
EasyRetry 预留了大量自定义场景,如重试结果处理器、自定义方法执行器、幂等 ID 生成器等模块,为用户预留了可扩展空间,可根据系统需求满足不同场景下的使用需要。
最后感谢您的阅读,希望本文讲解内容能对你有所帮助。