您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

你再不知道分布式事务,我就真的生气了

时间:2020-03-18 10:53:26  来源:  作者:

最近看了几篇有关于分布式事务的博文,做了一下笔记,并总结出这篇文章。

你再不知道分布式事务,我就真的生气了

 

 

图片来自 Pexels

你再不知道分布式事务,我就真的生气了

 

数据库事务

数据库事务(简称:事务),是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成。

这些操作要么全部执行,要么全部不执行,是一个不可分割的工作单位。

数据库事务的几个典型特性:

  • 原子性(Atomicity)
  • 一致性(Consistency)
  • 隔离性(Isolation)
  • 持久性(Durabilily)
你再不知道分布式事务,我就真的生气了

 

简称就是 ACID:

  • 原子性:事务作为一个整体被执行,包含在其中的对数据库的操作要么全部被执行,要么都不执行。
  • 一致性:指在事务开始之前和事务结束以后,数据不会被破坏,假如 A 账户给 B 账户转 10 块钱,不管成功与否,A 和 B 的总金额是不变的。
  • 隔离性:多个事务并发访问时,事务之间是相互隔离的,即一个事务不影响其它事务运行效果。简言之,就是事务之间是进水不犯河水的。
  • 持久性:表示事务完成以后,该事务对数据库所作的操作更改,将持久地保存在数据库之中。

事务的实现原理

本地事务

传统的单服务器,单关系型数据库下的事务,就是本地事务。本地事务由资源管理器管理,JDBC 事务就是一个非常典型的本地事务。

你再不知道分布式事务,我就真的生气了

 

事务日志

InnoDB 事务日志包括 redo log 和 undo log。

redo log(重做日志):通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行修改成怎样,它用来恢复提交后的物理数据页。

undo log(回滚日志):是逻辑日志,和 redo log 记录物理日志的不一样。

可以这样认为,当 delete 一条记录时,undo log 中会记录一条对应的 insert 记录,当 update 一条记录时,它记录一条对应相反的 update 记录。

事务 ACID 特性的实现思想:

  • 原子性:是使用 undo log 来实现的,如果事务执行过程中出错或者用户执行了 rollback,系统通过 undo log 日志返回事务开始的状态。
  • 持久性:使用 redo log 来实现,只要 redo log 日志持久化了,当系统崩溃,即可通过 redo log 把数据恢复。
  • 隔离性:通过锁以及 MVCC,使事务相互隔离开。
  • 一致性:通过回滚、恢复,以及并发情况下的隔离性,从而实现一致性。

分布式事务

分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。

简单来说,分布式事务指的就是分布式系统中的事务,它的存在就是为了保证不同数据库节点的数据一致性。

为什么需要分布式事务?接下来分两方面阐述:

微服务架构下的分布式事务

随着互联网的快速发展,轻盈且功能划分明确的微服务,登上了历史舞台。

比如,一个用户下订单,购买直播礼物的服务,被拆分成三个 service,分别是金币服务(coinService),下订单服务(orderService)、礼物服务(giftService)。

这些服务都部署在不同的机器上(节点),对应的数据库(金币数据库、订单数据库、礼物数据库)也在不同节点上。

你再不知道分布式事务,我就真的生气了

 

用户下单购买礼物,礼物数据库、金币数据库、订单数据库在不同节点上,用本地事务是不可以的,那么如何保证不同数据库(节点)上的数据一致性呢?这就需要分布式事务啦!

分库分表下的分布式事务

随着业务的发展,数据库的数据日益庞大,超过千万级别的数据,我们就需要对它分库分表(以前公司是用 Mycat 分库分表,后来用 Sharding-JDBC)。

一分库,数据又分布在不同节点上啦,比如有的在深圳机房,有的在北京机房~你再想用本地事务去保证,已经无动于衷啦~还是需要分布式事务啦。

比如 A 转 10 块给 B,A 的账户数据是在北京机房,B 的账户数据是在深圳机房。

流程如下:

你再不知道分布式事务,我就真的生气了

 

CAP 理论&BASE 理论

学习分布式事务,当然需要了解 CAP 理论和BASE 理论。

CAP 理论

CAP 理论作为分布式系统的基础理论,指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),这三个要素最多只能同时实现两点。

你再不知道分布式事务,我就真的生气了

 

一致性(C,Consistency):一致性是指数据在多个副本之间能否保持一致的特性。

例如一个数据在某个分区节点更新之后,在其他分区节点读出来的数据也是更新之后的数据。

可用性(A:Availability):可用性是指系统提供的服务必须一直处于可用的状态,对于用户的每一个操作请求总是能够在有限的时间内返回结果。这里的重点是"有限时间内"和"返回结果"。

分区容错性(P,Partition tolerance):分布式系统在遇到任何网络分区故障的时候,仍然需要能够保证对外提供满足一致性和可用性的服务。

你再不知道分布式事务,我就真的生气了

 

BASE 理论

BASE 理论, 是对 CAP 中 AP 的一个扩展,对于我们的业务系统,我们考虑牺牲一致性来换取系统的可用性和分区容错性。

BASE 是 Basically Available(基本可用),Soft State(软状态)和 Eventually Consistent(最终一致性)三个短语的缩写。

Basically Available:基本可用。通过支持局部故障而不是系统全局故障来实现的。

如将用户分区在 5 个数据库服务器上,一个用户数据库的故障只影响这台特定主机那 20% 的用户,其他用户不受影响。

Soft State:软状态。状态可以有一段时间不同步。

Eventually Consistent:最终一致。最终数据是一致的就可以了,而不是时时保持强一致。

分布式事务的几种解决方案

分布式事务解决方案主要有以下这几种:

  • 2PC(二阶段提交)方案
  • TCC(Try、Confirm、Cancel)
  • 本地消息表
  • 最大努力通知
  • Saga 事务

二阶段提交方案

二阶段提交方案是常用的分布式事务解决方案。事务的提交分为两个阶段:准备阶段和提交执行方案。

二阶段提交成功的情况:

  • 准备阶段,事务管理器向每个资源管理器发送准备消息,如果资源管理器的本地事务操作执行成功,则返回成功。
  • 提交执行阶段,如果事务管理器收到了所有资源管理器回复的成功消息,则向每个资源管理器发送提交消息,RM 根据 TM 的指令执行提交。

如图:

 

你再不知道分布式事务,我就真的生气了

 

二阶段提交失败的情况:

  • 准备阶段,事务管理器向每个资源管理器发送准备消息,如果资源管理器的本地事务操作执行成功,则返回成功,如果执行失败,则返回失败。
  • 提交执行阶段,如果事务管理器收到了任何一个资源管理器失败的消息,则向每个资源管理器发送回滚消息。

资源管理器根据事务管理器的指令回滚本地事务操作,释放所有事务处理过程中使用的锁资源 。

你再不知道分布式事务,我就真的生气了

 

2PC 方案实现起来简单,成本较低,但是主要有以下缺点:

  • 单点问题:如果事务管理器出现故障,资源管理器将一直处于锁定状态。
  • 性能问题:所有资源管理器在事务提交阶段处于同步阻塞状态,占用系统资源,一直到提交完成,才释放资源,容易导致性能瓶颈。
  • 数据一致性问题:如果有的资源管理器收到提交的消息,有的没收到,那么会导致数据不一致问题。

TCC(补偿机制)

TCC 采用了补偿机制,其核心思想是:针对每个操作,都要注册一个与其对应的确认和补偿(撤销)操作。

TCC(Try-Confirm-Cancel)是通过对业务逻辑的分解来实现分布式事务。

针对一个具体的业务服务,TCC 分布式事务模型需要业务系统都实现一下三段逻辑:

  • Try 阶段:尝试去执行,完成所有业务的一致性检查,预留必须的业务资源。
  • Confirm 阶段:该阶段对业务进行确认提交,不做任何检查,因为 Try 阶段已经检查过了,默认 Confirm 阶段是不会出错的。
  • Cancel 阶段:若业务执行失败,则进入该阶段,它会释放 Try 阶段占用的所有业务资源,并回滚 Confirm 阶段执行的所有操作。
你再不知道分布式事务,我就真的生气了

 

TCC 分布式事务模型包括如下三部分:

  • 主业务服务:主业务服务负责发起并完成整个业务活动。
  • 从业务服务:从业务服务是整个业务活动的参与方,实现 Try、Confirm、Cancel 操作,供主业务服务调用。
  • 业务活动管理器:业务活动管理器管理控制整个业务活动,包括记录事务状态,调用从业务服务的 Confirm 操作,调用从业务服务的 Cancel 操作等。

下面再拿用户下单购买礼物作为例子来模拟 TCC 实现分布式事务的过程:假设用户 A 余额为 100 金币,拥有的礼物为 5 朵。A 花了 10 个金币,下订单,购买 10 朵玫瑰。余额、订单、礼物都在不同数据库。

TCC 的 Try 阶段:

  • 生成一条订单记录,订单状态为待确认。
  • 将用户 A 的账户金币中余额更新为 90,冻结金币为 10(预留业务资源)。
  • 将用户的礼物数量为 5,预增加数量为 10。
  • Try 成功之后,便进入 Confirm 阶段。
  • Try 过程发生任何异常,均进入 Cancel 阶段。
你再不知道分布式事务,我就真的生气了

 

TCC 的 Confirm 阶段:

  • 订单状态更新为已支付。
  • 更新用户余额为 90,可冻结为 0。
  • 用户礼物数量更新为 15,预增加为 0。
  • Confirm 过程发生任何异常,均进入 Cancel 阶段。
  • Confirm 过程执行成功,则该事务结束。
你再不知道分布式事务,我就真的生气了

 

TCC 的 Cancel 阶段:

  • 修改订单状态为已取消。
  • 更新用户余额回 100。
  • 更新用户礼物数量为 5。

 

你再不知道分布式事务,我就真的生气了

 

TCC 方案让应用可以自定义数据库操作的粒度,降低了锁冲突,可以提升性能。

但是也有以下缺点:

  • 应用侵入性强,Try、Confirm、Cancel 三个阶段都需要业务逻辑实现。
  • 需要根据网络、系统故障等不同失败原因实现不同的回滚策略,实现难度大,一般借助 TCC 开源框架,ByteTCC,TCC-transaction,Himly。

本地消息表

eBay 最初提出本地消息表这个方案,来解决分布式事务问题。业界目前使用这种方案是比较多的,它的核心思想就是将分布式事务拆分成本地事务进行处理。

可以看一下基本的实现流程图:

你再不知道分布式事务,我就真的生气了

 

基本实现思路如下。

发送消息方:

  • 需要有一个消息表,记录着消息状态相关信息。
  • 业务数据和消息表在同一个数据库,即要保证它俩在同一个本地事务。
  • 在本地事务中处理完业务数据和写消息表操作后,通过写消息到 MQ 消息队列。
  • 消息会发到消息消费方,如果发送失败,即进行重试。

消息消费方:

  • 处理消息队列中的消息,完成自己的业务逻辑。
  • 此时如果本地事务处理成功,则表明已经处理成功了。
  • 如果本地事务处理失败,那么就会重试执行。
  • 如果是业务上面的失败,给消息生产方发送一个业务补偿消息,通知进行回滚等操作。

生产方和消费方定时扫描本地消息表,把还没处理完成的消息或者失败的消息再发送一遍。如果有靠谱的自动对账补账逻辑,这种方案还是非常实用的。

优缺点:该方案的优点是很好地解决了分布式事务问题,实现了最终一致性。缺点是消息表会耦合到业务系统中。

最大努力通知

什么是最大通知?最大努力通知也是一种分布式事务解决方案。

你再不知道分布式事务,我就真的生气了

 

下面是企业网银转账一个例子:

  • 企业网银系统调用前置接口,跳转到转账页。
  • 企业网银调用转账系统接口。
  • 转账系统完成转账处理,向企业网银系统发起转账结果通知,若通知失败,则转账系统按策略进行重复通知。
  • 企业网银系统未接收到通知,会主动调用转账系统的接口查询转账结果。
  • 转账系统会遇到退汇等情况,会定时回来对账。

最大努力通知方案的目标,就是发起通知方通过一定的机制,最大努力将业务处理结果通知到接收方。

最大努力通知实现机制如下:

你再不知道分布式事务,我就真的生气了

 

最大努力通知解决方案:要实现最大努力通知,可以采用 MQ 的 ACK 机制。

你再不知道分布式事务,我就真的生气了

 

方案如下:

  • 发起方将通知发给 MQ。
  • 接收通知方监听 MQ 消息。
  • 接收通知方收到消息后,处理完业务,回应 ACK。
  • 接收通知方若没有回应 ACK,则 MQ 会间隔 1min、5min、10min 等重复通知。
  • 接受通知方可用消息校对接口,保证消息的一致性。

转账业务实现流程图:

你再不知道分布式事务,我就真的生气了

 

交互流程如下:

  • 用户请求转账系统进行转账。
  • 转账系统完成转账,将转账结果发给 MQ。
  • 企业网银系统监听 MQ,接收转账结果通知,如果接收不到消息,MQ 会重复发送通知。接收到转账结果,更新转账状态。
  • 企业网银系统也可以主动查询转账系统的转账结果查询接口,更新转账状态。

Saga 事务

Saga 事务由普林斯顿大学的 Hector Garcia-Molina 和 Kenneth Salem 提出。

其核心思想是将长事务拆分为多个本地短事务,由 Saga 事务协调器协调,如果正常结束那就正常完成,如果某个步骤失败,则根据相反顺序一次调用补偿操作。

Saga 简介:

  • Saga = Long Live Transaction(LLT,长活事务)。
  • LLT = T1 + T2 + T3 + ... + Ti(Ti 为本地短事务)。
  • 每个本地事务 Ti 有对应的补偿 Ci。

Saga 的执行顺序:

  • 正常情况:T1 T2 T3 ... Tn
  • 异常情况:T1 T2 T3 C3 C2 C1

Saga 两种恢复策略:

  • 向后恢复,如果任意本地子事务失败,补偿已完成的事务。如异常情况的执行顺序 T1 T2 Ti Ci C2 C1。
  • 向前恢复,即重试失败的事务,假设最后每个子事务都会成功。执行顺序:T1,T2,...,Tj(失败),Tj(重试),...,Tn。

举个例子,假设用户下订单,花 10 块钱购买了 10 多玫瑰,则有:

  • T1=下订单
  • T2=扣用户 10 块钱
  • T3=用户加 10 朵玫瑰
  • T4=库存减 10 朵玫瑰
  • C1=取消订单
  • C2=给用户加 10 块钱
  • C3=用户减 10 朵玫瑰
  • C4=库存加 10 朵玫瑰
你再不知道分布式事务,我就真的生气了

 

假设事务执行到 T4 发生异常回滚,在 C4 的要把玫瑰给库存加回去的时候,发现用户的玫瑰都用掉了,这是 Saga 的一个缺点,由于事务之间没有隔离性导致的问题。

可以通过以下方案解决这个问题:

  • 在应用层面加入逻辑锁的逻辑。
  • Session层面隔离来保证串行化操作。
  • 业务层面采用预先冻结资金的方式隔离此部分资金。
  • 业务操作过程中通过及时读取当前状态的方式获取更新。

参考与感谢:

  • 干货 | 一篇文章带你学习分布式事务
  • 再有人问你分布式事务,把这篇扔给他
  • 聊聊分布式事务,再说说解决方案
  • MySQL事务实现原理
  • 详细分析 MySQL 事务日志(redo log 和 undo log)
  • 《Saga 分布式事务解决⽅案与实践》
  • 分布式事务解决方案之最大努力通知


Tags:分布式事务   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Seata 是 Simple Extensible Autonomous Transaction Architecture 的简写,由 feascar 改名而来。 Seata 是阿里开源的分布式事务框架,属于二阶段提交模式。...【详细内容】
2021-03-31  Tags: 分布式事务  点击:(405)  评论:(0)  加入收藏
分布式事务以及分布式锁是分布式中难点,分布式事务一篇文章可能写不完,我的习惯时从基本概念出发,一步一步开始介绍,前面会先梳理事务中一些基本概念,对基本概念十分清楚的话可以直接看"一致性讨论"以及后面的部分...【详细内容】
2021-02-25  Tags: 分布式事务  点击:(154)  评论:(0)  加入收藏
感谢朋友们一路以来的支持,让大家久等了。在这一个版本中,我们团队重构了整个项目,合理的划分功能模块,新增配置中心,调整底层存储结构,解决疑难bug,以及其他新功能的支持,也吸收了更多开源社区的优秀人才的加入。...【详细内容】
2020-09-29  Tags: 分布式事务  点击:(248)  评论:(0)  加入收藏
作者:人月神话,新浪博客同名简介:多年SOA规划建设,私有云PaaS平台架构设计经验,长期从事一线项目实践在微服务架构下,我们最容易遇到的一个问题就是分布式事务处理问题,当你微服务...【详细内容】
2020-08-18  Tags: 分布式事务  点击:(71)  评论:(0)  加入收藏
前言不知道你是否遇到过这样的情况,去小卖铺买东西,付了钱,但是店主因为处理了一些其他事,居然忘记你付了钱,又叫你重新付。又或者在网上购物明明已经扣款,但是却告诉我没有发生交...【详细内容】
2020-07-12  Tags: 分布式事务  点击:(64)  评论:(0)  加入收藏
事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元;事务的ACID特性事务应该具有4个属性:原子性、一致性、隔离性、持续性原子性(atomicity)。一个事务是...【详细内容】
2020-05-12  Tags: 分布式事务  点击:(158)  评论:(0)  加入收藏
最近看了几篇有关于分布式事务的博文,做了一下笔记,并总结出这篇文章。 图片来自 Pexels 数据库事务数据库事务(简称:事务),是数据库管理系统执行过程中的一个逻辑单位,由一个有...【详细内容】
2020-03-18  Tags: 分布式事务  点击:(46)  评论:(0)  加入收藏
在如今的分布式盛行的时代,分布式事务永远都是绕不开的一个话题,今天就谈谈分布式事务相关的一致性与实战解决方案。01 为什么需要分布式事务 由于近十年互联网的发展非常迅速...【详细内容】
2019-12-02  Tags: 分布式事务  点击:(98)  评论:(0)  加入收藏
腾讯计费平台部托管着公司90%以上的虚拟账户,如QB、Q点、包月服务、游戏的二级账户等,为了保证能顺畅支撑公司各大业务的实时在线交易,并且在各种灾难场景下数据是一致并且可用...【详细内容】
2019-11-12  Tags: 分布式事务  点击:(111)  评论:(0)  加入收藏
一个复杂的系统往往都是从一个小而简的系统发展衍化而来,为了满足日益增长的业务需求,不断的增加系统的复杂度,从单体架构逐步发展为分布式架构,而分布式系统架构的设计主要关注...【详细内容】
2019-10-25  Tags: 分布式事务  点击:(63)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(5)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(9)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(21)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(17)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(16)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条