您当前的位置:首页 > 电脑百科 > 数据库 > MYSQL

MySQL GTID主备切换协议

时间:2022-02-28 10:02:18  来源:  作者:DifferentJava
MySQL GTID主备切换协议

 

一主多从的设置主要用来读写分离,主库负责所有的写入和一部分读,其他的读请求由从库承担。

其中A'和A还互为主备库,当主库A发生故障时,A'会成为新的主库,此时从库B和C需要改到同步A'。一般这种都会有专门的系统完成,我们可以看一下这种专门的系统大体有哪几种方式完成主备切换。

主备切换的方式有几种?

  • 基于位点的主备切换
  • 基于GTID的主备切换

如何设置节点B成为A'的主库?

需要在节点B上执行以下命令:

-- master_host:主库A'的IP
-- master_port:主库A'的端口
-- master_user:用户名
-- master_password:密码
-- master_log_file:从库需要从哪个文件开始同步
-- master_log_pos:从库需要从日志文件的哪个偏移量开始同步
change master to master_host=$host_name , master_port = $port, master_user = $user_name, master_password = $password, master_log_file = $master_log_name, master_log_pos = $master_log_pos;

节点B在发生切换前是A的从库,因此本地记录的也是A的位点,但是相同的日志,在A和A'的位点是不同的。因此在切换前,需要找到同步位点。

如何找同步位点?

  • 等待节点A'把中转日志全部同步完成
  • 在A'上执行show master status,得到A'上最新的File和Position
  • 取主库A故障的时刻T
  • MySQLbinlog工具解析A'的File,得到T时刻的位点
mysqlbinlog file --stop-datetime=T --start-dateTime=T
MySQL GTID主备切换协议

 

上图中,end_log_pos后面的123表示的A'实例在故障时刻T写入新的binlog的位置,此位置用在节点B的的change master指令中。

基于位点主备切换的弊端?

无法精准的找出同步位置,在上面的找的位置我们是不准确的,假设有一种情况,主库A在执行一条insert语句以后插入了一行数据R,并且已经将binlog传给了A'和B,此时A(T时刻)发生宕机,此时系统的状态如下:

  • 从库B,由于同步了binlog,R这一行会被插入
  • 在A'上,R这一行也会存在,但是日志是写在T时刻以后

此时如果们在库B上执行change master命令,从T时刻的position开始同步,就会把插入R这一行的binlog再次同步到从库执行,此时从库B的同步线程会因主键冲突而停止同步。

如何暴力解决上述错误?

  • 主动跳过一个事务
  • 主动跳过指定错误

如何主动跳过一个事务?

-- 每次遇到错误都要执行一次sql_slave_skip_counter
set global sql_slave_skip_counter=1;
start slave;

如何跳过指定错误?

mysql主要有很多错误类型,如下两种:

  • 1062:插入数据时唯一键冲突
  • 1032:删除数据时找不到行

我们可以在mysql配置文件中添加以下内容:

slave_skip_errors=1062,1032

或者在启动的时候增加启动参数--slave_skip_errors=1062,1032。

等主备同步关系建立完成以后并且稳定执行一段时间,我们再还原参数,避免后续的问题。

什么是GTID?

GTID(Global Transaction Identifier)全称是全局事务ID,是一个事务在提交的时候生成的,是这个事务唯一的表示,格式如下:

GTID=server_uuid:gno
  • server_uuid:实例第一次启动时自动生成,全局唯一的值
  • gno:初始值为1,每次提交事务的时候分配给这个事务,并加1

如何启动GTID?

# 在配置文件中增加下面两行参数
gtid_mode = on
enforce_gtid_consistency = on
-- 查看GTID相关参数
show variables like "%gtid%";
MySQL GTID主备切换协议

 

GTID的生成方式?

GTID有两种生成方式,使用哪种方式取决于Session变量gtid_next的值:

  • gtid_next=automatic:使用默认值,mysql会将server_uuid:gno分配给此事务
  • gtid_next是指定的值:比如通过set gtid_nex='current_gtid'指定

每个MySQL实例都维护了一个GTID集合,用来对应这个实例执行过的所有事务。

GTID automatic

gtid使用默认值时:

  1. 记录binlog的时候,会先记录一行set @@session.gtid_next='server_uuid:gno'
  2. 将改GTID加入本实例的GTID集合
MySQL GTID主备切换协议

 

GTID current_gtid

gtid使用指定值时:

  • 如果current_gtid已经存在于实例的GTID集合,该事务会被忽略
  • 如果current_gtid不存在于实例的GTID集合,就将current_gtid分配给接下来要执行的事务,也就是说系统不需要生成新的GTID

一个current_gtid只能给一个事务使用。如果要执行下一个事务必须使用另一个唯一的gtid或者变成automatic。

基于GTID的主备切换

-- master_host:主库A'的IP
-- master_port:主库A'的端口
-- master_user:用户名
-- master_password:密码
change master to master_host=$host_name , master_port = $port, master_user = $user_name, master_password = $password, master_auto_position=1

master_auto_position=1表示主备关系使用的是GTID协议,假设当前时刻下,节点A'的GTID集合是set_a,实例B的GTID集合是set_b,我们在B上执行start slave指令以后,节点B对binlog的处理逻辑如下:

  1. 节点B指定主库A',基于主备协议建立连接
  2. 节点B把set_b发送给主库A'
  3. 节点A'计算出set_b和set_a的差集(在set_a但不存在与set_b的GTID集合),判断A'是否包含了这个差集所需要的所有binlog事务:如果不包含,表示A'已经把实例B需要的binlog删掉了,直接返回错误;如果确认包含,A'从自己的binlog文件中找出第一个不存在set_b的事务发送给B
  4. 之后就从这个事务开始,往后读取文件,按顺序取binlog发送给B执行


Tags:MySQL GTID   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
MySQL GTID主备切换协议
一主多从的设置主要用来读写分离,主库负责所有的写入和一部分读,其他的读请求由从库承担。其中A'和A还互为主备库,当主库A发生故障时,A'会成为新的主库,此时从库B和C需...【详细内容】
2022-02-28  Search: MySQL GTID  点击:(295)  评论:(0)  加入收藏
▌简易百科推荐
MySQL 核心模块揭秘
server 层会创建一个 SAVEPOINT 对象,用于存放 savepoint 信息。binlog 会把 binlog offset 写入 server 层为它分配的一块 8 字节的内存里。 InnoDB 会维护自己的 savepoint...【详细内容】
2024-04-03  爱可生开源社区    Tags:MySQL   点击:(7)  评论:(0)  加入收藏
MySQL 核心模块揭秘,你看明白了吗?
为了提升分配 undo 段的效率,事务提交过程中,InnoDB 会缓存一些 undo 段。只要同时满足两个条件,insert undo 段或 update undo 段就能被缓存。1. 关于缓存 undo 段为了提升分...【详细内容】
2024-03-27  爱可生开源社区  微信公众号  Tags:MySQL   点击:(15)  评论:(0)  加入收藏
MySQL:BUG导致DDL语句无谓的索引重建
对于5.7.23之前的版本在评估类似DDL操作的时候需要谨慎,可能评估为瞬间操作,但是实际上线的时候跑了很久,这个就容易导致超过维护窗口,甚至更大的故障。一、问题模拟使用5.7.22...【详细内容】
2024-03-26  MySQL学习  微信公众号  Tags:MySQL   点击:(13)  评论:(0)  加入收藏
从 MySQL 到 ByteHouse,抖音精准推荐存储架构重构解读
ByteHouse是一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,可以通过增加服务器数量来提升处理能力。本文将从兴趣圈层...【详细内容】
2024-03-22  字节跳动技术团队    Tags:ByteHouse   点击:(28)  评论:(0)  加入收藏
MySQL自增主键一定是连续的吗?
测试环境:MySQL版本:8.0数据库表:T (主键id,唯一索引c,普通字段d)如果你的业务设计依赖于自增主键的连续性,这个设计假设自增主键是连续的。但实际上,这样的假设是错的,因为自增主键不...【详细内容】
2024-03-10    dbaplus社群  Tags:MySQL   点击:(13)  评论:(0)  加入收藏
准线上事故之MySQL优化器索引选错
1 背景最近组里来了许多新的小伙伴,大家在一起聊聊技术,有小兄弟提到了MySQL的优化器的内部策略,想起了之前在公司出现的一个线上问题,今天借着这个机会,在这里分享下过程和结论...【详细内容】
2024-03-07  转转技术  微信公众号  Tags:MySQL   点击:(31)  评论:(0)  加入收藏
MySQL数据恢复,你会吗?
今天分享一下binlog2sql,它是一款比较常用的数据恢复工具,可以通过它从MySQL binlog解析出你要的SQL,并根据不同选项,可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。主要...【详细内容】
2024-02-22  数据库干货铺  微信公众号  Tags:MySQL   点击:(53)  评论:(0)  加入收藏
如何在MySQL中实现数据的版本管理和回滚操作?
实现数据的版本管理和回滚操作在MySQL中可以通过以下几种方式实现,包括使用事务、备份恢复、日志和版本控制工具等。下面将详细介绍这些方法。1.使用事务:MySQL支持事务操作,可...【详细内容】
2024-02-20  编程技术汇    Tags:MySQL   点击:(54)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  数据库干货铺  微信公众号  Tags:MySQL   点击:(55)  评论:(0)  加入收藏
mysql索引失效的场景
MySQL中索引失效是指数据库查询时无法有效利用索引,这可能导致查询性能显著下降。以下是一些常见的MySQL索引失效的场景:1.使用非前导列进行查询: 假设有一个复合索引 (A, B)。...【详细内容】
2024-01-15  小王爱编程  今日头条  Tags:mysql索引   点击:(87)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条