您当前的位置:首页 > 电脑百科 > 数据库 > MYSQL

架构师必备:MySQL主从同步原理和应用

时间:2022-06-24 09:32:47  来源:  作者:Java烘焙师

日常工作中,MySQL数据库是必不可少的存储,其中读写分离基本是标配,而这背后需要MySQL开启主从同步,形成一主一从、或一主多从的架构,掌握主从同步的原理和知道如何实际应用,是一个架构师的必备技能。楼主将在本文做总结,看这一篇就够了。

1、主从同步原理

主从同步架构图(异步同步)

这是最常见的主从同步架构。

架构师必备:MySQL主从同步原理和应用

 

主从同步流程(异步同步)

  1. 主库把数据变更写入binlog文件
  2. 从库I/O线程发起dump请求
  3. 主库I/O线程推送binlog至从库
  4. 从库I/O线程写入本地的relay log文件(与binlog格式一样)
  5. 从库SQL线程读取relay log并重新串行执行一遍,得到与主库相同的数据

什么是binlog?

主库每提交一次事务,都会把数据变更,记录到一个二进制文件中,这个二进制文件就叫binlog。需注意:只有写操作才会记录至binlog,只读操作是不会的(如select、show语句)。

binlog的3种格式:

  • statement格式:binlog记录的是实际执行的sql语句
  • row格式:binlog记录的是变化前后的数据(涉及所有列),形如update table_a set col1=value1, col2=value2 ... where col1=condition1 and col2=condition2 ...
  • mixed格式:默认选择statement格式,只在需要时改用row格式

binlog格式对比

  • statement级别:优点是binlog文件小,缺点是主库的慢sql也会在从库上再出现一次,一些依赖环境或上下文的函数可能会产生不一致的数据
  • row级别:缺点是文件大(一条语句如果涉及多行,会放大n倍),优点是无上述慢sql问题,不依赖环境或上下文
  • 为了获取前后变化数据,canal建议使用row级别

主从同步的2种方式

  • 异步同步:默认方式,可能会导致主从切换时数据丢失。因为主库是否commit与主从同步流程无关,也不感知。
  • 半同步:高可用方案,较新mysql版本支持,需要至少1个从库(默认1,具体数量可指定)对写入relay log进行ack,主库才会commit并把结果返回client。

主从同步流程(半同步)

  1. 从库在连接主库时,表明自己支持半同步复制
  2. 主库也需支持半同步复制,主库commit事务前会阻塞等待至少一个从库写入relay log的ack,直至超时
  3. 如果阻塞等待超时,则主库临时切换回异步同步模式,当至少一个从库的半同步追上进度时,主库再切换至半同步模式

半同步适用场景

高可用备份:半同步复制,可确保从库与主库的一致性,当主库发生故障时,切换到从库不会丢失数据。为了保证稳定性(不因半同步慢而拖累主库),一般不承担业务流量、尽可能快地ack,只用于同步备份。

2、主从同步应用场景

普通场景:线上从库异步同步,高可用备份半同步

架构师必备:MySQL主从同步原理和应用

 

对一致性要求较高的大数据取数需求

大数据取数可能导致从库cpu使用率飙升、ack变慢,可设置半同步所需ack数量为1,正常情况下高可用备份能很快ack,于是主库会commit并返回,而大数据取数复制慢一些也无所谓。这样就不会因为大数据取数ack慢而影响主库和业务了。

架构师必备:MySQL主从同步原理和应用

 

参考:mysql官方文档



Tags:主从同步   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
一次MySQL主从同步异常,扒个底朝天都没排查出来……
一、现象最近项目的测试环境遇到一个主备同步的问题:备库的同步线程停止了,无法同步主库的数据更改。备库报错如下:从库同步报错信息完整的错误信息:Relay log read failure: Co...【详细内容】
2023-06-08  Search: 主从同步  点击:(349)  评论:(0)  加入收藏
架构师必备:MySQL主从同步原理和应用
日常工作中,MySQL数据库是必不可少的存储,其中读写分离基本是标配,而这背后需要MySQL开启主从同步,形成一主一从、或一主多从的架构,掌握主从同步的原理和知道如何实际应用,是一个...【详细内容】
2022-06-24  Search: 主从同步  点击:(553)  评论:(0)  加入收藏
记一次生产环境Redis主从同步异常事故
故障生产环境zabbix突然告警,redis主从服务器的CPU使用率过高。通过堡垒机连接生产服务器查看具体情况。发现占用CPU较高的是redis进程。遂进一步查看redis实例的日志,发现进...【详细内容】
2022-04-27  Search: 主从同步  点击:(1039)  评论:(0)  加入收藏
Redis主从同步
2.8版本以前同步(snyc)执行步骤: 从服务器发送snyc给主服务器 主服务器收到命令后,开始执行bgsave操作,将生成RDB文件,将生成的RDB文件同步给从服务。并使用一个缓冲区记录从现...【详细内容】
2022-04-24  Search: 主从同步  点击:(715)  评论:(0)  加入收藏
MySQL主从同步出现的诡异HA_ERR_KEY_NOT_FOUND故障
一、问题现象背景: 生产环境出现主从同步的故障, 出现的错误为HA_ERR_KEY_NOT_FOUND, 错误码为1032,检查主从数据没有出现缺失, 表结构和数据都完全一致, 经过排查问题是在于主从...【详细内容】
2022-04-20  Search: 主从同步  点击:(768)  评论:(0)  加入收藏
mysql搭建及主从同步+读写分离
从库生成两个线程,一个I/O线程,一个SQL线程;i/o线程去请求主库 的binlog,并将得到的binlog日志写到relay log(中继日志) 文件中;主库会生成一个 log dump 线程,用来给从库 i/o线程传...【详细内容】
2022-04-08  Search: 主从同步  点击:(322)  评论:(0)  加入收藏
redis主从同步参数repl_backlog_size测算
目录 一、背景 二、步骤 0.理论支持 1、获取数据 2、结果 3、分析数据并评估大小 三、关于repl-backlog-size 一、背景 repl-backlog-size控制这个环形缓冲区. ​ 主从断...【详细内容】
2021-11-05  Search: 主从同步  点击:(1299)  评论:(0)  加入收藏
mysql数据库的主从同步,实现读写分离
大型网站为了软解大量的并发访问,除了在网站实现分布式负载均衡,远远不够。到了数据业务层、数据访问层,如果还是传统的数据结构,或者只是单单靠一台服务器来处理如此多的数据库...【详细内容】
2021-06-09  Search: 主从同步  点击:(286)  评论:(0)  加入收藏
监控mysql主从同步状态是否异常
标签:监控mysql主从同步状态是否异常阶段1:开发一个守护进程脚本每30秒实现检测一次。阶段2:如果同步出现如下错误号(1158,1159,1008,1007,1062),请跳过错误阶段3:请使用数组技术...【详细内容】
2021-05-19  Search: 主从同步  点击:(395)  评论:(0)  加入收藏
生产环境下shell脚本:Mysql数据库备份和Mysql主从同步监控
在企业的Liunx运维中,经常需要应用到各种shell脚本,比如Mysql数据库备份Shell脚本和Mysql主从同步监控Shell脚本等等常用企业运维shell脚本。。下面分享两例,希望对大家有帮助...【详细内容】
2020-12-18  Search: 主从同步  点击:(397)  评论:(0)  加入收藏
▌简易百科推荐
MySQL 核心模块揭秘
server 层会创建一个 SAVEPOINT 对象,用于存放 savepoint 信息。binlog 会把 binlog offset 写入 server 层为它分配的一块 8 字节的内存里。 InnoDB 会维护自己的 savepoint...【详细内容】
2024-04-03  爱可生开源社区    Tags:MySQL   点击:(10)  评论:(0)  加入收藏
MySQL 核心模块揭秘,你看明白了吗?
为了提升分配 undo 段的效率,事务提交过程中,InnoDB 会缓存一些 undo 段。只要同时满足两个条件,insert undo 段或 update undo 段就能被缓存。1. 关于缓存 undo 段为了提升分...【详细内容】
2024-03-27  爱可生开源社区  微信公众号  Tags:MySQL   点击:(18)  评论:(0)  加入收藏
MySQL:BUG导致DDL语句无谓的索引重建
对于5.7.23之前的版本在评估类似DDL操作的时候需要谨慎,可能评估为瞬间操作,但是实际上线的时候跑了很久,这个就容易导致超过维护窗口,甚至更大的故障。一、问题模拟使用5.7.22...【详细内容】
2024-03-26  MySQL学习  微信公众号  Tags:MySQL   点击:(14)  评论:(0)  加入收藏
从 MySQL 到 ByteHouse,抖音精准推荐存储架构重构解读
ByteHouse是一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,可以通过增加服务器数量来提升处理能力。本文将从兴趣圈层...【详细内容】
2024-03-22  字节跳动技术团队    Tags:ByteHouse   点击:(29)  评论:(0)  加入收藏
MySQL自增主键一定是连续的吗?
测试环境:MySQL版本:8.0数据库表:T (主键id,唯一索引c,普通字段d)如果你的业务设计依赖于自增主键的连续性,这个设计假设自增主键是连续的。但实际上,这样的假设是错的,因为自增主键不...【详细内容】
2024-03-10    dbaplus社群  Tags:MySQL   点击:(15)  评论:(0)  加入收藏
准线上事故之MySQL优化器索引选错
1 背景最近组里来了许多新的小伙伴,大家在一起聊聊技术,有小兄弟提到了MySQL的优化器的内部策略,想起了之前在公司出现的一个线上问题,今天借着这个机会,在这里分享下过程和结论...【详细内容】
2024-03-07  转转技术  微信公众号  Tags:MySQL   点击:(33)  评论:(0)  加入收藏
MySQL数据恢复,你会吗?
今天分享一下binlog2sql,它是一款比较常用的数据恢复工具,可以通过它从MySQL binlog解析出你要的SQL,并根据不同选项,可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。主要...【详细内容】
2024-02-22  数据库干货铺  微信公众号  Tags:MySQL   点击:(54)  评论:(0)  加入收藏
如何在MySQL中实现数据的版本管理和回滚操作?
实现数据的版本管理和回滚操作在MySQL中可以通过以下几种方式实现,包括使用事务、备份恢复、日志和版本控制工具等。下面将详细介绍这些方法。1.使用事务:MySQL支持事务操作,可...【详细内容】
2024-02-20  编程技术汇    Tags:MySQL   点击:(54)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  数据库干货铺  微信公众号  Tags:MySQL   点击:(55)  评论:(0)  加入收藏
mysql索引失效的场景
MySQL中索引失效是指数据库查询时无法有效利用索引,这可能导致查询性能显著下降。以下是一些常见的MySQL索引失效的场景:1.使用非前导列进行查询: 假设有一个复合索引 (A, B)。...【详细内容】
2024-01-15  小王爱编程  今日头条  Tags:mysql索引   点击:(88)  评论:(0)  加入收藏
站内最新
站内热门
站内头条