您当前的位置:首页 > 电脑百科 > 数据库 > MYSQL

搭建MySQL主从实现Django读写分离

时间:2021-08-03 14:10:04  来源:  作者:编程菌zfn

一、MySQL主从搭建

主从配置原理:

  1. 主库写日志到 BinLog
  2. 从库开个 IO 线程读取主库的 BinLog 日志,并写入 RelayLog
  3. 再开一个 SQL 线程,读 RelayLog 日志,回放到从库中

主从配置流程:

  1. master 会将变动记录到二进制日志里面;
  2. master 有一个 I/O 线程将二进制日志发送到 slave;
  3. salve 有一个 I/O 线程把 master 发送的二进制写入到 relay 日志里面;
  4. slave 有一个 SQL 线程,按照 relay 日志处理 slave 的数据;

操作步骤

使用 Docker 模拟两台 MySQL 数据库机器

1、修改配置文件:

主库的配置文件

[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000

server-id=100  		# 主库,同一局域网内注意要唯一
log-bin=mysql-bin	# 开启二进制日志功能,可以随便取名字(二进制文件名)

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

从库的配置文件

[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000

server-id=101 					# 从库设置server_id,注意要唯一
log-bin=mysql-slave-bin			# 开启二进制日志功能,定义名字,以备Slave作为其它Slave的Master时使用
relay_log=edu-mysql-relay-bin	# relay_log配置中继日志

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

启动docker

#启动主库容器(挂载外部目录,端口映射成33307,密码设置为123456)
docker run  -di -v /home/mysql/data/:/var/lib/mysql -v /home/mysql/conf.d:/etc/mysql/conf.d -v /home/mysql/my.cnf:/etc/mysql/my.cnf -p 33307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
                    
#启动从库容器(挂载外部目录,端口映射成33306,密码设置为123456)
docker run  -di -v /home/mysql2/data/:/var/lib/mysql -v /home/mysql2/conf.d:/etc/mysql/conf.d -v /home/mysql2/my.cnf:/etc/mysql/my.cnf -p 33306:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

2、由于主库和从库都需要对日志文件进行操作,这就需要另一个用户来操作,所以主从都需要创建一个用户

# 连接库
mysql -h 192.168.88.131 -P 33307 -u root -p123456

# 在主库创建用户并授权
# 创建test用户
create user 'test' identified by '123';
# 授权用户
grant all privileges on *.* to 'test' ;
# 刷新权限
flush privileges;

3、连接从库配置

# 连接从库
mysql -h 192.168.88.131 -P 33306 -u root -p123456

# 命令如下
change master to master_host='192.168.88.131',master_port=33307,master_user='test',master_password='123',master_log_file='mysql-bin.000003',master_log_pos=0;

# 启用从库
start slave;
# 停止从库
stop slave;
# 查看从库状态
show slave statusG;
# 这两个yes表示匹配成功
    -Slave_IO_Running: Yes
    -Slave_SQL_Running: Yes


# 配置详解
change master to 
master_host='MySQL主服务器IP地址', 
master_user='之前在MySQL主服务器上面创建的用户名', 
master_password='之前创建的密码', 
master_log_file='MySQL主服务器状态中的二进制文件名', 		# show master status; 查看
master_log_pos='MySQL主服务器状态中的position值';		# show master status; 查看

二、Django实现读写分离

首先主从搭建好了后:

在 setting 中配置

DATABASES = {
    # 主库
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'test',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '192.168.88.131',
        'PORT': 33307,
    },
    # 从库
    'slave': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'test',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '192.168.88.131',
        'PORT': 33306,
    },
}

在数据库迁移的时候,可以指定把那个App的表结构迁移到那个库

Python manage.py migrate app01 --database=default

手动指定

# 去default库写——>主库
content = models.User.objects.using('default').create(name='小杨', age='20')

# 去slave库查——>从库
content = models.User.objects.using('slave').all().first()

自动指定

1、新建一个py文件

db_router.py

class Router:
    def db_for_read(self, model, **hints):
        return 'slave'

    def db_for_write(self, mode, **hints):
        return 'default'
    
    
# 更细粒度
class Router1:
    def db_for_read(self, model, **hints):
        if model._meta.model_name == 'user':	# 只有User表才会去从库读
            return 'slave'
        else:
            return 'default'

    def db_for_write(self, model, **hints):
        return 'default'

2、在 setting 中注册

DATABASE_ROUTERS = ['db_router.Router',]
# 以后只要是写操作就会用default,只要是读操作自动去slave


Tags:读写分离   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
1.MySQL读写分离概念:MYSQL读写分离的原理其实就是让Master数据库处理事务性增、删除、修改、更新操作(CREATE、INSERT、UPDATE、DELETE),而让Slave数据库处理SELECT操作,MYSQL读...【详细内容】
2021-10-11  Tags: 读写分离  点击:(32)  评论:(0)  加入收藏
最近学习了阿里资深技术专家李运华的架构设计关于读写分离的教程,颇有收获,总结一下。1 读写分离概述 基本架构图: 2 适用场景 读写分离不是银弹,并不是一有性能问题就上读写分...【详细内容】
2021-08-19  Tags: 读写分离  点击:(116)  评论:(0)  加入收藏
一、MySQL主从搭建主从配置原理: 主库写日志到 BinLog 从库开个 IO 线程读取主库的 BinLog 日志,并写入 RelayLog 再开一个 SQL 线程,读 RelayLog 日志,回放到从库中主从配置流...【详细内容】
2021-08-03  Tags: 读写分离  点击:(46)  评论:(0)  加入收藏
大型网站为了软解大量的并发访问,除了在网站实现分布式负载均衡,远远不够。到了数据业务层、数据访问层,如果还是传统的数据结构,或者只是单单靠一台服务器来处理如此多的数据库...【详细内容】
2021-06-09  Tags: 读写分离  点击:(77)  评论:(0)  加入收藏
本文通过docker快速搭建mysql主从数据库,并用spring boot测试读写分离的实现,这是一个实验环境,便于开发人员开发业务功能代码。一、用docker进行msyql主从环境搭建在搭建环境...【详细内容】
2021-01-14  Tags: 读写分离  点击:(193)  评论:(0)  加入收藏
MySQL-Proxy简介mysql-proxy是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server。它使用mysql协议,任何使用mysql-client的上游无...【详细内容】
2020-06-20  Tags: 读写分离  点击:(69)  评论:(0)  加入收藏
ProxySql是mysql的一款中间件产品,是灵活强大的mysql代理层,可以实现读写分离,支持query路由功能,支持动态指定某个sql进行缓存,支持动态加载配置。故障切换和一些sql过滤功能...【详细内容】
2020-05-13  Tags: 读写分离  点击:(150)  评论:(0)  加入收藏
01 摘要传统的MySql读写分离方案是通过在代码中根据SQL语句的类型动态切换数据源来实现的,那么有没有什么中间件可以自动实现读写分离呢?小米开源的数据库中间件Gaea就可以实...【详细内容】
2020-03-16  Tags: 读写分离  点击:(109)  评论:(0)  加入收藏
高并发这个阶段,肯定是需要做读写分离的,啥意思?因为实际上大部分的互联网公司,一些网站,或者是 app,其实都是读多写少。所以针对这个情况,就是写一个主库,但是主库挂多个从库,然后从...【详细内容】
2019-12-26  Tags: 读写分离  点击:(97)  评论:(0)  加入收藏
各位志同道合的朋友们大家好,我是一个一直在一线互联网踩坑十余年的编码爱好者,现在将我们的各种经验以及架构实战分享出来,如果大家喜欢,就关注我,一起将技术学深学透,我会每一...【详细内容】
2019-12-24  Tags: 读写分离  点击:(113)  评论:(0)  加入收藏
▌简易百科推荐
作者:雷文霆 爱可生华东交付服务部 DBA 成员,主要负责Mysql故障处理及相关技术支持。爱好看书,电影。座右铭,每一个不曾起舞的日子,都是对生命的辜负。 本文来源:原创投稿 *爱可生...【详细内容】
2021-12-24  爱可生    Tags:MySQL   点击:(6)  评论:(0)  加入收藏
生成间隙(gap)锁、临键(next-key)锁的前提条件 是在 RR 隔离级别下。有关Mysql记录锁、间隙(gap)锁、临键锁(next-key)锁的一些理论知识之前有写过,详细内容可以看这篇文章...【详细内容】
2021-12-14  python数据分析    Tags:MySQL记录锁   点击:(17)  评论:(0)  加入收藏
binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二...【详细内容】
2021-12-14  linux上的码农    Tags:mysql   点击:(13)  评论:(0)  加入收藏
为查询优化你的查询 大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候,这些查...【详细内容】
2021-12-09  元宇宙iwemeta    Tags:mysql   点击:(15)  评论:(0)  加入收藏
测试的目的和原因,公司有很多程序员,每个程序员对数据库和表结构都有自己的理解。而且每个程序员的理解往往是以效率考虑。既然都是为了效率考虑,那么我就来测试一下究竟哪种使...【详细内容】
2021-12-08  吴彬的分享    Tags:Mysql数据库   点击:(14)  评论:(0)  加入收藏
当你们考虑项目并发的时候,我在部署环境,当你们在纠结使用ArrayList还是LinkedArrayList的时候,我还是在部署环境。所以啊,技术不止境,我在部环境。今天这篇文章缕一下在同一台服...【详细内容】
2021-12-08  秃头码哥    Tags:MySQL数据库   点击:(16)  评论:(0)  加入收藏
对于数据分析来说,MySQL使用最多的是查询,比如对数据进行排序、分组、去重、汇总及字符串匹配等,如果查询的数据涉及多个表,还需要要对表进行连接,本文就来说说MySQL中常用的查询...【详细内容】
2021-12-06  笨鸟学数据分析    Tags:MySQL   点击:(19)  评论:(0)  加入收藏
在学习SQL语句之前,首先需要区分几个概念,我们常说的数据库是指数据库软件,例如MySQL、Oracle、SQL Server等,而本文提到的数据库是指数据库软件中的一个个用于存储数据的容器。...【详细内容】
2021-11-24  笨鸟学数据分析    Tags:SQL语句   点击:(23)  评论:(0)  加入收藏
概述以前参加过一个库存系统,由于其业务复杂性,搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。比如说,有定时任务域xx.cron,和SystemA域...【详细内容】
2021-11-05  Java云海    Tags:分布式锁   点击:(31)  评论:(0)  加入收藏
MySQL的进阶查询 一、 按关键字排序 使用ORDERBY语句来实现排序排序可针对一个或多个字段ASC:升序,默认排序方式 【升序是从小到大】DESC:降序 【降序是从大到小】ORDER BY的...【详细内容】
2021-11-05  Java热点    Tags:SQL语句   点击:(27)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条