您当前的位置:首页 > 电脑百科 > 软件技术 > 操作系统 > linux

CentOS7压力测试MGR

时间:2019-09-18 09:25:51  来源:  作者:

最近在规划centos7版本中的MySQL测试情况,于是找了公司内部的虚拟机来做下模拟测试。

关于MGR自然不用花太多的时间来重复车轱辘话,安装和部署始终是我们学习MGR的第一步,可以参考一些建议和捷径。

牛刀小试:

个人的小项目mysql_mgr_test开放了

入门:

分分钟可以实现的手工搭建MGR步骤

MGR环境构建中需要考虑的细节(一)

MGR环境构建中需要考虑的细节(二)

运维系统数据库升级到MGR小结

单主到多主模式

MGR从单主模式向多主模式的迭代演进

当然这些内容中是缺少一些详细的性能测试数据的。

性能数据可以参考一篇对比测试的文章,总结的蛮好。

恒丰银行 I MySQL MGR与Galera性能测试买家秀

在本次测试中,我使用的是社区版5.7.27作为测试的对比,整个测试预期是按照如下的方式来做对比的。

CentOS7压力测试MGR

在实际部署时,CentOS7中还是存在一些差异,为了尽可能和运维平台衔接起来,所以整个部署是使用了平台化工具来做的。但是在启动GR的时候,报出了如下的错误,这个错误是之前没有碰到的,感觉有些奇怪,日志内容如下:

2019-09-16T18:01:48.867853+08:00 2 [ERROR] Plugin group_replication reported: 'There was an error when trying to access the server with user: mysql.session.Make sure the user is present in the server and that mysql_upgrade was run after a server update.'

2019-09-16T18:01:48.867948+08:00 2 [Note] Plugin group_replication reported: 'Requesting to leave the group despite of not being a member'

2019-09-16T18:01:48.867965+08:00 2 [ERROR] Plugin group_replication reported: 'Error calling group communication interfaces while trying to leave the group'

通过这段日志分析可以看出,提示是在GR的配置层面出现了问题。但是整个过程都是平台化管理的,而且我们另外一套MGR多活环境都上线半年左右了,不至于犯太低级的配置错误。

所以我的排查重点一个就是在版本的差异上,另外一个就是查看新版本是否有一些配置的差异,当然也排除了seed,白名单,流控等配置的因素。

在反复比对多次之后,发现还是得从日志里面的mysql.session开始排查。mysql.session和mysql.sys是5.7推出的两个内置用户,插件内部是使用mysql.session@localhost这样的用户来访问服务的。为什么这个环境里面没有mysql.session用户呢,追根溯源发现原来是在平台化脚本部署中,考虑到默认用户的风险,所以把匿名用户和不相关的用户都删除了,里面有一条SQL类似这样的处理方式:

delete from mysql.user where user!='xxxx';

按照这个逻辑就会删掉mysql.session和mysql.sys这两个内置用户。

难怪在错误日志里面会提示需要做mysql_upgrade来做特殊处理,其实都是一些细节上的差异。

跳过了这个坑,其他的事情就好办了,很快MGR集群都搭建好了。

CentOS7压力测试MGR

修复这个问题之后,就开始sysbench的部署了。

整个过程还是比较简单,基本就是下面的几个步骤:

yum -y install libtool

sudo ln -s /usr/local/mysql/bin/mysql_config /usr/bin/mysql_config

sh autogen.sh

./configure

make

sudo make install

我们做下数据配置。

>>create database sysbench_db;

>>create user sysbench_test identified by 'sysbench_test';

>>grant select,insert,update,delete on sysbench_db.* to sysbench_test;

>>grant create,drop,alter,index on sysbench_db.* to sysbench_test;

使用如下的方式来开启sysbench的压测准备

sysbench /usr/local/mysql_tools/sysbench-master/src/lua/oltp_read_write.lua --mysql-host=127.0.0.1 --mysql-port=4307 --mysql-user=sysbench_test --mysql-password=sysbench_test --mysql-db=sysbench_db --db-driver=mysql --tables=10 --table_size=10000000 --report-interval=10 --threads=128 --time=120 prepare

然后使用run的模式开启压测。

整个过程中,可以通过几个维度看出异步复制和MGR的差异。

同样的数据量,MGR消耗的时间大概在27分钟左右。

-rw-r----- 1 mysql mysql 1073862213 Sep 17 16:03 mysqlbin.000040

。。。

-rw-r----- 1 mysql mysql 1074726537 Sep 17 16:30 mysqlbin.000075

而异步复制的耗时在13分钟左右,其实差别还是比较明显的。

-rw-r----- 1 mysql mysql 1073974259 Sep 17 17:16 mysqlbin.000001

。。。

-rw-r----- 1 mysql mysql 163475246 Sep 17 17:29 mysqlbin.000033

从性能测试来看,目前得到的初始数据,MGR的QPS在3200左右,而异步模式已经在5000左右了。

后续这一版测试还是要在一些细节上做一些补充测试。

个人新书 《MySQL DBA工作笔记》



Tags:CentOS7 压力测试   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
最近在规划CentOS7版本中的MySQL测试情况,于是找了公司内部的虚拟机来做下模拟测试。关于MGR自然不用花太多的时间来重复车轱辘话,安装和部署始终是我们学习MGR的第一步,可以参...【详细内容】
2019-09-18  Tags: CentOS7 压力测试  点击:(232)  评论:(0)  加入收藏
▌简易百科推荐
作用显示文件或目录所占用的磁盘空间使用命令格式du [option] 文件/目录命令功能显示文件或目录所占用的磁盘空间一些写法的区别du -sh xxx 显示总目录的大小,但是不会列出...【详细内容】
2021-12-23  mitsuhide1992    Tags:du命令   点击:(12)  评论:(0)  加入收藏
什么是linux内核linux就像是一个哲学的最佳实践。如果非要对它评价,我真的不知道该怎么赞叹,我只能自豪地说着:“linux的美丽简直让人沉醉。”我只能说是我处在linux学习的修炼...【详细内容】
2021-12-23  linux上的码农    Tags:linux内核   点击:(15)  评论:(0)  加入收藏
本文将比较 Linux 中 service 和 systemctl 命令,先分别简单介绍这两个命令的基础用法,然后进行比较。从 CentOS 7.x 开始,CentOS 开始使用 systemd 服务来代替 service服务(dae...【详细内容】
2021-12-23  软件架构    Tags:systemctl   点击:(14)  评论:(0)  加入收藏
mv是move的缩写,可以用来移动文件或者重命名文件名,经常用来备份文件或者目录。命令格式mv [选项] 源文件或者目录 目标文件或者目录命令功能mv命令中第二个参数类型的不同(...【详细内容】
2021-12-17  入门小站    Tags:mv命令   点击:(23)  评论:(0)  加入收藏
大数据技术AI Flink/Spark/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料 98篇原创内容 -->公众号 Linux sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处...【详细内容】
2021-12-17  仙风道骨的宝石骑士    Tags:sed命令   点击:(22)  评论:(0)  加入收藏
Node是个啥?  写个东西还是尽量面面俱到吧,所以有关基本概念的东西我也从网上选择性地拿了下来,有些地方针对自己的理解有所改动,对这些概念性的东西有过了解的可选择跳过这段...【详细内容】
2021-12-15  linux上的码农    Tags:node   点击:(25)  评论:(0)  加入收藏
难道只有我一个人觉得Ubuntu的unity桌面非常好用吗?最近把台式机上面的Ubuntu 16.04格式化了,装了黑苹果用了一周,不得不说,MacOS确实很精美,软件生态比Linux丰富很多,比Windows简...【详细内容】
2021-12-14  地球末日村    Tags:ubuntu   点击:(41)  评论:(0)  加入收藏
简介Netstat 命令用于显示各种网络相关信息,如网络连接,路由表,接口状态 (Interface Statistics),masquerade 连接,多播成员 (Multicast Memberships) 等等。输出信息含义执行net...【详细内容】
2021-12-13  窥镜天    Tags:Linux netstat   点击:(28)  评论:(0)  加入收藏
对于较多数量的文件描述符的监听无论是select还是poll系统调用都显得捉襟见肘,poll每次都需要将所有的文件描述符复制到内核,内核本身不会对这些文件描述符加以保存,这样的设计...【详细内容】
2021-12-13  深度Linux    Tags:Linux   点击:(19)  评论:(0)  加入收藏
今天,我们来了解下 Linux 系统的革命性通用执行引擎-eBPF,之所以聊着玩意,因为它确实牛逼,作为一项底层技术,在现在的云原生生态领域中起着举足轻重的作用。截至目前,业界使用范...【详细内容】
2021-12-10  架构驿站    Tags:eBPF   点击:(29)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条