目录
一、背景
二、步骤
0.理论支持
1、获取数据
2、结果
3、分析数据并评估大小
三、关于repl-backlog-size
repl-backlog-size控制这个环形缓冲区.
主从断开之后会发生什么?环形队列被覆盖会发生什么?
如果从库的读取速度比较慢,就有可能导致从库还未读取的操作被主库新写的操作覆盖了,这会导致主从库间的数据不一致。
repl_backlog_buffer 是一个环形缓冲区,主库会记录自己写到的位置,从库则会记录自己 已经读到的位置。
主从库的连接恢复之后,从库首先会给主库发送 psync 命令,并把自己当前的 slave_repl_offset 发给主库,主库会判断自己的 master_repl_offset 和 slave_repl_offset 之间的差距。
在不影响正常业务的情况下redis主从同步时总会出现timeout,部分同步失败的情况。需要评估一下repl-backlog-size的大小,来避免复制时出现异常
这个参数和所需的缓冲空间大小有关。缓冲空间的计算公式是:缓冲空间大小 = 主库 写入命令速度 * 操作大小 - 主从库间网络传输命令速度 * 操作大小。在实际应用中,考虑 到可能存在一些突发的请求压力,我们通常需要把这个缓冲空间扩大一倍,
即 repl_backlog_size = 缓冲空间大小 * 2,这也就是 repl_backlog_size 的最终值。
如果主库每秒写入 2000 个操作,每个操作的大小为 2KB,网络每秒能传输 1000 个操作,那么,有 1000 个操作需要缓冲起来,这就至少需要 2MB 的缓冲空间。否 则,新写的命令就会覆盖掉旧操作了。为了应对可能的突发压力,我们最终把 repl_backlog_size 设为 4MB。
借助redis-cli 、info replication..收集master_repl_offset每一分钟前后的数据,其中使用了sed 和awk命令对数据进行处理,为后期分析提供便利。
脚本如下
#!/bin/bash
# @date: 2020-07-02
# @author: ninesun
# @parm : null
# @desc: save master_repl_offset by mins
echo "start!"
for((i=6379; i<6387; i++))
do
redis-cli -p $i info replication|grep master_repl_offset|sed 's/:/|/g'|awk '{print strftime("%Y-%m-%d %H:%M:%S"),$0}'|sed 's/ /|/g'|sed 's/|/ /'|sed '
s/^/'$i|'/' >> /home/scripts/redis/redisParm.csv
echo "port $i save successful!"
done
echo "end!"
将格式化号的数据借助GP的gpfdist装载到数据库中。
3.1 建表
create table sor.redisparam_info
( port character varying( 50 ), evt_timestamp timestamp( 0 ) without time zone,
param character varying( 200 ),param_value character varying( 200 ),
CONSTRAINT redisparam_info_pkey PRIMARY KEY (evt_timestamp,port))
DISTRIBUTED by( evt_timestamp )
partition by range( evt_timestamp )( partition p202004 start( '2020-04-01'::date )
end( '2020-04-30'::date ), partition p202005 start( '2020-05-01'::date )
end( '2020-05-31'::date ), partition p202006 start( '2020-06-01'::date )
end( '2020-06-30'::date ), partition p202007 start( '2020-07-01'::date )
end( '2020-07-31'::date ), partition p202008 start( '2020-08-01'::date )
end( '2020-08-31'::date ), partition p202009 start( '2020-09-01'::date )
end( '2020-09-30'::date ), partition p202010 start( '2020-10-01'::date )
end( '2020-10-31'::date ), partition p202011 start( '2020-11-01'::date )
end( '2020-11-30'::date ), partition p202012 start( '2020-12-01'::date )
end( '2020-12-31'::date ));
drop external table ext_redisparam_info
CREATE EXTERNAL TABLE ext_redisparam_info (like sor.redisparam_info) LOCATION (
'gpfdist://******:8100/redisParm.csv'
) FORMAT 'text' (delimiter E'|' null E'\N' escape E'\')
SEGMENT REJECT LIMIT 1000 ROWS
3.2 使用表数据分析。
开启gpfdist后,如果不需要存入堆表,可直接在外部表上进行分析。
分析sql如下,逻辑为by 时间排序,计算前后两者差距。使用
select *,round(t.diff/1024.0,2) as kb,round(t.diff/1024.0/1024.0,2) mb
from( select *, param_value::bigint -( lead( param_value::bigint ) over(
order by evt_timestamp desc )) as diff
from sor.redisparam_info
where port = '6384'
) t
结果
3.3 最终分析结果
取8个node的平均值,最终得到一个估计结果。
这个参数官方的解释。
# Set the replication backlog size. The backlog is a buffer that accumulates
# slave data when slaves are disconnected for some time, so that when a slave
# wants to reconnect again, often a full resync is not needed, but a partial
# resync is enough, just passing the portion of data the slave missed while
# disconnected.
#
# The bigger the replication backlog, the longer the time the slave can be
# disconnected and later be able to perform a partial resynchronization.
#
# The backlog is only allocated once there is at least a slave connected.
#
# repl-backlog-size 1mb
我的疑问
redis 2.8 psync · Issue #1400 · redis/redis · GitHub