使用Nginx对Tomcat做负载均衡,nginx.conf中配置upstream
当Nginx请求过多时
Keepalived概念
1:解决单点故障
2:组件免费
3:可以实现高可用的HA机制
4:基于VRRP协议
VRRP:虚拟路由冗余协议
1:virtual router redundancy protocol
2:解决内网单机故障的路由协议
3:构建有多个路由器(Nginx) 的MASTER BACKUP
4:虚拟IP(virtual IP)
Keepalive 双机主备原理
多台Nginx机器配置之间硬件配置一致(主备),因为主机如果宕机之后,请求都打到备用机,如果此时备用机性能不好的话会很快就宕机了,主机恢复之后,请求重新打到主机
Keepalived下载keepalived.org
官方地址 keepalived 下载地址,选择指定的版本后我们就开始下载
wget https://www.keepalived.org/software/keepalived-2.1.5.tar.gz
解压缩
tar -zxvf keepalived-2.1.5.tar.gz
进行configure配置,指定安装目录:
cd keepalived-1.3.4 && ./configure --prefix=/home/keepalived-2.1.5/
编译安装
make && make install
如果安装出现什么问题,一般都是缺少了环境,只要看报错信息 yum install 相关环境就o了
keepalived 的启动脚本文件所在
/home/keepalived-2.1.5/keepalived/etc/init.d
启动脚本文件代码
#!/bin/sh
#
# Startup script for the Keepalived daemon Keepalived 守护进程启动脚本
#
# processname: keepalived
# pidfile: /var/run/keepalived.pid keepalived.pid 路径
# config: /etc/keepalived/keepalived.conf
# chkconfig: - 21 79
# description: Start and stop Keepalived 启动或者停止Keepalived
# Source function library 指定源函数库位置(这个文件本身linux自带不需要我们管)
. /etc/rc.d/init.d/functions
# Source configuration file (we set KEEPALIVED_OPTIONS there) 源配置文件(该文件设置 KEEPALIVED_OPTIONS 的参数) 这个文件需要我们自己移动
. /etc/sysconfig/keepalived
# 返回值 默认0
RETVAL=0
# 指令
prog="keepalived"
# 启动
start() {
echo -n $"Starting $prog: "
daemon keepalived ${KEEPALIVED_OPTIONS}
# $? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误)
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
stop() {
echo -n $"Stopping $prog: "
echo -n $"Stopping $prog: "
killproc keepalived
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$prog
}
reload() {
echo -n $"Reloading $prog: "
killproc keepalived -1
RETVAL=$?
echo
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
reload)
reload
;;
restart)
stop
start
;;
condrestart)
if [ -f /var/lock/subsys/$prog ]; then
stop
start
fi
;;
status)
status keepalived
RETVAL=$?
;;
*)
echo "Usage: $0 {start|stop|reload|restart|condrestart|status}"
RETVAL=1
esac
exit $RETVAL
可以看出提供了启动,暂停,重启这些命令。
这里的启动参数文件相当于以上的 KEEPALIVED_OPTIONS 。是启动文件里的 . /etc/sysconfig/keepalived 文件。源文件在
/home/keepalived-2.1.5/keepalived/etc/sysconfig
我们查看一下内容
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
# 这里是启动常用参数
# --vrrp -P Only run with VRRP subsystem. 仅与VRRP子系统一起运行。
# --check -C Only run with Health-checker subsystem. 仅与运行状况检查子系统一起运行
# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop. 不要在守护进程停止时删除VRRP VIP和VROUTEs。
# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop. 不要在守护进程停止时删除IPVS拓扑。
# --dump-conf -d Dump the configuration data. 转储配置数据。
# --log-detAIl -D Detailed log messages. 详细的日志消息。
# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON) 0-7设置本地syslog工具(默认值=LOG_DAEMON)
#
# 这里就是设置启动参数
KEEPALIVED_OPTIONS="-D"
这个文件主要是为了保存 keepalived 的启动参数,要不然你启动一次,下次你启动你还记得你输入过的参数嘛?那启动参数具体有哪些?继续往下看。
位置如下
/home/keepalived-2.1.5/keepalived
查看启动参数
[root@localhost keepalived]# ./keepalived -h
Usage: ./keepalived [OPTION...]
-f, --use-file=FILE 使用指定的配置文件
-P, --vrrp 仅与VRRP子系统一起运行
-C, --check 仅与运行状况检查子系统一起运行
--all 强制所有子进程运行,即使没有配置
-l, --log-console 将消息记录到本地控制台
-D, --log-detail 详细的日志消息
-S, --log-facility=[0-7] 将syslog facility设置为LOG_LOCAL[0-7]
-G, --no-syslog 不通过系统日志记录
-u, --umask=MASK umask for file creation (in numeric form)
-X, --release-vips 从信号机过渡时放下VIP。
-V, --dont-release-vrrp 不要在守护进程停止时删除VRRP VIP和VRRoute
-I, --dont-release-ipvs 在守护进程停止时不删除IPV拓扑
-R, --dont-respawn 不要重新生成子进程
-n, --dont-fork 不要分叉守护进程
-d, --dump-conf 转储配置数据
-p, --pid=FILE 为父进程使用指定的pidfile
-r, --vrrp_pid=FILE 为VRRP子进程使用指定的PID文件
-c, --checkers_pid=FILE 对checkers子进程使用指定的pidfile
-a, --address-monitoring 报告通.NETlink通知的所有地址添加/删除
-s, --namespace=NAME 在网络命名空间名称中运行(重写配置)
-m, --core-dump 异常终止时产生堆芯转储
-M, --core-dump-pattern=PATN Also set /proc/sys/kernel/core_pattern to PATN (default 'core')
-i, --config-id id Skip any configuration lines beginning '@' that don't match id
or any lines beginning @^ that do match.
The config-id defaults to the node name if option not used
--signum=SIGFUNC Return signal number for STOP, RELOAD, DATA, STATS, STATS_CLEAR
-t, --config-test[=LOG_FILE] Check the configuration for obvious errors, output to
stderr by default
-v, --version Display the version number
-h, --help Display this help message
文件路径
/home/keepalived-2.1.5/keepalived/etc/keepalived
文件内容简介
# 全局配置
global_defs {
# 指定keepalived在发生切换时需要发送email到的对象,一行一个邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 指定发件人
notification_email_from Alexandre.Cassen@firewall.loc
# 指定smtp服务器地址
smtp_server 192.168.200.1
# 指定smtp连接超时时间
smtp_connect_timeout 30
# 运行keepalived机器的一个标识,必须唯一
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
#vrrp 实例部分定义,VI_1自定义名称
vrrp_instance VI_1 {
# 指定 keepalived 的角色,必须大写 可选值:MASTER|BACKUP
state MASTER
# 网卡设置,lvs需要绑定在网卡上,RealServer 绑定在回环口。区别:lvs对访问为外,realserver为内不易暴露本机信息
interface eth0
# 虚拟路由标识,是一个数字,同一个vrrp 实例使用唯一的标识,MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识必须保持一致
virtual_router_id 51
# 定义优先级,数字越大,优先级越高。
priority 100
# 设定 MASTER 与 BACKUP 负载均衡之间同步检查的时间间隔,单位为秒,两个节点设置必须一样
advert_int 1
# 设置验证类型和密码,两个节点必须一致
authentication {
auth_type PASS
auth_pass 1111
}
# 设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
virtual_ipaddress {
192.168.200.16
192.168.200.17
192.168.200.18
}
# 当前节点成为master时,通知脚本执行任务
# notify_master "/etc/keepalived/start_haproxy.sh start"
# 当前节点成为backup时,通知脚本执行任务
# notify_backup "/etc/keepalived/start_haproxy.sh stop"
# 当当前节点出现故障,执行的任务;
# notify_fault "/etc/keepalived/start_haproxy.sh stop"
}
# 定义RealServer 对应的VIP及服务端口,IP和端口之间用空格隔开
virtual_server 192.168.200.16 1358 {
# 健康检查时间间隔
delay_loop 6
# lvs调度算法rr wrr lc wlc lblc sh dh
lb_algo rr
# 负载均衡转发规则 NAT DR RUN
lb_kind NAT
# 同一IP的连接50秒内被分配到同一台realserver
persistence_timeout 50
# 使用的协议
protocol TCP
# 备用机,所有realserver失效后启用
sorry_server 192.168.200.200 1358
real_server 192.168.200.2 1358 {
# 权重,最大越高,lvs就越优先访问
weight 1
# keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
# 要检测的URL,可以有多个
url {
# 具体路径
path /testurl3/test.jsp
# 检测效验码
digest 640205b7b0fc66c1ea91c463fac6334d
# 检测返回http状态码
status_code 200
}
# 3秒无响应超时
connect_timeout 3
# 重连次数3次
retry 3
# 重连间隔时间
delay_before_retry 3
}
}
real_server 192.168.200.3 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
keepalived 文件分为4种,启动脚本文件、启动参数文件、keepalived.conf文件、启动文件。他们的执行关系是 启动脚本文件 -> 找到启动参数文件 -> 启动参数文件里描述了keepalived.conf的路径和日志等指令 -> 然后交给启动文件执行(真实启动)。
启动
./keepalived -f /home/keepalived-2.1.5/keepalived/etc/keepalived/keepalived.conf
快捷启动
cp /home/keepalived-2.1.5/keepalived/etc/init.d/keepalived /etc/init.d/
cp /home/keepalived-2.1.5/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
cp /home/keepalived-2.1.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
service keepalived [start | stop | reload | restart ]
keepalived 日志默认在
/var/log/messages
没有配置正确的 keepalived.conf 启动会提示成功,但实际没有启动,需要自己去改配置。 keepalived 日志信息需要仔细阅读才能找到问题。
以上配置来源于网络