Keepalived高可用软件简介：

  • 目前互联网主流的实现WEB网站及数据库服务高可用软件包括：keepalived、heartbeat等。Heartbeat是比较早期的实现高可用软件，而keepalived是目前轻量级的管理方便、易用的高可用软件解决方案，得到互联网公司IT人的青睐。
  • Keepalived是一个类似于工作在layer 3, 4 & 7交换机制的软件，Keepalived软件有两种功能，分别是健康检查、VRRP冗余协议，keepalived是模块化设计，不同模块负责不同的功能，keepalived常用模块包括：

Core：是keepalived的核心，负责主进程的启动和维护，全局配置文件的加载解析等 。
Check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析；
Vrrp：VRRPD子进程，VRRPD子进程就是来实现VRRP协议；
Libipfwc：iptables(ipchains)库，配置LVS会用到；
Libipvs：虚拟服务集群，配置LVS会使用。

  • Keepalived的作用是检测服务器的状态，如果有一台web服务器、Mysql服务器宕机，或工作出现故障，Keepalived将检测到后，会将有故障的web服务器或者Mysql服务器从系统中剔除，当服务器工作正常后Keepalived自动将web、Mysql服务器加入到服务器群中。
  • 这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的WEB和Mysql服务器。Layer3,4&7工作在IP/TCP协议栈的网络层、传输层及应用层，实现原理分别如下：

Layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包（如果发现某台服务的IP地址无法ping通，Keepalived便报告这台服务器失效，并将它从服务器集群中剔除。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。）
Layer4: Layer4主要以TCP端口的状态来决定服务器工作正常与否。如WEB server的服务端口一般是80，（如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中剔除）
Layer7：Layer7工作在应用层，Keepalived将根据用户的设定检查服务器程序的运行是否正常。（如果与用户的设定不相符，则Keepalived将把服务器从服务器群中剔除）

  • 生产环境使用Keepalived正常运行，共启动3个进程，一个是父进程，负责监控其子进程，一个是VRRP子进程，另外一个是Checkers子进程。
  • 两个子进程都被系统Watchlog看管，两个子进程各自负责自己的事，Healthcheck子进程检查各自服务器的健康状况，如果Healthcheck进程检查到Master上服务不可用了，就会通知本机上的VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态。

1. Keepalived VRRP原理剖析一：

  • Virtual Router Redundancy Protocol（VRRP）技术，虚拟路由器冗余协议。VRRP由IETF提出，目的是为了解决局域网中配置默认网关的单点失效问题，1998年已推出正式的RFC2338协议标准。
  • VRRP广泛应用在边缘网络中，它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱，允许主机使用单路由器，以及及时在实际第一跳路由器使用失败的情形下仍能够维护路由器间的连通性。
  • 在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：
  1. 在主机上使用动态路由协议RIP、OSPF；
  2. 在主机上配置静态路由（默认网关）
  • 在主机上配置路态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点，VRRP的目的就是为了解决静态路由单点故障问题。VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

2. Keepalived VRRP原理剖析二：

  • 通过VRRP技术可以将两台物理（路由器）主机当成路由器，两台物理机主机组成一个虚拟路由集群，Master主机会产生VIP地址，该VIP地址负责转发用户发起的IP包或者负责处理用户的请求，Nginx+Keepalived组合，用户的请求直接访问keepalived VIP地址，然后访问Master相应服务和端口。
  • 在VRRP虚拟路由器集群中，由多台物理的路由器组成，但是这多台的物理路由器并不能同时工作，而是由一台为MASTER路由器负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP会让每个VRRP路由器参与竞选，最终获胜的就是MASTER。
  • MASTER拥有一些特权，例如拥有虚拟路由器的IP地址或者成为VIP，拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
  • VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP组播(multicast)包(组播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以在一组虚拟路由器集群中，不管谁是MASTER，对外都是相同的MAC和VIP。客户端主机并不需要因为MASTER的改变而修改自己的路由配置。
  • 作为MASTER的VRRP路由器会一直发送VRRP组播包(VRRP Advertisement message)，BACKUP不会抢占MASTER，除非它的优先级(Priority)更高。当MASTER不可用时(BACKUP收不到组播包时)， 多台BACKUP中优先级最高的这台会抢占为MASTER。这种抢占是非常快速的，以保证服务的连续性。由于安全性考虑VRRP包使用了加密协议进行，基于VRRP技术，可以实现IP地址漂移，是一种容错协议，广泛应用于企业生产环境中。

3. Nginx+Keepalive集群实战：

  • 随着Nginx在国内的发展潮流，越来越多的互联网公司都在使用Nginx，Nginx高性能、稳定性成为IT人士青睐的HTTP和反向代理服务器。
  • Nginx负载均衡一般位于整个网站架构的最前端或者中间层，如果为最前端时单台Nginx会存在单点故障，也就是一台Nginx宕机，会影响用户对整个网站的访问。所以需要加入Nginx备份服务器，Nginx主服务器与备份服务器之间形成高可用，一旦发现Nginx主宕机，能快速将网站恢复至备份主机。Nginx+keepalived网络架构如图23-1所示：

3.1. 环境准备：

nginx版本：nginx v1.18.0
keepalive版本：keepalive v1.3.5
Nginx-1:192.168.20.10(master)
Nginx-2:192.168.20.20(backup)

3.2. 安装软件包：

#下载keepalive源码包：
wget https://www.keepalived.org/software/keepalived-1.3.5.tar.gz
#下载nginx源码包：
wget http://nginx.org/download/nginx-1.18.0.tar.gz
#解压：
tar -xf keepalived-1.3.5.tar.gz -C /usr/src/
tar -xf nginx-1.18.0.tar.gz -C /usr/src/
#安装依赖包：
yum -y install gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel libnl libnl-devel libnfnetlink libnfnetlink-devel
#创建nginx用户：
useradd -s /sbin/nologin nginx -M
#预编译nginx:
cd /usr/src/nginx-1.18.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-http_ssl_module
#编译&安装nginx
make && make install
#配置nginx环境变量：
vim /etc/profile
#后面添加如下内容：
export PATH=$PATH:/usr/local/nginx/sbinsource /etc/profile
#预编译keepalive:
cd /usr/src/keepalived-1.3.5/
./configure --prefix=/usr/local/keepalived/ --with-kernel-dir=/usr/src/kernels/3.10.0-514.el7.x86_64/
#编译&&安装keepalive：
make && install
#安装完成后，keepalived的默认配置文件地址和我们安装的地址不一样，所以复制过去就可以了
cp /usr/src/keepalived-1.3.5/keepalived/etc/init.d/keepalived /etc/init.d/
mkdir -p /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/
cp /usr/src/keepalived-1.3.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
#配置环境变量
vim /etc/profile
#后面添加如下内容：
export PATH=$PATH:/usr/local/keepalived/sbinsource /etc/profile

注意：以上的配置master和backup都需要安装

3.3. 配置keepalive:

  • 配置Keepalived，两台服务器keepalived.conf内容都为如下，state均设置为backup，Backup服务器需要修改优先级为90。
vim /etc/keepalived/keepalive.conf
! Configuration File for keepalived} notification_email_from Alexandre.Cassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_DEVEL
}
vrrp_script chk_nginx {script  "/data/sh/check_nginx.sh"interval 2 weight 2 }
vrrp_instance VI_1 {state BACKUPinterface ens33virtual_router_id 51priority 90advert_int 5nopreemptauthentication {auth_type PASSauth_pass 1111}   virtual_ipaddress {192.168.20.100}   track_script {chk_nginx }
}

3.4. 创建脚本：

  • 如上配置还需要建立check_nginx脚本，用于检查本地Nginx是否存活，如果不存活，则kill keepalived实现切换。其中check_nginx.sh脚本内容如下
#创建存放脚本路径：
mkdir -p /data/sh/
#创建脚本：
vim /data/sh/check_nginx.sh
#!/bin/bash
#auto  check  nginx  process
#2020年9月15日17:16:29
#by  author  XiaoYuEr
killall  -0   nginx
if  [[ $? -ne 0 ]];then
service keepalived stop
fi
chmod +x /data/sh/check_nginx.sh
##killall这个命令没有需要安装psmisc-22.20-15.el7.x86_64即可

注意：这个脚本需要两台电脑都需要创建
启动keepalive时可能会遇到以下报错：

systemd: PID file /usr/local/keepalived/var/run/keepalived.pid not readable (yet?) after start.
#这时需要修改keepalived.service文件把pid路径修改一下就可以了
vim /lib/systemd/system/keepalived.service
#修改为以下内容即可：
PIDFile=/var/run/keepalived.pid

3.5. 测试：

  • 在两台Nginx服务器分别新建index.html测试，一台nginx挂掉是否还可以访问：
#在master中配置index.html
[root@localhost ~]# echo "this is 192.168.20.10 page" > /usr/local/nginx/html/index.html
#在backup机器中配置index.html
echo "this is 192.168.20.20 page" > /usr/local/nginx/html/index.html

  • 打开浏览器访问192.168.20.100：

  • 把master主机nginx关掉再次访问看下：

3.6. Keepalived配置文件参数详解：

  • 完整的keepalived的配置文件，其配置文件keepalived.conf可以包含三个文本块：全局定义块、VRRP实例定义块及虚拟服务器定义块。全局定义块和虚拟服务器定义块是必须的，如果在只有一个负载均衡器的场合，就不须VRRP实例定义块。
[全局定义块]
global_defs {notification_email {                           --指定keepalived在发生切换时需要发送email到的对象，一行一个;wgkgood@gmail.com                          } notification_email_from  root@localhost        --指定发件人smtp_server  127.0.0.1                           --指定smtp服务器地址smtp_connect_timeout 3                         --指定smtp连接超时时间router_id LVS_DEVEL                           --运行keepalived机器的标识
}
[监控Nginx进程]
vrrp_script chk_nginx  {    script "/data/script/nginx.sh"                --监控服务脚本，脚本x执行权限；interval 2                                       --检测时间间隔(执行脚本间隔)weight 2                                        --权重
}
[VRRP实例定义块]
vrrp_sync_group VG_1{                               --监控多个网段的实例group {              VI_1                                                --实例名1VI_2  }   notify_master /data/sh/nginx.sh                     --指定当切换到master时，执行的脚本notify_backup /data/sh/nginx.sh                     --指定当切换到backup时，执行的脚本notify   /data/sh/nginx.sh                          --发生任何切换，均执行的脚本smtp_alert                                        --使用global_defs中提供的邮件地址和smtp服务器发送邮件通知；
}
vrrp_instance VI_1 {        state BACKUP                                    --设置主机状态，MASTER|BACKUPnopreempt                                      --设置为不抢占
interface eth0                                      --对外提供服务的网络接口
lvs_sync_daemon_inteface eth0                       --负载均衡器之间监控接口; track_interface {                            --设置额外的监控，网卡出现问题都会切换；eth0 eth1    }   mcast_src_ip                                    --发送组播包的地址，如果不设置默认使用绑定网卡的primary ipgarp_master_delay                                 --在切换到master状态后，延迟进行gratuitous ARP请求virtual_router_id 50                         --VRID标记 ,路由ID，可通过#tcpdump vrrp查看priority 90                                     --优先级，优先级高者竞选为masteradvert_int 5                                 --检查间隔，默认5秒preempt_delay                                 --抢占延时，默认5分钟debug                                        --debug日志级别authentication {                             --设置认证auth_type PASS                            --认证方式auth_pass 1111                            --认证密码}track_script {                               --以脚本为监控chk_nginx；chk_nginx      }       virtual_ipaddress {                             --设置vip地址192.168.111.188}
}
注意：使用了脚本监控Nginx或者MYSQL，不需要下面虚拟服务器设置块。
[虚拟服务器定义块]
virtual_server 192.168.111.188 3306 {delay_loop 6                                      --健康检查时间间隔lb_algo rr                                        --调度算法rr|wrr|lc|wlc|lblc|sh|dhlb_kind DR                                        --负载均衡转发规则NAT|DR|TUNpersistence_timeout  5                          --会话保持时间protocol TCP                                    --使用的协议real_server 192.168.1.12 3306 {   weight 1                               --默认为1,0为失效notify_up   <string> | <quoted-string> --在检测到server up后执行脚本；notify_down <string> | <quoted-string> --在检测到server down后执行脚本；TCP_CHECK {connect_timeout 3                 --连接超时时间;nb_get_retry  1                        --重连次数;delay_before_retry 1                 --重连间隔时间;connect_port 3306                  --健康检查的端口;}HTTP_GET {    url  {path /index.html                         --检测url，可写多个digest  24326582a86bee478bac72d5af25089e --检测效验码--digest效验码获取方法：genhash -s IP -p 80 -u http://IP/index.html status_code 200                          --检测返回http状态码}
}
}

4. 企业级Nginx+Keepalived双主架构实战

  • Nginx+keepalived主备模式，始终存在一台服务器处于空闲状态，如何更好的把两台服务器利用起来呢，可以借助Nginx+keepalived双主架构来实现，如图23-2所示，将架构改成双主架构，也即同时两台对外两个VIP地址，同时接收用户的请求。

4.1. 环境准备：

nginx版本：nginx v1.18.0
keepalive版本：keepalive v1.3.5
Nginx-1:192.168.20.10(master) （backup)
Nginx-2:192.168.20.20(backup) (master)

4.2. 配置如下：

  • 以下内容是接着上面的配置来完成的。
#以下配置是master端配置的，即192.168.20.10：
! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_DEVEL
}
vrrp_script chk_nginx {script  "/data/sh/check_nginx.sh"interval 2weight 2}
#VIP1
vrrp_instance VI_1 {state MASTERinterface ens33lvs_sync_daemon_inteface ens33virtual_router_id 51priority 100advert_int 5nopreemptauthentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.20.100}track_script {chk_nginx}
}
#VIP2
vrrp_instance VI_2 {state BACKUPinterface ens33lvs_sync_daemon_inteface ens33virtual_router_id 52priority  90advert_int 5nopreemptauthentication {auth_type  PASSauth_pass  2222}virtual_ipaddress {192.168.20.200}track_script {chk_nginx}}
#backup端配置即：192.168.20.20
! Configuration File for keepalived
global_defs {notification_email {acassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30notification_email {acassen@firewall.loc} smtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_DEVEL
}
vrrp_script chk_nginx {script  "/data/sh/check_nginx.sh"interval 2 weight 2 }
#VIP1
vrrp_instance VI_1 {state BACKUPinterface ens33lvs_sync_daemon_inteface ens33virtual_router_id 51priority 90advert_int 5nopreemptauthentication {auth_pass 1111}   virtual_ipaddress {192.168.20.100}   track_script {chk_nginx }
}
#VIP2
vrrp_instance VI_2 {state MASTER  interface ens33lvs_sync_daemon_inteface ens33virtual_router_id  52 priority  100advert_int 5 nopreempt  authentication {auth_type  PASSauth_pass  2222}   virtual_ipaddress {192.168.20.200 }   track_script {chk_nginx } }

4.3. 测试：

  • 两个VIP在一台服务器，是由于另外一台服务器down机，VIP都漂移到本机网卡下。
[root@localhost ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00inet 127.0.0.1/8 scope host lovalid_lft forever preferred_lft foreverinet6 ::1/128 scope host valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:ec:10:55 brd ff:ff:ff:ff:ff:ffinet 192.168.20.10/24 brd 192.168.20.255 scope global noprefixroute ens33valid_lft forever preferred_lft foreverinet 192.168.20.100/32 scope global ens33valid_lft forever preferred_lft foreverinet 192.168.20.200/32 scope global ens33valid_lft forever preferred_lft foreverinet6 fe80::cbc:47d:6f9d:da7/64 scope link noprefixroute valid_lft forever preferred_lft forever
  • Nginx+keepalived双主企业架构，在日常维护及管理过程中需要如下几个方面：
  1. Keepalived主配置文件必须设置不同的VRRP名称，同时优先级和VIP设置也各不相同；
  2. Nginx网站总访问量为两台Nginx服务器之和，可以写脚本自动统计访问量；
  3. 两台Nginx为Master，存在两个VIP地址，用户从外网访问VIP，需配置域名映射到两个VIP上方可。
  4. 通过外网DNS映射不同VIP的方法也称为DNS负载均衡模式； 可以通过Zabbix实时监控VIP访问状态是否正常。

keepalive高可用软件配置及详解相关推荐

  1. 运维企业专题（10）RHCS集群工具——FENCE搭建、高可用服务配置详解

    前言:FENCE工具的原理及作用 FENCE设备是RHCS集群中必不可少的一个组成部分,通过FENCE设备可以避免因出现不可预知的情况而造成的"脑裂"现象,FENCE设备的出现,就 ...

  2. 企业级负载均衡集群——通过fence设备解决集群节点之间争抢资源的现象（FENCE搭建、高可用服务配置详解）

    1.FENCE工具的原理及作用 FENCE设备是RHCS集群中必不可少的一个组成部分,通过FENCE设备可以避免因出现不可预知的情况而造成的"脑裂"现象 FENCE设备的出现,就是 ...

  3. 负载均衡集群、高可用集群详解，DR、NAT超详细搭建步骤

    集群概述 流量相关:     PV:PV(page view)即页面浏览量或点击量,是衡量一个网站或网页用户访问量.具体的说,PV值就是所有访问者在24小时(0点到24点)内看了某个网站多少个页面或某 ...

  4. Mysql高可用架构实现详解

    1.Linux下mysql安装 2.Mysql架构概述 3.Mysql复制 4.读写分离实现(SpringBoot+MyBatis) 5.Mysql+Keepalived实现双主高可用 6.MYSQL ...

  5. c mysql 双主复制_mysql双主复制及使用keepalived作高可用的配置详解

    1.系统环境架构 vip 192.168..45.244 mysql-1:192.168.45.238 mysql-2:192.168.45.239 2.mysql双主设置 192.168.45.23 ...

  6. 高并发高流量网站架构详解

    (推荐)高并发高流量网站架构详解 Web2.0的兴起,掀起了互联网新一轮的网络创业大潮.以用户为导 向的新网站建设概念,细分了网站功能和用户群,不仅成功的造就了一大批新生的网站,也极大的方便了上网的人 ...

  7. 千万级PV规模高性能高并发网站架构详解

    1.缓存(expires) 2.deflate压缩 3.Apache/nginx静态服务器提供html页面内容 4.CDN/cache缓存静态内容如:html.jpg.gif.js等 5.MYSQL数 ...

  8. tracepro应用实例详解_建筑安装工程造价，高清PPT图文详解，小白也能学会的简单步骤...

    建筑安装工程造价,高清PPT图文详解,小白也能学会的简单流程 工程造价的直意就是工程的建造价格,是指进行某项工程建设所花费的全部费用.工程造价在工程中是很关键的存在,是工程能够取得的关键:对工程建设的 ...

  9. keepalive高可用nginx（nginx动静分离）的实现

    HA Cluster的配置前提: 1.各节点时间要同步:2.确保iptables及selinux不会成为障碍:3.(可选)各节点之间可通过主机名互相通信:节点的名称设定与hosts文件中解析的主机名都 ...

最新文章

  1. Java进阶：CyclicBarrier基本使用
  2. ElementUI dialog嵌套蒙层遮挡问题
  3. 算法竞赛中的时间复杂度选择——以最大连续和问题为例
  4. 操作系统（12）-【Linux】索引式文件系统
  5. Android 进度条改变图片透明度
  6. android intent sender,Android7.0以上调PendingIntent.getIntent()报错
  7. 【转】MySQL 复制的基本过程如下：
  8. 自动驾驶_感知_分割_车道线检测
  9. java ee图书管理系统_基于jsp的图书管理系统-JavaEE实现图书管理系统 - java项目源码...
  10. qq2018旧版本7.3.1下载_qq下载2020最新版下载安装-qq2020最新版下载V8.4.8-西西软件下载...
  11. 一个单调递增的数组 被人随机拿出一个数 你怎么找到这个数
  12. html怎么做彩虹渐变,PS彩虹怎么做？|渐变工具制作彩虹方法教程
  13. GMT和UTC时区概念
  14. 抖音直播带货gmv是什么意思？丨国仁网络资讯
  15. 有趣的设计模式——微信公众号中蕴藏的观察者模式
  16. js中文汉字按拼音排序
  17. json批量转换成label图像
  18. html 弹出复选框,js点击文本框弹出可选择的checkbox复选框
  19. Linux 并发与竞争
  20. 关于 Swiper 的坑——只有3.3.1的非压缩版正常，非常奇怪

热门文章

  1. 阿里云江南天安携手 打造国内首款云数据加密服务
  2. jpg转pdf在线转换器哪个好？推荐大家几个转换教程
  3. Facebook“点赞”被修改，幕后经过揭秘
  4. 十二、Gateway新一代网关
  5. 各类镜头的设计差别(转载）
  6. 蒙泰卡罗模拟应用求解pi近似值
  7. 2021年中国核受体γ市场趋势报告、技术动态创新及2027年市场预测
  8. 为什么要去学习底层的知识
  9. 暑假线上兼职：300-500元/小时，安利一个大学生也能月入8K的线上兼职
  10. ip网络的时延：发送时延(传输时延)，传播时延，处理时延，排队时延