18.6 负载均衡集群介绍

实现负载均衡集群的软件有：LVS、Keepalived、Nginx、haproxy等。其中LVS属于四层（网络OSI模型）；Nginx属于七层；haproxy既可以认为是四层，也可以当做是七层使用。
LVS、haproxy这种四层负载均衡可以分发除80端口以外的通信，如MySQL-3306；而Nginx仅仅支持http，https，mail。
相对来说，LVS这种四层的更加稳定，能承受更多的请求，而Nginx这种七层的更加灵活，能实现更多的个性化需求。

18.7 LVS介绍

LVS是基于tcp/ip做的路由和转发，稳定性和效率很高，LVS最新版本是基于Linux内核2.6。LVS常见的模式有三种：NAT、DR、IP Tunnel。LVS架构中有一个核心角色叫分发器（Load Balance），用于分发客户的各种请求，另外还有诸多服务器（real server，简称rs），用于处理用户各种请求。

NAT模式

• 这种模式借助iptables的nat表来实现
• 用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去
• rs需要设定网关为分发器的内网ip
• 用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈
• 在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

在该模式中，load balancer是限制该架构处理用户请求的一个瓶颈，所以该模式比较适合小模式的集群（服务器rs在10台以内）；该模式的优势是节省公网资源。

IP Tunnel模式

• 这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip
• 客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上
• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

DR模式

• 这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip
• 和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址
• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

MAC(Media Access Control或者Medium Access Control)地址，意译为媒体访问控制，或称为物理地址、硬件地址，用来定义网络设备的位置。在OSI模型中，第三层网络层负责 IP地址，第二层数据链路层则负责 MAC地址。因此一个主机会有一个MAC地址，而每个网络位置会有一个专属于它的IP地址。MAC地址是网卡决定的，是固定的。

ARP（Address Resolution Protocol）地址解析协议，是根据IP地址获取物理地址的一个TCP/IP协议。
OSI模型把网络工作分为七层，IP地址在OSI模型的第三层，MAC地址在第二层，彼此不直接打交道。在通过以太网发送IP数据包时，需要先封装第三层(32位IP地址)、第二层(48位MAC地址)的报头，但由于发送时只知道目标IP地址，不知道其MAC地址，又不能跨第二、三层，所以需要使用地址解析协议。使用地址解析协议，可根据网络层IP数据包包头中的IP地址信息解析出目标硬件地址(MAC地址)信息，以保证通信的顺利进行。

18.8 LVS的调度算法

• 轮询 Round-Robin    rr
• 加权轮询 Weight Round-Robin    wrr
• 最小连接 Least-Connection      lc
• 加权最小连接 Weight Least-Connection    wlc
• 基于局部性的最小连接 Locality-Based Least Connections    lblc
• 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication    lblcr
• 目标地址散列调度 Destination Hashing    dh
• 源地址散列调度 Source Hashing    sh

常用的是前面四种算法。

18.9-18.20 LVS NAT模式搭建

准备工作

网络准备

•三台机器

• 分发器，也叫调度器（简写为dir）

• 内网：230.135，外网：118.147（vmware仅主机模式）

• rs1

• 内网：230.130，设置网关为230.135

• rs2

内网：2350.145，设置网关为230.135

防火墙

•三台机器上都执行执行

• systemctl stop firewalld; systemc disable firewalld

• systemctl start  iptables-services; iptables -F; service iptables save

关闭SELinux：setenforce 0

保险起见最好改下配置文件改成disabled

[root@test ~]# vim /etc/selinux/config

以下操作在real1（130）和real2（145）中进行：

[root@cham1 ~]# yum install -y iptables-services
[root@cham1 ~]# iptables -F
[root@cham1 ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[  确定  ][root@test ~]# yum install -y iptables-services
[root@test ~]# iptables -F
[root@test ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[  确定  ]

说明： 进行该设置的原因是NAT模式是基于防火墙nat表的一种模式，所以会使用iptables规则。

是为了让它条用一个空规则，等会配置一条新的规则。

开始搭建

配置director (135)：

脚本解释
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，adai的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.8.0/24  -j MASQUERADE
# director设置ipvsadm规则
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
#-C=clear，清除规则
$IPVSADM -A -t 192.168.75.128:80 -s rr
#-A：=add，添加规则；-t：=tcp；-s 指定算法；
#在此可以添加-p：指定超时时间（解决session问题：保证同一请求被分发到同一rs上）
#因为添加-p选项后会影响测试效果，所以在此不加该参数（注：时间不能设置为0）
$IPVSADM -a -t 192.168.75.128:80 -r 192.168.8.134:80 -m -w 1
$IPVSADM -a -t 192.168.75.128:80 -r 192.168.8.135:80 -m -w 1
#-a：=add，增加nat架构中的rs；-r：指定rs的IP；-m：指定LVS模式为NAT（masquerade）
#-w：=weight，指定权重

开始搭建

安装ipvsadm工具：
[root@cham002 ~]# yum install -y ipvsadm配置ipvsadm脚本：
[root@cham002 ~]# vim /usr/local/sbin/lvs_nat.sh#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.230.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.118.147:80 -s lc -p 3
$IPVSADM -a -t 192.168.118.147:80 -r 192.168.230.130:80 -m -w 1
$IPVSADM -a -t 192.168.118.147:80 -r 192.168.230.145:80 -m -w 1执行该脚本：
[root@cham002 ~]# sh /usr/local/sbin/lvs_nat.sh
#注：执行该脚本时无错误输出说明没问题。查看ipvsadm规则
[root@cham002 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.118.147:80 lc persistent 3-> 192.168.230.130:80           Masq    1      0          0         -> 192.168.230.145:80           Masq    1      0          0   

配置rs：

在两台rs上安装Nginx，并分别设置其主页用来区分两台机器。

130
[root@cham1 ~]# yum install -y nginx
[root@cham1 ~]# yum install -y epel-release（如果没有nginx安装包需要安装扩展源）
编辑rs1主页：
[root@cham1 ~]# vi /usr/share/nginx/html/index.html
[root@cham1 ~]# curl localhost
cham  130145这台做keepalivad的时候已经安装了
编辑rs2主页：
[root@test ~]# vim /usr/share/nginx/html/index.html
[root@test ~]# curl localhost
cham  145 backup backup.

测试

访问公网IP：192.168.118.147。浏览器可能有缓存问题。

[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130[root@cham002 ~]# curl 192.168.118.147
cham  145 backup backup.
[root@cham002 ~]# curl 192.168.118.147
cham  130