18.6 负载均衡集群介绍

• 主流开源软件LVS、keepalived、haproxy、nginx等

• 其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用

• keepalived的负载均衡功能其实就是lvs

• lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种

• 相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求

18.7 LVS介绍

•LVS是由国人章文嵩开发

• 流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高

• LVS最新版本基于Linux内核2.6，有好多年不更新了

• LVS有三种常见的模式：NAT、DR、IP Tunnel

• LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

LVS NAT模式

• 这种模式借助iptables的nat表来实现

• 用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去

• rs需要设定网关为分发器的内网ip

• 用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈

• 在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

LVS NAT模式的特点

1、LVS NAT模式是通过一个分发器（Load Balancer）；把用户的请求，分发给后端的Real Server ，Real Server这些服务器接收到请求以后，处理好用户请求以后，就重新丢回给分发器；最后分发器再返回给用户；

2、LVS NAT模式的弊端是分发器会成为整个网络的瓶颈，当访问量、请求量、反馈量大的时候，分发器的压力会很大

3、LVS NAT模式的规模，一般最多支持10来台服务器，超过10台的话就会有力不从心；

4、LVS NAT模式这个结构，只需要有一个公网IP，其他real server服务器全部在内网就可以实现。可以节省很多的公网IP资源

LVS IP Tunnel模式

• 这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip

• 客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上

• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS IP Tunnel模式的特点

在分发器（load balancer）与真实服务器（real server）之间建立了虚拟通道，叫做 ip tunnel ；实际上是更改了数据包目的IP；请求过来通过分发器，通过在真实服务器上配置的VIP；用户请求的时候，数据包里面包好的目的IP，当数据包到达分发器的时候，分发器会进行一个数据包目的IP的更改，然后发送到具体的真实服务器上，通过lvs的自己的算法，进行实现到底传输到哪台真实服务器上；然后真实服务器再解包处理，再通过一个VIP直接通过公网返回到用户，这样省略数据回到分发器的过程，减小了分发器的压力，解决了分发器的瓶颈。

LVS DR模式

• 这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip

• 和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址

• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS DR模式的特点

与IP Tunnel模式整体过程相同，不同的是，它会把数据包的MAC地址修改为rs的MAC地址进行分发。

18.8 LVS调度算法

• 轮询 Round-Robin  rr

• 加权轮询 Weight Round-Robin wrr

• 最小连接 Least-Connection lc

• 加权最小连接 Weight Least-Connection wlc

• 基于局部性的最小连接 Locality-Based Least Connections lblc

• 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication  lblcr

• 目标地址散列调度 Destination Hashing dh

• 源地址散列调度 Source Hashing  sh

注：前4种为常用的调度算法

18.9/18.10 LVS NAT模式搭建

准备工作

准备三台机器

• 分发器，也叫调度器（简写为dir）

内网：88.15，外网：99.99（vmware仅主机模式）

• rs1

内网：88.5，设置网关为88.15

• rs2

内网：88.10，设置网关为88.15

增加网卡时需要注意：

在虚拟机增加一个新的网卡之后，并设置为仅主机模式

开启虚拟机，用ifconfig命令，查看是否已经加载了网卡——>安装ifconfig包：yum install -y net-tools

复制网卡配置文件到新的网卡里面，并更改配置文件中的IP，删除UUID，更改mac

[root@linux-15 ~]# cd /etc/sysconfig/network-scripts/
[root@linux-15 network-scripts]# cp ifcfg-ens33 ifcfg-ens37
[root@linux-15 network-scripts]# vim ifcfg-ens37

更改mac，可以使用ip add命令查看，新的网卡的mac，并在配置文件中更改

重启网卡

ifup ens37

重启网络服务

systemctl restart network

用物理机尝试新的网卡IP是否能通信

三台机器上都执行执行

systemctl stop firewalld
systemc disable firewalld
systemctl start iptables
iptables -F
service iptables save

在分发器上安装ipvsadm

[root@linux-15 network-scripts]# yum install -y ipvsadm

在分发器上编写脚本

vim /usr/local/sbin/lvs_nat.sh
内容如下
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward  //对内核参数修改，打开路由转发
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects //伪装操作，不然不能转发rs的数据
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects //伪装操作，不然不能转发rs的数据
# 注意区分网卡名字，两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.88.0/24  -j MASQUERADE
//MASQUERADE实现同网段的机器去上网，路由器使用的就是这个功能
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'  //定义一个变量，方便下面命令引用
$IPVSADM -C    //清空规则
$IPVSADM -A -t 192.168.99.99:80 -s wlc -p 3  //用来定义lvs的模式；wlc为算法，可以按需求选择lvs里面适合的算法
$IPVSADM -a -t 192.168.99.99:80 -r 192.168.88.5:80 -m -w 1  //详细规则，-r 指定rs机器IP，-m 指定nat模式，-w指定rs权重
$IPVSADM -a -t 192.168.99.99:80 -r 192.168.88.10:80 -m -w 1  //详细规则，-r 指定rs机器IP，-m 指定nat模式，-w指定rs权重

IPVSADM -A -t 192.168.142.144:80 -s lc -p 3 ： -A增加一个规则，-t 制定lvs 模式，之后IP 就是分发器的IP，-s 指定算法；-p 指定超时时间（数据包转发超时时间），例如用户1访问的是a机器，-p 的意思就是在同一个时间，一直在同一台机器上进行请求

测试脚本

[root@linux-15 network-scripts]# sh /usr/local/sbin/lvs_nat.sh
[root@linux-15 network-scripts]#

执行脚本，若是没输出，表示脚本没有错误

效果测试

使用curl模拟公网IP进行访问

[root@linux-15 network-scripts]# curl 192.168.99.99
master master
[root@linux-15 network-scripts]# curl 192.168.99.99
This is a default site.
[root@linux-15 network-scripts]# curl 192.168.99.99
master master
[root@linux-15 network-scripts]# curl 192.168.99.99
This is a default site.
[root@linux-15 network-scripts]# curl 192.168.99.99
master master

通过上述结果，说明lvs已经部署成功了