基于underlay和overlay转换的四层负载均衡

四层负载均衡

负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。四层负载均衡，也就是主要通过报文中的目标地址和端口，再加上负载均衡设备设置的服务器选择方式，决定最终选择的内部服务器。

实现方式

通过发布三层的 IP 地址（VIP），然后加四层的端口号，来决定哪些流量需要做负载均衡，对需要处理的流量进行 NAT 处理，转发至后台服务器，并记录下这个 TCP 或者 UDP 的流量是由哪台服务器处理的，后续这个连接的所有流量都同样转发到同一台服务器处理。

tcp负载均衡举

负载均衡设备在接收到第一个来自客户端的 SYN 请求时，即通过上述方式选择一个最佳的服务器，并对报文中目标 IP 地址进行修改（改为后端服务器 IP），直接转发给该服务器。TCP 的连接建立，即三次握手是客户端和服务器直接建立的，负载均衡设备只是起到一个类似路由器的转发动作。

1、设置vip，在网关设备实现arp代答

vip是虚拟ip，当用户宿主机 ping vip时，会先向网关发arp包请求mac地址，arp包到网关后，根据流表策略匹配到目的地为vip的包，且flag=skip_hw_act代表支持从硬件up到软件里，同时从入口转发，包回到用户宿主机时，拆包发现vip对应的mac是网关的物理mac

在网关设备的ovs下流表：vip=10.255.1.24，protocal=1

ovs-appctl dpctl/add-flow priority:10,flags:skip_hw_act,in_port(5),eth_type(0x0800),ipv4(dst=10.255.1.24,proto=1),icmp() icmp_proxy,5

2、设置vport，在网关设备实现负载均衡转发

实现负载均衡是基于tcp协议，本质是tcp连接的负载均衡，当tcp三次握手建立起连接后，后续的包都会从这个连接转发，这个流表要匹配vip和vport，修改源mac为网卡mac，目的mac为真实物理机器的mac，多台物理机之间是根据weight权重分配到真实物理机，同时从另一口转发

匹配项：
1、将用户源ip转换成上联物理口一个网卡配置的多个虚拟ip地址（10.87.255.50-10.87.255.255）其中的一个ip
2、将目的ip由vip转换成pool里真实rs的ip
3、指定轮询算法wrr，支持toa（client的ip对rs而言是不可见的，但有对于rs放开白名单的需求，需要查看client的ip，所以toa支持将client的ip保存在tcp option里，rs可以看到）
4、从mac地址dd:d9:31:ee:44:56即与真实提供服务的物理机连接的物理口转发出去

在网关设备的ovs下流表：

ovs-appctl dpctl/add-flow in_port(3),eth(),eth_type(0x0800),ipv4(dst=10.255.1.24,proto=6),tcp(dst=8080) ct(commit,nat(src=10.87.255.50-10.87.255.255,dst=pool(ddfead09a2eb46bc9e08406acd71a314),alg=wrr,toa)),set(eth(dst=dd:d9:31:ee:44:56)),6

3、添加rs端口服务到负载均衡池

将真实物理机的ip（10.72.19.56和10.72.19.58）放入转换池，以供vip和port地址转换，注意此时虽然rs加入了pool但是weight=0

在网关设备的ovs下流表：

ovs-appctl dpctl/ct-add-pool "name(ddfead09a2eb46bc9e08406acd71a314),dst((addr=10.72.19.56:8081,active=true),(addr=10.72.19.58:8081,active=true))

此时通过访问vip可以访问物理机8081端口的服务

4、从负载均衡池删除rs服务

将一台设备的服务从连接池删除

在网关设备的ovs下流表：

ovs-appctl dpctl/ct-del-pool "name(ddfead09a2eb46bc9e08406acd71a314),dst((addr=10.72.19.56:8081,weight=10,active=true))"

5、删除vport

在网关设备的ovs下流表：

ovs-appctl  dpctl/del-flow in_port(5),eth(),eth_type(0x0800),ipv4(dst=10.255.1.24,proto=6),tcp(dst=8080)

6、更新vport算法

在网关设备的ovs下流表：

ovs-appctl dpctl/mod-flow in_port(3),eth(),eth_type(0x0800),ipv4(dst=10.255.1.24,proto=6),tcp(dst=8080) ct(commit,nat(src=10.87.255.50-10.87.255.255,dst=pool(ddfead09a2eb46bc9e08406acd71a314),alg=rr,toa)),set(eth(dst=dd:d9:31:ee:44:56)),2

7、删除vip

在网关设备的ovs下流表：

ovs-appctl dpctl/del-flow priority:6,flags:skip_hw_act,in_port(5),eth_type(0x0800),ipv4(dst=10.255.1.24,proto=1),icmp()

内部负载均衡流程

外部负载均衡流程

如果想实现公网访问，需要再经过虚拟网关vrouter

ovs常用命令：

ovs-appctl dpctl/add-flow    //添加流表
ovs-appctl dpctl/mod-flow    //修改流表
ovs-appctl dpctl/dump-flows  //查看流表ovs-appctl dpctl/ct-add-pool    //在pool中加入ip，若想更新pool中的ip，重写即可，会覆盖为最新的
ovs-appctl dpctl/ct-dump-pool   //展示pool中的ip