一、简介

1.1. lvs的持久连接简介

先说说lvs的持久连接能干什么：无论你选择lvs的何种转发策略，如果你想确定来自某一个客户端的所有连接均返回到同一台Real Server,就需要LVS的持久连接了。经常用于SSL,建立一个SSL连接，需要交换SSL密钥，当启用持久性连接时，只需要做一次验证即可。

显然LVS持久连接的定义也就知道了：某一个周期（时间段）之内，来自于同一个用户的请求，都转向同一个RS。

1.2. 持久连接模板：

当使用LVS持久连接时，分发器使用一个连接跟踪（持久连接模板）使所有来自同一客户端的连接被标记为相同的real server；而当客户端向集群服务器请求连接时，分发器（director）会查看持久连接模板，是否real server已经被标记为这种类型的连接，若没有，director重新为每次连接创建一个正常连接的跟踪记录表（持久连接模板）。

1.3. 持久连接超时：

我们可以在director使用ipvsadm为持久连接模板规定一个具体的时间段,如果记数器归零，而且是激活状态（客户端一直在和real server通信），不管你设置的持久连接时长是多少，记录器将会重置一个默认值2分钟，并开始计数，下降为零后，再开始再一下重置。

1.4. 持久连接类型：

PCC（persistent client connections）：持久的客户端连接，也叫做零端口的持久连接；

#ipvsadm -A 192.168.0.10:0 -s rr -p [6000](只需将VIP的端口设为0接口表示所有端口都持久)

PPC（persistent port connections）：持久的端口连接；

一个持久端口连接到同一个real server强制所有从客户端计算机的连接为一个特定的目的端口号

# ipvsadm -A 192.168.0.10:80 -s rr -p [6000]

PNMPP（Persistent Netfilter Marked Packet persistence）：基于防火墙标记的持久性连接；

这种防火墙标记仅在数据包在分发器上时有影响，数据包一旦离开director，就不再被标记。

把多个目标端口标记为同一个标记mark(1~99)，持久后保证可以cookie、session可用。

# ipvsadm -A -f mark -s rr -p [600]

# ipvsadm -a -f mark -r 192.168.10.12 -g

# ipvsadm -a -f mark -r 192.168.10.13 -g

案例示意拓扑：

二、手动配制示例

 2.1. 实验环境：

案例1. 持久的端口连接ppc

director配置：

ipvsadm  -A -t 192.168.2.254:0 -s rr -p

ipvsadm  -a -t 192.168.2.254:0 -t 192.168.2.10 -g  //-g:使用网关直接路由

ipvsadm  -a -t 192.168.2.254:0 -t 192.168.2.10 -g

service ipvsadm save    //保存配置

service ipvsadm start   //启动服务

server1与server2同：

[root@smb html]# echo 1 >  /proc/sys/net/ipv4/conf/lo/arp_ignore

[root@smb html]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

[root@smb html]# echo 1 >  /proc/sys/net/ipv4/conf/all/arp_ignore

[root@smb html]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# ifconfig lo:0 192.168.2.254 netmask 255.255.255.255  配置回环接口

# route add -host 192.168.2.254 dev lo:0        添加默认路由

案例2：持久的客户端连接ppc

#ipvsadm -C                 //清除ipvsadm规则表

#ipvsadm -At 192.168.2.254:80 -s rr -p 1800  //80端口

# ipvsadm -at 192.168.2.254:80 -r 192.168.2.20 -g

# ipvsadm -At 192.168.2.254:3306 -s rr -p 1800

# ipvsadm -at 192.168.2.254:3306 -r 192.168.2.10 -g

# ipvsadm -At 192.168.2.254:22 -s rr -p      //22端口，使用默认时间300秒

# ipvsadm -at 192.168.2.254:22 -r 192.168.2.10 -g   //-g:使用网关直接路由

# ipvsadm -At 192.168.2.254:80 -s rr -p

# ipvsadm -at 192.168.2.254:80 -r 192.168.2.20 -g

#service ipvsadm save    //保存配置

#service ipvsadm start    //启动服务

可通过ipvsadm -Ln来查看策略匹配情况，

案例3: ftp持久连接，防火墙标记

#ipvsadm -C     //清除ipvsadm规则表

#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 21 -j MARK --set-mark 10

#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 10000:20000 -j MARK --set-mark 10

#ipvsadm -A -f 10 -s rr -p 1800

#ipvsadm -a -f 10 -r 192.168.2.10 -g  //-g:使用网关直接路由

#ipvsadm -a -f 10 -r 192.168.2.20 -g

#service ipvsadm save    //保存配置

#service ipvsadm start    //启动服务

案例4：http与https

#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 80 -j MARK --set-mark 80

#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 443 -j MARK --set-mark 80

#ipvsadm -C

# ipvsadm -A -f 80 -s rr -p 300     //修改时间为300秒

# ipvsadm -a -f 80 -r 192.168.2.10 -g  //-g:使用网关直接路由

# ipvsadm -a -f 80 -r 192.168.2.20 -g

#service ipvsadm save                //保存配置

#service ipvsadm start                //启动服务

对于ca的配置略，

案例5：

Real Server: 10.109.134.203 /10.109.134.204

[root@localhost ~]# chkconfig telnet on

[root@localhost ~]# service xinetd restart

Stopping xinetd:              [  OK  ]

Starting xinetd:              [  OK  ]

[root@localhost ~]# netstat -tnlp

...

tcp     0      0 :::80      :::*     LISTEN      7983/httpd

tcp     0      0 :::22      :::*     LISTEN      1501/sshd

tcp     0      0 :::23      :::*     LISTEN      8350/xinetd

...

[root@localhost ~]# useradd hadoop

[root@localhost ~]# passwd hadoop

DR:10.109.134.210

[root@localhost ~]# ipvsadm -A -t 10.109.134.210:23 -s rr

[root@localhost ~]# ipvsadm -a -t 10.109.134.210:23 -r 10.109.134.203 -g -w 2

[root@localhost ~]# ipvsadm -a -t 10.109.134.210:23 -r 10.109.134.204 -g -w 1

[root@localhost ~]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port      Forward Weight ActiveConn InActConn

TCP  10.109.134.210:http rr persistent 900

-> 10.109.134.204:http    Route   3   0     0

-> 10.109.134.203:http    Route   1   0     0

TCP  10.109.134.210:telnet rr persistent 3600

-> 10.109.134.204:telnet   Route   1   1     0

-> 10.109.134.203:telnet   Route   2   1     0

若要实现持久连接

[root@localhost ~]# ipvsadm -E -t 10.109.134.210:23 -s rr -p 3600

若要实现多服务的标记持久连接

ipvsadm -C

iptables -t mangle -A PREROUTING -d 10.109.134.210 -i eth0 -p tcp --dport 80 -j mark 6

iptables -t mangle -A PREROUTING -d 10.109.134.210 -i eth0 -p tcp --dport 23 -j mark 6

ipvsadm -A -f 6 -s rr -p 600

ipvsadm -a -f 6 -r 10.109.134.203 -g -w 2

ipvsadm -a -f 6 -r 10.109.134.204 -g -w 1

---end---