服务系统集群LVS（Linux Virtual Server）学习笔记

首先向LVS创始人张文嵩先生致以敬意，感谢您，使我们这些后生才能接触到此款优秀应用

此文主要对lvs负载均衡学习的总结，一为记录，二为巩固，主要介绍lvs的一些基础知识。

前提：负载均衡（LB Cluster）负载均衡实现方法有两种：硬件实现和软件实现；硬件比较常见的有：   1) F5 Big-IP；2）Citrix Netscaler；3）A TEN软件比较常见的有：   1）LVS（Linux Virtual Server）；2）nginx；3）HAProxy；4）ATS（Apache Traffic Server）

一、LVS基础

1.1 什么是lvs

　　LVS是Linux Virtual Server的缩写，顾名思义是一个虚拟的服务器集群系统，项目在1998年5月由张文嵩博士成立，在linux 2.6版本后，LVS被收录到内核中。

1.2 lvs能拿来干什么

　　LVS作为一个调度器，能把用户的大量并发请求负载均衡至后端服务器，使得网站在高并发下还能提供服务，而不至于瘫痪。LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。 LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

1.3 lvs的工作模式

　　LVS是四层负载均衡，也就是说建立在OSI模型的第四层——传输层之上，传输层上有我们熟悉的TCP/UDP，LVS支持TCP/UDP的负载均衡。因为LVS是四层负载均衡，因此它相对于其它高层负载均衡的解决办法，比如DNS域名轮流解析、应用层负载的调度、客户端的调度等，它的效率是非常高的。

　　LVS的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。 当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术，IPVS实现负载均衡机制有几种，分别是NAT、DR、TUN及FULLNAT。

1.3.1 lvs-nat工作模式

NAT（Network Address Translation 网络地址转换）是一种外网和内外地址映射的技术，内网可以是私有网址，外网可以使用NAT方法修改数据报头，让外网与内网能够互相通信。NAT模式下，网络数据报的进出都要经过LVS的处理。LVS需要作为RS（真实服务器）的网关。当包到达LVS时，LVS做目标地址转换（DNAT），将目标IP改为RS的IP。RS接收到包以后，仿佛是客户端直接发给它的一样。RS处理完，返回响应时，源IP是RS IP，目标IP是客户端的IP。这时RS的包通过网关（LVS）中转，LVS会做源地址转换（SNAT），将包的源地址改为VIP，这样，这个包对客户端看起来就仿佛是LVS直接返回给它的。客户端无法感知到后端RS的存在。

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；
（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；
（3）支持端口映射，可修改请求报文的目标PORT；
（4）vs必须是Linux系统，rs可以是任意系统；

缺点：在整个过程中，所有输入输出的流量都要经过LVS 调度服务器。显然，LVS 调度服务器的网络I/O压力将会非常大，因此很容易成为瓶颈，特别是对于请求流量很小，而响应流量很大的Web类应用来说尤为如此。

优点： NAT模式的优点在于配置及管理简单，由于了使用NAT技术，LVS 调度器及应用服务器可以在不同网段中，网络架构更灵活，应用服务器只需要进行简单的网络设定即可加入集群。

1.3.2 lvs-dr工作模式（最为常用）

　　DR（Direct Routing 直接路由模式）此模式时LVS 调度器只接收客户发来的请求并将请求转发给后端服务器，后端服务器处理请求后直接把内容直接响应给客户，而不用再次经过LVS调度器。LVS只需要将网络帧的MAC地址修改为某一台后端服务器RS的MAC，该包就会被转发到相应的RS处理，注意此时的源IP和目标IP都没变。RS收到LVS转发来的包时，链路层发现MAC是自己的，到上面的网络层，发现IP也是自己的，于是这个包被合法地接受，RS感知不到前面有LVS的存在。而当RS返回响应时，只要直接向源IP（即用户的IP）返回即可，不再经过LVS。

注意：(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：(a) 在前端网关做静态绑定；(b) 在RS上使用arptables；(c) 在RS上修改内核参数以限制arp通告及应答级别；arp_announcearp_ignore(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；(3) RS跟Director要在同一个物理网络；(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；(5) 此模式不支持端口映射；

缺点：唯一的缺陷在于它要求LVS 调度器及所有应用服务器在同一个网段中，因此不能实现集群的跨网段应用。

优点：可见在处理过程中LVS Route只处理请求的直接路由转发，所有响应结果由各个应用服务器自行处理，并对用户进行回复，网络流量将集中在LVS调度器之上。

1.3.3 lvs-tun 工作模式

　　TUN（virtual server via ip tunneling　IP 隧道）调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文。此转发方式不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP），由于一般网络服务应答数据比请求报文大很多，采用lvs-tun模式后，集群系统的最大吞吐量可以提高10倍

注意：(1) DIP, VIP, RIP都应该是公网地址；(2) RS的网关不能，也不可能指向DIP；(3) 请求报文要经由Director，但响应不能经由Director；(4) 此模式不支持端口映射；(5) RS的操作系统得支持隧道功能

缺点:由于后端服务器RS处理数据后响应发送给用户，此时需要租借大量IP（特别是后端服务器使用较多的情况下）。

优点:实现lvs-tun模式时，LVS 调度器将TCP/IP请求进行重新封装并转发给后端服务器，由目标应用服务器直接回复用户。应用服务器之间是通过IP 隧道来进行转发，故两者可以存在于不同的网段中。

1.3.4 lvs-fullnat模式（此类型默认不支持）

　　此模式类似DNAT，它通过同时修改请求报文的源IP地址和目标IP地址进行转发

注意：(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；(3) 请求和响应报文都经由Director；(4) 支持端口映射；

1.4 LVS 的调度算法

根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种。

静态方法：   仅根据算法本身进行调度；RR：roundrobin，轮询调度，即简单在各主机间轮流调度；WRR：Weighted RR，加权轮询调度，根据各主机的权重进行轮询；SH：Source Hashing，实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定；DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡；动态方法：主要根据每RS当前的负载状态及调度算法进行调度；Overhead=LC：least connections最小连接调度，；lvs根据Overhead=activeconns*256+inactiveconns计算服务器的负载状态，每次选择overhead最小的服务器WLC：Weighted LC 加权最小连接调度；lvs根据Overhead=(activeconns*256+inactiveconns)/weight来计算服务器负载，每次选择overhead最小的服务器，它是lvs的默认调度算法；SED：Shortest Expection Delay最短期望延迟，它不对 inactive 状态的连接进行计算，根据Overhead=(activeconns+1)*256/weight计算服务器负载，选择 overhead 最小的服务器进行调度NQ：Never Queue当有空闲服务器时，直接调度至空闲服务器，当没有空闲服务器时，使用 SED 算法进行调度LBLC：Locality-Based LC，动态的DH算法，基于局部性最少连接，相当于 dh + wlc，正常请求下使用 dh 算法进行调度，如果服务器超载，则使用 wlc 算法调度至其他服务器；LBLCR：LBLC with Replication，带复制功能的LBLC，与 LBLC 不同的是 LVS 将请求 IP 映射至一个服务池中，使用 dh 算法调度请求至对应的服务池中，使用 lc 算法选择服务池中的节点，当服务池中的所有节点超载，使用 lc 算法从所有后端 Realserver 中选择一个添加至服务吃中。

1.5 ipvsadm lvs负载均衡管理命令

核心功能：集群服务管理（lvs调度器）：增、删、改；集群服务的RS管理：增、删、改；查看；管理集群服务：增、改、删；增、改：ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]删：ipvsadm -D -t|u|f service-addressservice-address：-t|u|f：-t: TCP协议的端口，VIP:TCP_PORT-u: TCP协议的端口，VIP:UDP_PORT-f：firewall MARK，是一个数字；[-s scheduler]：指定集群的调度算法，默认为wlc；例子：# ipvsadm -A -t 172.16.33.116:80 -s rr管理集群上的RS：增、改、删；增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]删：ipvsadm -d -t|u|f service-address -r server-addressserver-address：rip[:port]选项：lvs类型：-g: gateway, dr类型-i: ipip, tun类型-m: masquerade, nat类型   -w weight：权重；例子：# ipvsadm -a -t 172.16.33.117:80 -r 192.168.100.1 -m# ipvsadm -a -t 172.16.33.118:80 -r 192.168.100.2 -m清空定义的所有内容：ipvsadm -C查看：ipvsadm -L|l [options]--numeric, -n：numeric output of addresses and ports --exact：expand numbers (display exact values)--connection， -c：output of current IPVS connections--stats：output of statistics information--rate ：output of rate information保存和重载：ipvsadm -S = ipvsadm-saveipvsadm -R = ipvsadm-restore