Nginx架构四之七层负载均衡

负载均衡概念

负载均衡（Load balancing）在不同的领域有不同的概念。其基本概念是为了减轻某个或某些实体的负载，将任务通过某种策略分配到多个实体上去，实现负载在不同实体间的平衡。

七层负载均衡

七层就是基于URL等应用层信息的负载均衡。从第七层"应用层"开始，根据虚拟的url或IP，主机名接收请求，再转向相应的处理服务器。七层负载均衡器也称作七层交换机，即L7 switch（七层交换），OSI的最高层，应用层。此时，该Load Balancer能理解应用协议。如：HAProxy、Nginx等。

四层负载均衡

四层就是基于IP+端口的负载均衡，是在三次负载均衡的基础上，即从第四层"传输层"开始，使用"ip+port"接收请求，再转发到对应的机器。四层负载均衡器也称作四层交换机，即L4 switch（四层交换），在OSI第4层工作，此种Load Balance不理解应用协议（如HTTP/FTP/MySQL等等）。如：LVS、F5、深信服AD等。

四层负载均衡场景

以常见的TCP为例，负载均衡设备在接收到第一个来自客户端的SYN 请求时，即通过上述方式选择一个最佳的服务器，并对报文中目标IP地址进行修改(改为后端服务器IP），直接转发给该服务器。TCP的连接建立，即三次握手是客户端和服务器直接建立的，负载均衡设备只是起到一个转发动作。在某些部署情况下，为保证服务器回包可以正确返回给负载均衡设备，在转发报文的同时可能还会对报文原来的源地址进行修改。
实现四层负载均衡的有：

F5：硬件负载均衡器，功能很好，但是成本很高。
lvs：重量级的四层负载均衡软件
haproxy：模拟四层、七层转发，较灵活
参考：负载均衡（四层） LVS

四层负载均衡特点

四层负载均衡仅能转发TCP/IP协议、UDP协议、通常用来转发端口，如：tcp/22、udp/53；
四层负载均衡可以用来解决七层负载均衡端口限制问题；（七层负载均衡最大使用65535个端口号）
四层负载均衡可以解决七层负载均衡高可用问题；（多台后端七层负载均衡能同时的使用）
四层的转发效率比七层的高得多，但仅支持tcp/ip协议，不支持http和https协议；
通常大并发场景通常会选择使用在七层负载前面增加四层负载均衡。

四层和七层负载均衡的区别

四层负载均衡数据包是在底层就进行了分发，而七层负载均衡数据包则在
最顶端进行分发，所以四层负载均衡的效率比七层负载均衡的要高。
四层负载均衡不识别域名，而七层负载均衡识别域名。

Nginx七层负载均衡

Nginx要实现七层负载均衡需要用到proxy_pass代理模块配置。Nginx默认安装支持这个模块，我们不需要再做任何处理。Nginx的负载均衡是在Nginx的反向代理基础上把用户的请求根据指定的算法分发到一组【upstream虚拟服务池】。

upstream指令

该指令是用来定义一组服务器，它们可以是监听不同端口的服务器，并且也可以是同时监听TCP和Unix socket的服务器。服务器可以指定不同的权重，默认为1。

语法	upstream name {…}
默认值	—
位置	http

server指令

该指令用来指定后端服务器的名称和一些参数，可以使用域名、IP、端
口或者unix socket。

语法	server name [paramerters]
默认值	—
位置	upstream

实现流程

Nginx负载均衡

我们搭建一个测试环境，部署三个web应用，分别为serverA , serverB，serverC，并在hosts文件中配置测试域名。

127.0.0.1 www.test-nginx.com

serverA 的访问地址
http://www.test-nginx.com:9091/web/hello
输出内容：hello，I am server A !
serverB 的访问地址
http://www.test-nginx.com:9092/web/hello
输出内容：hello，I am server B !
serverC 的访问地址
http://www.test-nginx.com:9093/web/hello
输出内容：hello，I am server C !

服务端设置

server {listen 9091;server_name localhost;default_type "text/plain;charset=utf-8";return 200 "hello，I am server A !";}
server {listen 9092;server_name localhost;default_type "text/plain;charset=utf-8";return 200 "hello，I am server B !";}server {listen 9093;server_name localhost;default_type "text/plain;charset=utf-8";return 200 "hello，I am server C !";}

负载均衡设置

    upstream myweb {server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;}

负载均衡状态

代理服务器在负责均衡调度中的状态有以下几个:

状态	概述
down	当前的server暂时不参与负载均衡
backup	预留的备份服务器
max_fails	允许请求失败的次数
fail_timeout	经过max_fails失败后, 服务暂停时间
max_conns	限制最大的接收连接数

down

将该服务器标记为永久不可用，那么该代理服务器将不参与负载均衡。

   upstream myweb {server 127.0.0.1:9091 down;server 127.0.0.1:9092;server 127.0.0.1:9093;}server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}}

发送10次请求访问地址：http://www.test-nginx.com/proxy/hello，输出如下：

hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !

backup

将该服务器标记为备份服务器，当主服务器不可用时，将用来传递请求。

upstream myweb {server 127.0.0.1:9091 down;server 127.0.0.1:9092 backup;server 127.0.0.1:9093;}server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}}

max_conns

max_conns=number:用来设置代理服务器同时活动链接的最大数量，默认为0，表示不限制，使用该配置可以根据后端服务器处理请求的并发量来进行设置，防止后端服务器被压垮。

max_fails和fail_timeout

max_fails=number:设置允许请求代理服务器失败的次数，默认为1。
fail_timeout=time:设置经过max_fails失败后，服务暂停的时间，默认是10秒。

   upstream myweb {server 127.0.0.1:9091 down;server 127.0.0.1:9092 backup;server 127.0.0.1:9093 max_fails=1 fail_timeout=10;}server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}}

负载均衡策略

介绍完Nginx负载均衡的相关指令后，我们已经能实现将用户的请求分发到不同的服务器上，那么除了采用默认的分配方式以外，我们还能采用什么样的负载算法?
Nginx的upstream支持如下六种方式的分配算法，分别是：轮询，加权轮询，Ip hash。下面我们对其一一进行演示。
1. 轮询(默认)
是upstream模块负载均衡默认的策略。每个请求会按时间顺序逐个分配到不同的后端服务器。轮询不需要额外的配置。每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

worker_processes  4;
events {worker_connections  1024;
}
http {include       mime.types;default_type  application/octet-stream;log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log  logs/access.log  main;sendfile        on;keepalive_timeout  65;#设置虚拟主机的基本信息upstream myweb {server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;}server {listen       80;server_name  localhost;location /proxy/{proxy_pass http://myweb/web/;}location / {root   html;index  index.html index.htm;}error_page   500 502 503 504  /50x.html;location = /50x.html {root   html;}}
}

发送10次请求访问地址：http://www.test-nginx.com/proxy/hello，输出如下：

hello，I am server A !
hello，I am server B !
hello，I am server C !
hello，I am server A !
hello，I am server B !
hello，I am server C !
hello，I am server A !
hello，I am server B !
hello，I am server C !
hello，I am server A !

2. 加权轮询
weight=number:用来设置服务器的权重，默认为1，权重数据越大，被分配到请求的几率越大;该权重值，主要是针对实际工作环境中不同的后端服务器硬件配置进行调整的，此策略比较适合服务器的硬件配置差别比较大的情况。

    upstream myweb {server 127.0.0.1:9091 weight=1;server 127.0.0.1:9092 weight=2;server 127.0.0.1:9093 weight=2;}

发送10次请求访问地址：http://www.test-nginx.com/proxy/hello，输出如下：

hello，I am server A !
hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !
hello，I am server A !
hello，I am server B !
hello，I am server C !
hello，I am server B !
hello，I am server C !

3. Ip hash 算法
当对后端的多台动态应用服务器做负载均衡时，ip_hash指令能够将某个客户端IP的请求通过哈希算法定位到同一台后端服务器上。这样，当来自某一个IP的用户在后端Web服务器A上登录后，在访问该站点的其他 URL，能保证其访问的还是后端web服务器A。每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

    upstream myweb {server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;ip_hash;}

发送10次请求访问地址：http://www.test-nginx.com/proxy/hello，输出如下：

hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !

4. least_conn
最少连接，把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端，使它们的负载大致相同;但是，有些请求占用的时间很长，会导致其所在的后端负载较高。这种情况下，least_conn 这种方式就可以达到更好的负载均衡效果。

    upstream myweb {least_conn;server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;}server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}...}

5. fair（第三方）
fair采用的不是内建负载均衡使用的轮换的均衡算法，而是可以根据页面大小、加载时间长短智能的进行负载均衡。那么如何使用第三方模块的 fair负载均衡策略。需要使用nginx-upstream-fair-master 插件。

下载：nginx-upstream-fair-master。
使用./configure命令将资源添加到Nginx模块中

./configure --add-module=/Users/yangyanping/Downloads/soft/nginx-upstream-fair-master

编译，编译可能会出现如下错误，ngx_http_upstream_srv_conf_t结构中缺少 default_port

make

解决方案：
在Nginx的源码中 src/http/ngx_http_upstream.h,找到 ngx_http_upstream_srv_conf_s ，在模块中添加添加default_port属性

struct ngx_http_upstream_srv_conf_s {ngx_http_upstream_peer_t         peer;void                           **srv_conf;ngx_array_t                     *servers;  /* ngx_http_upstream_server_t */ngx_uint_t                       flags;ngx_str_t                        host;u_char                          *file_name;ngx_uint_t                       line;in_port_t                        port;in_port_t                        default_port;ngx_uint_t                       no_port;  /* unsigned no_port:1 */#if (NGX_HTTP_UPSTREAM_ZONE)ngx_shm_zone_t                  *shm_zone;
#endif
};

fair 配置

    upstream myweb {server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;fair;}server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}...}

6. url_hash（第三方）
按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，要配合缓存命中来使用。同一个资源多次请求，可能会到达不同的服务器上，导致不必要的多次下载，缓存命中率不高，以及一些资源时间的浪费。而使用url_hash，可以使得同一个url(也就是同一个资源请求)会到达同一台服务器，一旦缓存住了资源，再此收到请求，就可以从缓存中读取。按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

 upstream myweb {hash $request_uri;server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093;}
server {listen       80;server_name  localhost;location /proxy/ {proxy_pass http://myweb/web/;}.....
}

发送10次请求访问地址：http://www.test-nginx.com/proxy/hello，输出如下：

hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !
hello，I am server A !

Nginx实现热备

负载均衡的server中常见配置

upstream myweb { ip_hash; server 127.0.0.1:9091;server 127.0.0.1:9092 down; (down 表示当前的server暂时不参与负载) server 127.0.0.1:9093 weight=2; (weight 默认为1.weight越大，负载的权重就越大) server 127.0.0.1:9094 backup; (其它所有的非backup机器down或者忙的时候，请求backup机器)
}

我们配置serverC端口为备份服务器，当serverA 和 serverB 都挂掉后会自动使用备份服务器server C(9093端口），但当主服务器serverA 或serverB又启动后，在继续使用主服务器serverA 或serverB，nginx.conf配置如下:

upstream myweb {server 127.0.0.1:9091;server 127.0.0.1:9092;server 127.0.0.1:9093 backup;}server {listen       80;server_name  localhost;location /proxy/{proxy_pass http://myweb/web/;}

访问地址：http://www.test-nginx.com/proxy/hello 10次输出结果如下，从中可以看出请求未访问到serveC (server 127.0.0.1:9093)。

hello，I am server A !
hello，I am server B !
hello，I am server A !
hello，I am server B !
hello，I am server A !
hello，I am server B !
hello，I am server A !
hello，I am server B !
hello，I am server A !
hello，I am server B !

主动停掉server A(9091端口)，再次发送10次请求，10次输出结果如下：

hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !

再主动停掉serverB(9092端口)，再次发送10次请求，10次输出结果如下，主服务器serverA和serverB均已宕机，客户端请求都访问到备份服务器serverC。

hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !
hello，I am server C !

启动主服务器 serverB后，再次发送10次请求，10次输出结果如下，主服务器serverB已启动，客户端请求会优选访问主服务器，所以请求都会访问到主服务器serverB。

hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !
hello，I am server B !

proxy_pass详解

在Nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。
假设下面四种情况分别用 http://127.0.0.1/proxy/hello 进行访问。

第一种配置，代理URL：http://127.0.0.1:9091/hello
location /proxy/ {
proxy_pass http://127.0.0.1:9091/
}
第二种配置，代理URL：http://127.0.0.1:9091/proxy/hello
location /proxy/ {
proxy_pass http://127.0.0.1:9091
}
第三种配置，代理URL：http://127.0.0.1:9091/web/hello
location /proxy/ {
proxy_pass http://127.0.0.1:9091/web/
}
第三种配置，代理URL：http://127.0.0.1:9091/webhello
location /proxy/ {
proxy_pass http://127.0.0.1:9091/web
}
MVC测试代码

@RestController
public class HelloController {@GetMapping({"/web/hello", "webhello"})public String hello() {return "hello，I am server A!";}
}