Nginx配之负载均衡、缓存、黑名单和灰度发布
一、Nginx安装(基于CentOS 6.5)
1.yum命令安装
yum install nginx –y
(若不能安装,执行命令yum install epel-release)
2. 启动、停止和重启
service nginx start
service nginx stop
service nginx restart
浏览器中 输入服务器的 ip 地址,即可看到相应信息
3. 其他信息
rpm -ql nginx 来查看安装路径
yum remove nginx 来卸载
nginx -s reload 配置热更新
二、Nginx负载均衡配置(/etc/nginx/nginx.conf)
- 负载均衡配置
http {……upstream real_server {server 192.168.103.100:2001 weight=1; #轮询服务器和访问权重server 192.168.103.100:2002 weight=2;}server {listen 80;location / {proxy_pass http://real_server;}}
}
2.失败重试配置
upstream real_server {server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;
}
意思是在fail_timeout时间内失败了max_fails次请求后,则认为该上游服务器不可用,然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表,进行重试。
三、Nginx限流配置
- 配置参数
limit_req_zone指令设置参数
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
1)limit_req_zone定义在http块中,$binary_remote_addr表示保存客户端IP地址的二进制形式。
2)Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字,以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB,所以示例中区域可以存储160000个IP地址。
3)Rate定义最大请求速率。示例中速率不能超过每秒10个请求。
2.设置限流
location / {limit_req zone=mylimit burst=20 nodelay;proxy_pass http://real_server;
}
burst排队大小,nodelay不限制单个请求间的时间
3.不限流白名单
geo $limit {
default 1;
192.168.2.0/24 0;
}map $limit $limit_key {
1 $binary_remote_addr;
0 "";
}limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;location / {limit_req zone=mylimit burst=1 nodelay;proxy_pass http://real_server;
}
上述配置中,192.168.2.0/24网段的IP访问是不限流的,其他限流。
IP后面的数字含义:
24表示子网掩码:255.255.255.0
16表示子网掩码:255.255.0.0
8表示子网掩码:255.0.0.0
四、Nginx缓存配置
- 浏览器缓存
静态资源缓存用expire
location ~* .(jpg|jpeg|png|gif|ico|css|js)$ {expires 2d;
}
Response Header中添加了Expires和Cache-Control
静态资源包括(一般缓存)
1)普通不变的图像,如logo,图标等
2)js、css静态文件
3)可下载的内容,媒体文件
协商缓存(add_header ETag/Last-Modified value)
1)HTML文件
2)经常替换的图片
3)经常修改的js、css文件
4)基本不变的API接口
不需要缓存
1)用户隐私等敏感数据
2)经常改变的api数据接口
2.代理层缓存
//缓存路径,inactive表示缓存的时间,到期之后将会把缓存清理
proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;location / {location ~ \.(htm|html)?$ {proxy_cache cache;proxy_cache_key $uri$is_args$args; //以此变量值做HASH,作为KEY//HTTP响应首部可以看到X-Cache字段,内容可以有HIT,MISS,EXPIRES等等add_header X-Cache $upstream_cache_status;proxy_cache_valid 200 10m;proxy_cache_valid any 1m;proxy_pass http://real_server;proxy_redirect off;}location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {root /data/webapps/edc;expires 3d;add_header Static Nginx-Proxy;}
}
在本地磁盘创建一个文件目录,根据设置,将请求的资源以K-V形式缓存在此目录当中,KEY需要自己定义(这里用的是url的hash值),同时可以根据需要指定某内容的缓存时长,比如状态码为200缓存10分钟,状态码为301,302的缓存5分钟,其他所有内容缓存1分钟等等。
可以通过purger的功能清理缓存。
AB测试/个性化需求时应禁用掉浏览器缓存。
五、Nginx黑名单
1.一般配置
location / {deny 192.168.1.1;deny 192.168.1.0/24;allow 10.1.1.0/16;allow 2001:0db8::/32;deny all;
}
2. Lua+Redis动态黑名单(OpenResty)
1)安装运行
yum install yum-utils
yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
yum install openresty
yum install openresty-resty
查看
yum --disablerepo="*" --enablerepo="openresty" list available
运行
service openresty start
2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)
lua_shared_dict ip_blacklist 1m;server {listen 80;location / {access_by_lua_file lua/ip_blacklist.lua;proxy_pass http://real_server;}
}
lua脚本(ip_blacklist.lua)
local redis_host = "192.168.1.132"
local redis_port = 6379
local redis_pwd = 123456
local redis_db = 2-- connection timeout for redis in ms.
local redis_connection_timeout = 100-- a set key for blacklist entries
local redis_key = "ip_blacklist"-- cache lookups for this many seconds
local cache_ttl = 60-- end configurationlocal ip = ngx.var.remote_addr
local ip_blacklist = ngx.shared.ip_blacklist
local last_update_time = ip_blacklist:get("last_update_time");-- update ip_blacklist from Redis every cache_ttl seconds:
if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) thenlocal redis = require "resty.redis";local red = redis:new();red:set_timeout(redis_connect_timeout);local ok, err = red:connect(redis_host, redis_port);if not ok thenngx.log(ngx.ERR, "Redis connection error while connect: " .. err);elselocal ok, err = red:auth(redis_pwd)if not ok thenngx.log(ngx.ERR, "Redis password error while auth: " .. err);elselocal new_ip_blacklist, err = red:smembers(redis_key);if err thenngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);elsengx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)-- replace the locally stored ip_blacklist with the updated values:ip_blacklist:flush_all();for index, banned_ip in ipairs(new_ip_blacklist) doip_blacklist:set(banned_ip, true);end-- update timeip_blacklist:set("last_update_time", ngx.now());endendend
endif ip_blacklist:get(ip) thenngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);return ngx.exit(ngx.HTTP_FORBIDDEN);
end
六、Nginx灰度发布
- 根据Cookie实现灰度发布
根据Cookie查询version值,如果该version值为v1转发到host1,为v2转发到host2,都不匹配的情况下转发默认。
upstream host1 {server 192.168.2.46:2001 weight=1; #轮询服务器和访问权重server 192.168.2.46:2002 weight=2;
}upstream host2 {server 192.168.1.155:1111 max_fails=1 fail_timeout=60;
}upstream default {server 192.168.1.153:1111 max_fails=1 fail_timeout=60;
}map $COOKIE_version $group {~*v1$ host1;~*v2$ host2;default default;
}lua_shared_dict ip_blacklist 1m;server {listen 80;#set $group "default";#if ($http_cookie ~* "version=v1"){# set $group host1;#}#if ($http_cookie ~* "version=v2"){# set $group host2;#}location / {access_by_lua_file lua/ip_blacklist.lua;proxy_pass http://$group;}
}
2. 根据来路IP实现灰度发布
server {……………set $group default;if ($remote_addr ~ "192.168.119.1") {set $group host1;}if ($remote_addr ~ "192.168.119.2") {set $group host2;}
3. 更细粒度灰度发布
可用lua脚本实现,参考开源项目:https://github.com/CNSRE/ABTestingGateway
Nginx配之负载均衡、缓存、黑名单和灰度发布相关推荐
- Spring Cloud Alibaba gateway ribbon 自定义负载均衡规则。发散灰度发布,金丝雀测试等
上一篇介绍了,ribbon的组件.本篇要自己写一个灰度方案.其实就是一个很简单的思维扩散. 需求 前端header请求携带version字段.路由服务根据version去需要对应版本的服务集合,进行或 ...
- Nginx常见配置:负载均衡、限流、缓存、黑名单和灰度发布
一.Nginx安装(基于CentOS 6.5) 1.yum命令安装 yum install nginx –y (若不能安装,执行命令yum install epel-release) 2. 启动.停止 ...
- Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布
Nginx配置之负载均衡.限流.缓存.黑名单和灰度发布 一.Nginx安装(基于CentOS 6.5) 1.yum命令安装 yum install nginx –y (若不能安装,执行命令yum in ...
- windows使用nginx+memcached实现负载均衡和session或者缓存共享
windows使用nginx+memcached实现负载均衡和session或者缓存共享 两台server server1:115.29.186.215 windows2008 64位操作系统 ser ...
- (转)nginx+iis实现负载均衡
nginx+iis实现负载均衡 最近在研究分布式系统架构方面的知识,包括负载均衡,数据库读写分离,分布式缓存redis等.本篇先从负载均衡服务架构入手,关于负载均衡百度百科的定义如下:负载均衡,英文名 ...
- nginx+tomcat+memcached负载均衡
2019独角兽企业重金招聘Python工程师标准>>> nginx+tomcat+memcached负载均衡 负载均衡: 负载均衡是由多台服务器以对称的方式组成一个服务器集合,每台服 ...
- Nginx + IIS实现负载均衡 Session多站点共享
日子过得太索然无味了,研究了一下,所谓的负载均衡(主要是windows服务器IIS下的).先看看分析图: 环境: linux服务器: centos 6.3 windows服务器: windows se ...
- Linux下Nginx+多Tomcat负载均衡实现详解
一.简介 [Nginx] 大名鼎鼎,麻雀虽小五脏俱全,它拥有小而稳且高效的特性.为目前大多数中小企业所使用.nginx可以做以下几件事: 反向代理 负载均衡 动静分离 网页.图片缓存 [Tomcat] ...
- Nginx+Tomcat实现负载均衡、动静分离集群部署
Nginx+Tomcat实现负载均衡.动静分离集群部署 一.Tomcat多实例部署 1.安装好jdk 2.安装tomcat 3.配置tomcat环境变量 4.修改tomcat2中的server.xml ...
最新文章
- Google搜索的常用技巧
- pythonpandas用sql查询数据表_python pandas read_sql_query使用记录
- Hotel California
- springboot2 cookie的token如何放入请求头_Spring MVC 到底是如何工作的
- 利用STM32F唯一96bit序列号实现反拷贝加密的源代码公开(转)
- 排序算法——基数排序
- PHP与MySQL案例剖析_PHP与MySQL案例剖析
- winform窗体数据的添加 1217
- 电子表格控件Spreadsheet 对象方法事件详细介绍
- Ext.Window更换iframe的地址
- 自定义autograd function
- 计算机应用课程的考核情况,《计算机应用技术》课程kpi考核说明..doc
- luogu P3802 小魔女帕琪
- cd40系列芯片_CD40系列74系列芯片
- 一次安装IE11浏览器的经历
- ArcGIS教程:分水岭的工作原理
- 基于python的opencv相机标定(采用黑白棋盘格标定板)
- 数据产品经理修炼手册(从零基础到大数据产品实践)
- 软件设计师经典视频教程
- html description字数限制,description标签如何正确使用?
热门文章
- vbs在excel中打开html文件,从命令行使用VBScript从Excel外部运行Excel宏
- 查看苹果/Mac电脑的硬件配置的方法
- 区分电角度和机械角度
- 区块链安全————区块链技术安全讨论
- gmap mysql cachet,MySQL的缓存(Query Cache)
- 用 PHP 来刷leetCode 之 电话号码的字母组合
- 荒野行动计算机高考题,叮咚,这里有一份荒野行动强迫症测试试卷请查收~
- 自学anaconda的正确姿势
- Arcgis使用自定义的图标库-地图POI图标风格
- 聚焦“教-学-评-测-练-管一体化”,推动新型人才培养