nginx ip黑名单动态封禁
网站被恶意请求,拉黑IP是重要的手段,如果每次拉黑都要到nginx上配置,未免太low了;我们需要更方便的控制nginx IP黑名单。
1.方案
黑名单持久化到mysql (常见的方案是redis,但不利于控制,如:不同的IP设置不同的有效期、IP的CRUD、统计等等);
通过lua-nginx-module,在nginx中开辟一块内存(lua_shared_dict),lua将黑名单定期从mysql全量刷新至lua_shared_dict;
所有请求,都要到与lua_shared_dict中的IP check一下。
2.安装
2.1 安装luajit
cd LuaJIT-2.0.5
make
make install PREFIX=/usr/local/luajit
2.2.安装nginx时,将lua模块编译进去
export LUAJIT_LIB=/usr/local/luajit/lib
export LUAJIT_INC=/usr/local/luajit/include/luajit-2.1./configure --prefix=/nginx \
--with-ld-opt="-Wl,-rpath,/usr/local/luajit/lib" \
--add-module=/opt/ngx_devel_kit-0.3.1rc1 \
--add-module=/opt/lua-nginx-module-0.10.14rc3make -j2
make install
ln -s /nginx/sbin/nginx /usr/sbin/nginx
3.配置
3.1 nginx配置
http {server_tokens off;lua_package_path "/usr/local/lib/lua/?.lua;;";lua_shared_dict ip_blacklist 4m;
}server {set $real_ip $remote_addr;if ( $http_x_forwarded_for ~ "^(\d+\.\d+\.\d+\.\d+)" ) {set $real_ip $1;}# 管理信息,访问该URL可以查看nginx中的IP黑名单信息location /get-ipblacklist-info {access_by_lua_file conf/lua/get_ipblacklist_info.lua;}# 同步URL,通过定时任务调用该URL,实现IP黑名单从mysql到nginx的定时刷新location /sync-ipblacklist {access_by_lua_file conf/lua/sync_ipblacklist.lua;}# 生产域名配置,所有需要IP黑名单控制的location,都要包含以下语句location / {access_by_lua_file conf/lua/check_realip.lua;}}
nginx服务器配置以下crrontab
* * * * * /usr/bin/curl -o /dev/null -s http://127.0.0.1/sync-ipblacklist > /dev/null 2>&1
3.2 lua脚本
sync_ipblacklist.lua
local mysql_host = "ip of mysql server"
local mysql_port = 3306
local database = "dbname"
local username = "user"
local password = "password"-- update ip_blacklist from mysql once every cache_ttl seconds
local cache_ttl = 1
local mysql_connection_timeout = 1000local client_ip = ngx.var.real_ip
local ip_blacklist = ngx.shared.ip_blacklist
local last_update_time = ip_blacklist:get("last_update_time");if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) thenlocal mysql = require "resty.mysql";local red = mysql:new();red:set_timeout(mysql_connect_timeout);local ok, err, errcode, sqlstate = red:connect{host = mysql_host,port = mysql_port,database = database,user = username,password = password,charset = "utf8",max_packet_size = 1024 * 1024,}if not ok thenngx.log(ngx.ERR, "mysql connection error while retrieving ip_blacklist: " .. err);elsenew_ip_blacklist, err, errcode, sqlstate = red:query("select ip_addr from ip_blacklist where status = 0 order by create_time desc limit 10000", 100)if not new_ip_blacklist thenngx.log(ngx.ERR, "bad result. errcode: " .. errcode .. " sqlstate: " .. sqlstate .. " err: " .. err);returnendip_blacklist:flush_all();for k1, v1 in pairs(new_ip_blacklist) dofor k2, v2 in pairs(v1) doip_blacklist:set(v2,true);endendip_blacklist:set("last_update_time", ngx.now());end
endngx.say("sync successful");
get_ipblacklist_info.lua
-- 调用URL查看黑名单信息
-- 1万IP消耗不到1.5M ngx.shared内存
-- 获取所有KEY会堵塞别的正常请求对ngx.shared内存的访问,因此只能取少数key展示
require "resty.core.shdict"
ngx.say("total space: " .. ngx.shared.ip_blacklist:capacity() .. "<br/>");
ngx.say("free space: " .. ngx.shared.ip_blacklist:free_space() .. "<br/>");
ngx.say("last update time: " .. os.date("%Y%m%d_%H:%M:%S",ngx.shared.ip_blacklist:get("last_update_time")) .. "<br/>");
ngx.say("first 100 keys: <br/>");
ngx.say("--------------------------<br/>");
ip_blacklist = ngx.shared.ip_blacklist:get_keys(100);
for key, value in pairs(ip_blacklist) dongx.say(key .. ": " .. value .. "<br/>");
end
check_realip.lua
if ngx.shared.ip_blacklist:get(ngx.var.real_ip) thenreturn ngx.exit(ngx.HTTP_FORBIDDEN);
end
3.3 数据库设计
CREATE TABLE `ip_blacklist` (`id` int(11) NOT NULL AUTO_INCREMENT,`ip_addr` varchar(15) COLLATE utf8mb4_bin DEFAULT NULL,`status` int(11) DEFAULT '0' COMMENT '0: valid 有效, 1: invalid 失效',`effective_hour` decimal(11,2) DEFAULT '24' COMMENT '有效期,单位:小时',`ip_source` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '黑名单来源',`create_time` datetime DEFAULT CURRENT_TIMESTAMP,`modify_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,`remark` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '备注',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;CREATE PROCEDURE proc_ip_blacklist_status_update()
-- 将过期的IP状态改为失效
begin update ip_blacklistset status=1where date_add(create_time,INTERVAL effective_hour hour) < now();commit;
end;CREATE EVENT job_ip_blacklist_status_update
ON SCHEDULE EVERY 1 MINUTE
ON COMPLETION PRESERVE
ENABLE
DO
call proc_ip_blacklist_status_update();
4 CRUD
黑名单产生有手工的方式,也有自动的方式,或者两者兼有。
自动的方式有通过python分析elk日志,将恶意IP自动写入mysql,这是个大话题,这里不涉及。
手工的方式可以人肉查看elk请求日志,发现恶意IP,手工填入mysql,这里推荐一个开源的CRUD工具,用户体验很nice(比直接navicat好多了),当然也可以自己写……
项目地址:https://github.com/jonseg/crud-admin-generator
项目的强大之处在于,所有表都帮你生成菜单,然后这些表的CRUD就直接用了。
具体操作见官方说明,就不赘述了。
==over==
nginx ip黑名单动态封禁相关推荐
- openresty开发系列38--通过Lua+Redis 实现动态封禁IP
openresty开发系列38--通过Lua+Redis 实现动态封禁IP 一)需求背景为了封禁某些爬虫或者恶意用户对服务器的请求,我们需要建立一个动态的 IP 黑名单.对于黑名单之内的 IP ,拒绝 ...
- centos----只需三条命令利用iptables和ipset长期封禁ip和临时封禁ip
只需三条命令利用iptables和ipset长期封禁ip和临时封禁ip 下面的是临时封禁ip,请根据自己的情况修改,比如最后登录失败的2000条记录,截取失败次数最多的前60名 [root@cento ...
- Nginx 通过 Lua + Redis 实现动态封禁 IP
背景 为了封禁某些爬虫或者恶意用户对服务器的请求,我们需要建立一个动态的 IP 黑名单.对于黑名单之内的 IP ,拒绝提供服务. 架构 实现 IP 黑名单的功能有很多途径: 1.在操作系统层面,配置 ...
- Nginx 通过 Lua + Redis 实现动态封禁 IP 1
欢迎关注方志朋的博客,回复"666"获面试宝典 来源:segmentfault.com/a/1190000018267201 背景 为了封禁某些爬虫或者恶意用户对服务器的请求,我们 ...
- Openresty通过Lua+Redis 实现动态封禁IP
需求背景 为了封禁某些爬虫或者恶意用户对服务器的请求,我们需要建立一个动态的 IP 黑名单.对于黑名单之内的 IP ,拒绝提供服务.并且可以设置失效 环境准备 linux version:centos ...
- 实现动态封禁 IP就是这么简单~
开发者(KaiFaX) 面向全栈工程师的开发者专注于前端.Java/Python/Go/PHP的技术社区 原文:https://segmentfault.com/a/1190000018267201 ...
- Nginx+Lua脚本+Redis 实现自动封禁访问频率过高IP
前言:由于公司前几天短信接口被一直攻击,并且攻击者不停变换IP,导致阿里云短信平台上的短信被恶意刷取了几千条,然后在Nginx上对短信接口做了一些限制 临时解决方案: 1.查看Nginx日志发现被攻击 ...
- Centos添加ip黑名单禁止某个ip访问,对登陆失败的主机进行封禁
转载来源 : Centos添加ip黑名单禁止某个ip访问,对登陆失败的主机进行封禁 :http://www.safebase.cn/article-259725-1.html 在Linux中如何禁止I ...
- Nginx封禁恶意IP
网络攻击时有发生, TCP洪水攻击.注入攻击.DOS等 比较难防的有DDOS等 数据安全,防止对手爬虫恶意爬取,封禁IP 一般就是封禁ip linux server的层面封IP:iptables ng ...
最新文章
- win7下的IP-主机名映射
- 服务器磁盘阵列做win7系统,Raid0可以安装winxp-x86,但不能安装win7-x64,是怎么回事呢?!...
- Struts详细用法
- OpenCASCADE绘制测试线束:布尔运算命令之两个操作数的布尔运算
- java年利润编程题_[编程入门]利润计算-题解(Java代码)
- 【Luogu】P3343地震后的幻想乡(对积分概率进行DP)
- 基于鸿蒙Hi3861和华为云平台的烟雾报警器(附源码)
- mysql 数据库复制软件_mysql 快速复制数据库
- OWASP 创始人:关注首要问题,开源库也可以放心使用
- 鸿蒙系统能玩魔兽世界吗,苹果M1可以玩魔兽世界吗 M1芯片能玩魔兽吗
- 如何快速批量新建文本文档(txt)?
- cad老是弹出命令中发生异常_CAD为什么会异常退出?遇到CAD异常退出怎么办-百度经验...
- 小白的python学习实录 基础篇(八)面向对象
- 计算机桌面的内存设置方法,计算机内存不足【处理方法】
- oracle wallet java_Oracle Wallet初探
- 房地产销售一直不开单?看看销售冠军的逼单话术
- 刨根问底:Windows CTF协议安全性研究
- 5.Metasploit攻击载荷深入理解
- 关于ue4播放(play)后画质不清晰的问题
- open-falcon hbs 部署