基于Nginx日志的自动封异常ip和解封脚本
基于Nginx日志的自动封异常ip和解封脚本
设计思路:
1.每五分钟统计一次日志异常ip
2.被封的异常ip一小时后自动解封
3.尽量减少对Nginx的重启,完成全部判断后再去考虑是否重启Nginx进程
4.黑名单ip采用非iptable,使用将deny+ip语句加入blockip.conf中(后期解封比较好处理),并且在上述语句块中nginx.conf中include此文件(blockip.conf可以根据需要放入http 语句块、server 语句块、location 语句块)
5.blockip.conf设计为deny + ip + ;号 + #号 + 时间戳(五个可以分割的值)
程序流程图
程序有两个脚本组成
1.python写的blockip.conf中的ip根据时间戳去解封(简称sub),返回一个是够要重启的信号给shell
2.shell写的根据最近五分钟访问超过100次(生产环境建议改成500-1000)的ip,加入到blockip.conf,根据是否有新ip加入和sub返回值判断Nginx是否需要重启
脚本
1.nginx_black.sh
#/bin/bash#/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py
reload1=$(/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py) ##调用python脚本,是否返回重启
reload2=nores ##默认值不重启
#echo "$reload1"
sleep 1s
my_log=/root/ai2/log.txt
#logfile=/root
logfile=/usr/local/tengine/logs ##Nginx日志confdir=/usr/local/tengine/conf/blockip.conf ##Nginx的blockip.conf目录
time_sjc=$(date -d now +%s) ##获取时间戳
my_log_date=`date +"%Y-%m-%d %H:%M:%S"` ##日志记录时间
start_time=`date -d "-5min" +"%H:%M:%S"` ##start_time-stop_time的值为Nginx统计日志的时间为5分钟
#echo "$start_time"
stop_time=`date +"%H:%M:%S"`
#echo "$stop_time"#过滤出单位之间内的日志并统计最高ip数,请替换为你的日志路径
tac $logfile/host.access.log | awk -v st="$start_time" -v et="$stop_time" ' {t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' |awk '{print $1}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" |sort | uniq -c | sort -nr |head -20> $logfile/log_ip_top20ip=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}'` ##统计排名前10的ip访问次数,100次以上加入黑名单
ip_tmp=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}' |head -1` ##用于if判断去首行,多行会报错
##echo "$ip"if [ "$ip_tmp" = "" ];then ##如果ip_tmp为空,打印没有黑名单ipecho "$my_log_date no black ip " >> $my_log
else
# for line in $ip ##按行读取黑名单ip,按格式加入到blockip.conf和日志
# do
# echo "deny $line ; # $time_sjc" >> $confdir
# echo "$my_log_date deny $line " >> $my_log
# done
# #/usr/local/tengine/sbin/nginx -s reload
# reload2=res ##赋值reload2 需要重启for line in $ip ##按行读取黑名单ip,按格式加入到blockip.conf和日志doif [ `grep -c "$line" $confdir` -eq '0' ];thenecho "deny $line ; # $time_sjc" >> $confdirecho "$my_log_date deny $line " >> $my_logreload2=reselse#line_uptime="deny $line ; # $time_sjc"#sed -e "s/.*'$line'.*$/$line_uptime/g" $confdirsed -i /"$line"/d "$confdir"echo "deny $line ; # $time_sjc" >> $confdirecho "$my_log_date $line is in conf" >> $my_logfidonefi
#echo "$reload1"
#echo "$reload2"##如果reload1或者reload2都为res则重启,否则不重启;
if [ "$reload1" = "res" ] || [ "$reload2" = "res" ];then/usr/local/tengine/sbin/nginx -s reload ##替换自己的Nginx环境变量echo "$my_log_date Nginx reload" >> $my_log
elseecho "$my_log_date Nginx no reload" >> $my_log
fi
2.sub_oldip.py
#!/usr/bin/python3
# chenzhenhua
import string,time,os
time_now = int(time.time())
log_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
dir = "/usr/local/tengine/conf/blockip.conf" ##修改自己的blockip.conf地址
f_log = open("/root/ai2/log.txt","a") ##本程序日志with open(dir,"r",encoding="utf-8") as f: ##读取blockip.conflines = f.readlines()#print(lines)
with open(dir,"w",encoding="utf-8") as f2: ##把日期小于3600的ip重新写入回blockip.conffor line in lines:if line == '' or line == '\n':continueelse:old_time = int(line.strip().split()[4]) ##取第五个值,然后和现在时间挫进行对比time_sjc = time_now -old_timeipadd = line.split()[1]if time_sjc > 3600: ###根据要求调整秒数,秒数大于次值不再重新写入blockip.confline_log = line.strip().split()[1]f_log.write("%s sub %s \n"%(log_time,line_log ) )continueelse:f2.write(line)f2.close()
with open(dir,"r",encoding="utf-8") as f3:lines2 = f3.readlines()
f3.close()
#time.sleep(0.5)
if lines2 == lines: ###对比新、老blockip.conf是否一致f_log.write("%s py over retrun nores \n" % (log_time))# time.sleep(0.5)print('nores') ##返回shell不要求重启
else:f_log.write("%s py over retrun res \n" % (log_time))# time.sleep(0.5)print('res') ##返回shell不要求重启
f_log.close()
测试
加入每五分钟执行一次
[root@Zabbix ~]# crontab -e
*/5 * * * * /root/ai2/nginx_black.sh
其他服务器进行ab测试,没有的百度安装
ab -c 10 -n 100 http://172.16.3.89/test2/
再回到本机进行查看,发现已经加入黑名单中
[root@Zabbix logs]# tail -f /root/ai2/log.txt
2021-08-14 18:15:02 Nginx no reload
2021-08-14 18:20:01 py over retrun nores
2021-08-14 18:20:02 no black ip
2021-08-14 18:20:02 Nginx no reload
2021-08-14 18:25:01 py over retrun nores
2021-08-14 18:25:02 no black ip
2021-08-14 18:25:02 Nginx no reload
2021-08-14 18:30:01 py over retrun nores
2021-08-14 18:30:02 deny 192.168.200.244
2021-08-14 18:30:02 Nginx reload
[root@Zabbix logs]# cat /usr/local/tengine/conf/blockip.conf
deny 192.168.200.244 ; # 1628937002
我们再去刚才ab测试服务器进行curl查看,已经返回403
基于Nginx日志的自动封异常ip和解封脚本相关推荐
- Nginx自动封禁IP
个人网站总被攻击?那就写个自动封禁IP的脚本吧. 思路 AWK统计access.log,记录每分钟访问超过100次的ip,然后配合nginx进行封禁. 编写shell脚本. 定时任务跑脚本. 好,思路 ...
- Ngnix IP封禁以及实现自动封禁IP
1.在ngnix的conf目录下创建一个blockip.conf文件 2.里面放需要封禁的IP,格式如下 deny 1.2.3.4; 3.在ngnix的HTTP的配置中添加如下内容 include b ...
- nginx日志统计分析自动报表工具goaccess(推荐)
nginx日志统计分析自动报表工具goaccess(推荐) 官网: https://goaccess.io/download 源码 https://github.com/opensourceteams ...
- nginx日志中$request_time时间异常问题排查
女主宣言 nginx日志分为access_log和error_log,可以用于业务的访问统计.服务排障等.我们可以自定义设置log_format,来记录关注的各项指标.本文主要讲述了一次nginx日志 ...
- 我的网站被攻击了,运维大佬给了我自动封禁ip的脚本。
我的网站被攻击了,发现友圈最近出现这种情况的还不少,真是神奇了,这事也能扎堆发生. 分享出来给大家,万一以后用得着呢~ 故事背景 我的一个小网站最近总是收到云监控报警,一个部署在4核8G单机上的小网站 ...
- nginx 日志获取不到远程访问ip问题解决
公司有一个应用,后端web用的是nginx,nginx 的所有请求都是通过前端的代理转发过来的,所有在日志格式里面 获取远程ip的变量用的是 $http_x_forwarded_for ,本来用的好好 ...
- ELK采集之nginx 日志高德地图出城市IP分布图
最近确实忙得像狗一样,很久没有更新博客了.今天有点空闲时间写一些相关的ELK stack的博客:本来想做成一些列,后面有时间的话再更新吧 1.采用拓扑: 角色扮演: Agent:采用logstash ...
- 通过nginx日志统计一段时间内ip的访问次数进行排序访问量统计
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1 ...
- 封禁ip、 解封ip实现源码分享
服务端: # 解封ip接口 @csrf_exempt def unblock(request): uname=request.session.get("username", ...
- Linux服务器遇到攻击封禁IP、解封IP
在Linux下封停IP,有封杀网段和封杀单个IP两种形式.于是下面详细说明一下封杀单个IP的命令,和解封单个IP的命令. 在Linux下,使用ipteables来维护IP规则表.要封停或者是解封IP, ...
最新文章
- typedef 返回类型(*Function)(参数表) ——typedef函数指针
- Spring Cloud:Eureka Server控制台
- python中的requests模块的使用大全
- React Native之Props(属性)和State(状态)和简单样式简单使用
- 好的领导应该是什么脾气
- fzyzojP2984 -- 序列变换问题
- Linux配置JDK1.7和Resin4.0
- vue axios 接口封装
- 微信公众号开发 ----微信服务的接入(1)
- 资源 | NJUPT-Yellow-Page 南邮黄页
- 吐血总结《Mysql从入门到入魔》,图文并茂
- K-means聚类算法原理及python实现
- 第十三题:中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱百鸡问题”:一只公鸡值5钱,一只母鸡值3钱,三只小鸡值1钱,现在要用百钱买百鸡,请问公鸡、母鸡、小鸡各多少只?
- 逆商助你回顾2019年迎面2020年
- 不同的「火」在舌頭上的表現也不一樣
- 诺基亚Vertu又出奢华新版本
- 红米note4 android4,红米 note 4(Redmi Note 4 标准版 全网通)刷机详解教程,秒懂刷机...
- 【Linux】主函数的三个形参
- Mac苹果电脑如何输入表情符号?
- 智慧经营| 物业数字化管理系统
热门文章
- 一个故事轻松记忆常见252个英语字根(31~80)
- Modbus功能码及错误码说明
- 投影幕布尺寸计算器_投影距离和屏幕尺寸计算器
- mac mysql 5.7.12修改密码_Mac下 Mysql5.7忘记root密码及mysql5.7修改root密码的方法
- 2021.08.29_Android_各系统间换行符不同引起的无法执行shell脚本,提示no such file or directory
- 茶酒“银行”的梦醒时分
- 微信声音锁会上传到服务器吗,微信声音锁:你再也不用担心忘记密码了
- Html5之canvas清除特定矩形、getContext、fillStyle、fillRect、clearRect、strokeRect
- 读书笔记之《得未曾有》
- react实现markdown编辑器