使用Python解析nginx日志文件
项目的一个需求是解析nginx的日志文件。
简单的整理如下:
日志规则描述
首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式:
log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';
其中一条真实记录样例如下:
172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"
其中,客户端型号信息用XXXXXXX
代替。
项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下:
ID-ID-YYMMDD-hhmmss
并且所有的日志文件存放在统一路径下。
解决思路
获取所有日志文件path
这里使用Python的glob
模块来获取日志文件path
import globdef readfile(path):return glob.glob(path + '*-*-*-*')
获取日志文件中每一行的内容
使用Python的linecache
模块来获取文件行的内容
import linecachedef readline(path):return linecache.getlines(path)
注意:linecache模块使用了缓存,所以存在以下问题:
在使用linecache模块读取文件内容以后,如果文件发生了变化,那么需要使用
linecache.updatecache(filename)
来更新缓存,以获取最新变化。linecache模块使用缓存,所以会耗费内存,耗费量与要解析的文件相关。最好在使用完毕后执行
linecache.clearcache()
清空一下缓存。
当然,作为优化,这里可以利用生成器
来进行优化。暂且按下不表。
处理日志条目
一条日志信息就是一个特定格式的字符串,因此使用正则表达式
来解析,这里使用Python的re
模块。
下面,一条一条建立规则:
规则
ip = r"?P<ip>[\d.]*"date = r"?P<date>\d+"month = r"?P<month>\w+"year = r"?P<year>\d+"log_time = r"?P<time>\S+"method = r"?P<method>\S+"request = r"?P<request>\S+"status = r"?P<status>\d+"bodyBytesSent = r"?P<bodyBytesSent>\d+"refer = r"""?P<refer>[^\"]*"""userAgent=r"""?P<userAgent>.*"""
解析
p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\ \"(%s)\"\ \"(%s).*?\"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)
这样,就可以得到日志条目中各个要素的原始数据。
格式及内容转化
得到日志原始数据之后,需要根据业务要求,对原始数据进行格式及内容转化。
这里需要处理的内容包括:时间,request,userAgent
时间格式转化
在日志信息原始数据中存在Dec
这样的信息,利用Python的time
模块可以方便的进行解析
import timedef parsetime(date, month, year, log_time):time_str = '%s%s%s %s' %(year, month, date, log_time)return time.strptime(time_str, '%Y%b%d %H:%M:%S')
解析request
在日志信息原始数据中得到的request
的内容格式为:
/report?XXXXXX
这里只需要根据协议取出XXXXXX
即可。
这里仍然采用Python的re
模块
import redef parserequest(rqst):param = r"?P<param>.*"p = re.compile(r"/report\?(%s)" %param, re.VERBOSE)return re.findall(p, rqst)
接下来需要根据业务协议解析参数内容。这里需要先利用base64
模块解码,然后再利用struct
模块解构内容:
import struct
import base64def parseparam(param):decodeinfo = base64.b64decode(param)s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')return s.unpack(decodeinfo)
解析userAgent
在日志信息原始数据中userAgent数据的格式为:
XXX; XXX; XXX; XXX
根据业务要求,只需要取出最后一项即可。
这里采用re
模块来解析。
import redef parseuseragent(useragent):agent = r"?P<agent>.*"p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)return re.findall(p, useragent)
至此,nginx日志文件解析基本完成。
剩下的工作就是根据业务需要,对获得的基本信息进行处理。
(完)
使用Python解析nginx日志文件相关推荐
- 基于python的Nginx日志管理分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 本项目利用 pandas + sklearn 对 Nginx 的日志数据进行统计分析,并利用 fla ...
- 使用logrotate管理nginx日志文件
本文转载自:http://linux008.blog.51cto.com/2837805/555829 描述:linux日志文件如果不定期清理,会填满整个磁盘.这样会很危险,因此日志管理是系统管理员日 ...
- Nginx 日志文件切割
为什么80%的码农都做不了架构师?>>> 偶然发现access.log有21G大,所以将其切割. Nginx 是一个非常轻量的 Web 服务器,体积小.性能高.速度快等诸多优点 ...
- Nginx日志文件的切割
Nginx日志文件的切割 生产环境中,由于访问日志文件增长速度非常快,日志太大会严重影响服务器效率. 同时,为了方便对日志进行分析和计算,需要对日志文件进行定时切割. 定时切割方式,包括按月切割.按天 ...
- Nginx日志文件的配置
Nginx日志文件的配置 Nginx的日志文件,默认在Nginx程序安装目录的logs二级目录下. 与Nginx日志相关的指令有两条 log_format,用来设置日志的记录格式. Access_lo ...
- logrotate管理nginx日志文件
转自:http://linux008.blog.51cto.com/2837805/555829/ 描述:linux日志文件如果不定期清理,会填满整个磁盘.这样会很危险,因此日志管理是系统管理员日常工 ...
- Python 解析log日志
Python 解析log日志 软件环境 环境搭建 待解析log日志格式 log解析脚本 解析后文本格式 软件环境 软件 版本 作用 Ubuntu 20.04 操作系统 python 3.8.10 py ...
- logstash中无法解析nginx日志中的\x09类似字符导致服务停止
logstash中无法解析nginx日志中的"\x09"类似字符导致服务停止 logstash正常情况是一直稳定运行,突然有一天报告logstash服务宕机,排查日志,在日志中找到 ...
- Nginx日志文件清理
Nginx日志文件清理 创建定时清理nginx日志脚本 vi /home/adam/nginx/logs/nginx_timing_log.sh 脚本内容 #!/bin/bash #LOGS_PATH ...
最新文章
- 清华大数据软件成果亮相第三届数字中国建设峰会成果展览
- python列表迭代器_关于Python中迭代器的作用
- Spring的@Configuration配置类-Full和Lite模式
- Finereport集群配置
- gson-2.2.api简单
- NOI入门级:排序算法
- C#类的一些简单比较
- python空集合_python空集合
- 浅析ASP.NET应用Autofac获取页面服务
- 链表去重 保留第一个元素
- 8运行不了_民航局暂停运行737max8,分析可能因为“它”导致飞机俯冲坠落
- html5学习笔记(7)
- 对极大似然估计的理解
- 开启Accessibility的快捷方式-3次home键或者侧边键
- AD9导入CAD文件做封装外框
- 牛逼!SpringBoot+Vue企业级支付系统!附源码!
- 俄罗斯方块(C/C++)
- 电脑术语中:directory 和 folder 的区别
- 群表示论之Able群的不可约表示
- 画质增强概述-1-定义
热门文章
- windows环境下配置Jupyter+vim
- linux查看目录大小
- mysql导出入数据库报错_mysql数据库导出导入数据库的搜索结果-阿里云开发者社区...
- flutter能开发游戏吗_游戏开发者都擅长“打自己的游戏”吗?
- Leetcode-13. 罗马数字转整数(C++)
- 第12章:项目采购管理(2)-章节重点
- redis 配置文件示例
- Vue项目打包成桌面程序exe除了使用electron-vue你还可以这样
- Eclipse新建SpringBoot后pom.xml代码
- Java未将对象引用设置到对象的实例