【数据平台】Python解析Ngnix日志

场景：Ngnix格式具有一定格式，通过python的正则表达式读取日志中每行的字段。

Python正则表达式参考：https://docs.python.org/2/library/re.html

代码参考：

# -*- coding: utf-8 -*-
'''
Created on 2018年1月4日@author: Jason.F
@summary: Ngnix log parse
'''
import time
import re
class NgnixLogParse(object):def __init__(self,logline):self.logline=logline'''log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for" "$upstream_addr" "$request_time" "$upstream_response_time" $host';'''def logparse(self):#正则表达式ip = r"?P<ip>[\d.]*"
#timelocal = r"?P<timelocal>\[.*\]" #拆解成date、month、year、log_time
user =r"?P<user>\S+"
date = r"?P<date>\d+"
month = r"?P<month>\w+"
year = r"?P<year>\d+"
log_time = r"?P<time>\S+"
#request = r"?P<request>[^\"]*" #拆解成method、request、portocal
method = r"?P<method>\S+"
request = r"?P<request>\S+"
protocal=r"?P<protocal>\S+"
status = r"?P<status>\d+"
bodyBytesSent = r"?P<bodyBytesSent>\d+"
referer=r"?P<referer>\S+"
user_agent = r"?P<user_agent>[^\"]*"
forwardedfor=r"?P<forwardedfor>\S+"
upstream_addr = r"?P<upstream_addr>.*"
requesttime=r"?P<requesttime>.*"
responsetime=r"?P<responsetime>.*"
host = r"?P<host>\S+"
p=re.compile(r"(%s)\s-\s(%s)\s\[(%s)/(%s)/(%s)\:(%s)\s[\S]+\]\s\"(%s)\s(%s)\s(%s)\"\s(%s)\s(%s)\s\"(%s)\"\s\"(%s)\"\s\"(%s)\"\s\"(%s)\"\s\"(%s)\"\s\"(%s)\"\s(%s) " \
%(ip,user,date,month,year,log_time,method,request,protocal,status,bodyBytesSent,referer,user_agent,forwardedfor,upstream_addr,requesttime,responsetime,host),re.VERBOSE)
m = re.findall(p, self.logline)return mif __name__ == "__main__":    start = time.clock() logline='11.11.7.21 - - [22/Nov/2017:00:28:46 +0800] "POST /xyz/qn_cb HTTP/1.1" 200 218 "-" "qiniu-callback/1.0" "-" "1.25.69.11:8080" "0.008" "0.008" x.163.com'nlp=NgnixLogParse(logline)m=nlp.logparse()print (m)print (m[0][6])end = time.clock()    print('finish all in %s' % str(end - start))

执行结果：

[('11.11.7.21', '-','22', 'Nov', '2017', '00:28:46', 'POST', '/xyz/qn_cb', 'HTTP/1.1', '200', '218', 'qiniu-callback/1.0', '-','1.25.69.11:8080', '0.008', '0.008', 'x.163.com')]
/xyz/qn_cb
finish all in 0.00115241167476

【数据平台】Python解析Ngnix日志相关推荐

Python 解析log日志
Python 解析log日志软件环境环境搭建待解析log日志格式 log解析脚本解析后文本格式软件环境软件版本作用 Ubuntu 20.04 操作系统 python 3.8.10 py ...
使用Python解析nginx日志文件
项目的一个需求是解析nginx的日志文件. 简单的整理如下: 日志规则描述首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: log_format main '$remote_a ...
【script】python 解析 Windows日志（python-evtx）
Windows日志模块安装 pip install python-evtx Windows日志解析源码源码 import mmap import contextlib import dateti ...
2022北京冬奥会竞赛日程表以及json数据与python解析
说明看完开幕式很自豪,特意整理了一波数据,开源给大家使用效果展示 # print(get_Winter_Olympics_schedule("02/05")) # 指定日期pr ...
python解析tcp数据包-python解析获取发往本机的数据包并打印
1.[文件] tcp.py ~ 2KB 下载(69) # -*- coding: cp936 -*- import socket from struct import * from time impo ...
Python 解析构建数据大杂烩 -- csv、xml、json、excel
Python 可以通过各种库去解析我们常见的数据.其中 csv 文件以纯文本形式存储表格数据,以某字符作为分隔值,通常为逗号:xml 可拓展标记语言,很像超文本标记语言 Html ,但主要对文档和数据 ...
大数据平台架构浅析——以讯飞大数据平台Odeon为例
文章目录大数据平台架构解析--以讯飞大数据平台Odeon为例定义功能数据采集数据开发数据分析数据编程补充大数据平台架构解析--以讯飞大数据平台Odeon为例定义 Odeon大数据平 ...
湖上建仓全解析：如何打造湖仓一体数据平台 | DEEPNOVA技术荟系列公开课第四期
如今,面对数字化快速发展带来的挑战,现代化企业需要打破以往数据的孤岛,让数据从采集.加工.管理到应用,是统一的数据存储和数据处理,甚至是作为全栈式的湖仓一体数据平台,以支撑各类数据赋能业务,进而创造更 ...
python解析log文件_python解析基于xml格式的日志文件
大家中午好,由于过年一直还没回到状态,好久没分享一波小知识了,今天,继续给大家分享一波Python解析日志的小脚本. 首先,同样的先看看日志是个啥样. 都是xml格式的,是不是看着就头晕了??没事,我 ...

【数据平台】Python解析Ngnix日志

【数据平台】Python解析Ngnix日志相关推荐

最新文章

热门文章