Python 解析log日志

软件环境
环境搭建
待解析log日志格式
log解析脚本
解析后文本格式

软件环境

软件	版本	作用
Ubuntu	20.04	操作系统
python	3.8.10	python基础环境，提供正则匹配功能
python-dateutil	2.8.2	日期处理库

环境搭建

在终端命令行输入以下指令

sudo apt install python3.8 # 安装python3
python3.8 -m pip install python-dateutil # 安装 dateutil 包

待解析log日志格式

log日志一般具有时间戳、事件类型、事件产生对象、属性等，本文以具有下列形式的log日志为例

[2021-09-03 11:03:11]************************** EVENT ERROR **************************
[2021-09-03 11:03:11] DevID:  1
[2021-09-03 11:03:11] Attribute:  187[2021-09-03 11:05:17]************************** EVENT HEART **************************
[2021-09-03 11:05:17] DevID:  1
[2021-09-03 11:05:17] Attribute:  198[2021-09-03 11:06:20]************************** EVENT HEART **************************
[2021-09-03 11:06:20] DevID:  3
[2021-09-03 11:06:20] Attribute:  14[2021-09-03 11:10:41]************************** EVENT HEART **************************
[2021-09-03 11:10:41] DevID:  5
[2021-09-03 11:10:41] Attribute:  96[2021-09-03 11:16:34]************************** EVENT HEART **************************
[2021-09-03 11:16:34] DevID:  1
[2021-09-03 11:16:34] Attribute:  153

log解析脚本

import re
from dateutil.parser import *DEVID = 1
TAB = "    "def logparser():line_num = 0# locate EVENT HEARTpattern_heart = re.compile(r'EVENT HEART')# locate xxxx-xx-xx xx:xx:xxpattern_timestamp=re.compile(r'[0-9]*-[0-9]*-[0-9]* [0-9]*:[0-9]*:[0-9]*')last_time = parse("2021-09-03 00:00:00")diff_time = parse("2021-09-03 00:00:00")outfile = open("./out.txt", "w+")with open("./log.txt") as f:lines = f.readlines()for line in lines:# look for event heartresult_heart = pattern_heart.findall(line)# no heart event in this lineif not result_heart:   line_num = line_num + 1continue;# 2 is the offset line of Attributeif line_num + 2 > len(lines):   print("END")return;# look for DevID, 1 is the offset line of DevIDDevID = lines[line_num + 1].split(":")[-1].strip()# check DevIDif DevID != str(DEVID):line_num = line_num + 1continue;# 2 is the offset line of AttributeAttribute = lines[line_num + 2].split(":")[-1].strip()# look for string according to regex patterntimestamps = pattern_timestamp.findall(line)# exist some matchesif timestamps:for timestamp in timestamps:timestamp = parse(timestamp)diff_time = timestamp - last_timelast_time = timestampoutfile.write(str(timestamp)+TAB+str(diff_time)+TAB+Attribute+"\n")line_num = line_num + 1else:line_num = line_num + 1print("FORMAT ERROR")f.close()outfile.close()if __name__ == "__main__":logparser()print("DONE")

解析后文本格式

2021-09-03 11:05:17    11:05:17    198
2021-09-03 11:16:34    0:11:17    153

Python 解析log日志相关推荐

python解析log文件_python解析基于xml格式的日志文件
大家中午好,由于过年一直还没回到状态,好久没分享一波小知识了,今天,继续给大家分享一波Python解析日志的小脚本. 首先,同样的先看看日志是个啥样. 都是xml格式的,是不是看着就头晕了??没事,我 ...
python多进程log日志问题_Python 如何安全地实现实现多进程日志以及日志正常的分割...
在Python中我们经常需要使用到多进程来提高我们程序性能,但是多进程的编程中经常有各种各样的问题来困扰我们,比如多进程和多线程的公用导致的子进程的卡死,进程间的通信等问题.还有一个问题我们也许不经常 ...
【数据平台】Python解析Ngnix日志
场景:Ngnix格式具有一定格式,通过python的正则表达式读取日志中每行的字段. Python正则表达式参考:https://docs.python.org/2/library/re.html 代 ...
使用Python解析nginx日志文件
项目的一个需求是解析nginx的日志文件. 简单的整理如下: 日志规则描述首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: log_format main '$remote_a ...
【script】python 解析 Windows日志（python-evtx）
Windows日志模块安装 pip install python-evtx Windows日志解析源码源码 import mmap import contextlib import dateti ...
Python logging log日志写入文件
转载: https://www.cnblogs.com/nancyzhu/p/8551506.html 日志日志是跟踪软件运行时所发生的事件的一种方法.软件开发者在代码中调用日志函数,表明发生了特定 ...
python之log日志模块
logging的配置大致有下面几种方式. 1. 通过代码进行完整配置,logging.getLogger()获取logger后,给logger设置各种handler. 2. ...
python log日志_Python的log日志功能及设置方法
引入:Python中有个logging模块可以完成相关信息的记录,在debug时用它往往事半功倍一.日志级别(从低到高): DEBUG :详细的信息,通常只出现在诊断问题上 INFO:确认一切按预期 ...
python log函数怎么打_Python的log日志功能及设置方法
python log函数怎么打_Python的log日志功能及设置方法_Elaine要当律师的博客-CSDN博客

Python 解析log日志

Python 解析log日志

软件环境

环境搭建

待解析log日志格式

log解析脚本

解析后文本格式

Python 解析log日志相关推荐

最新文章

热门文章