python 日志分析_python 日志分析统计脚本

脚本类似shell的tail功能，用来统计每分钟的4xx、5xx的状态码数量，统计php执行时间小于1秒、1-5秒、5秒以上的数量，和每秒的并发请求。将结果放到/tmp目录下，也可以用cacti将结果画图。

#!/usr/bin/env python

import time, os

#-----------------------------

log_file = '/var/log/httpd/cmi_access_log'

#-----------------------------

log_name = log_file.split('/')[-1]

file = open(log_file, 'r')

lt1,to1_5,gt5,status4,status5,concurrent = 0,0,0,0,0,0

Time2 = '0'

st_results = os.stat(log_file)

st_size = st_results[6]

file.seek(st_size)

size = os.path.getsize(log_file)

while 1:

Time = time.strftime("%Y_%m_%d",time.localtime(time.time() - 60))

where = file.tell()

line = file.readline()

L = line.split('"')

Time1 = time.strftime("%Y_%m_%d_%H:%M",time.localtime(time.time() - 60))

if not line:

size = os.path.getsize(log_file)

if size < where:

file = open(log_file, 'r')

else:

time.sleep(1)

file.seek(where)

else:

try:

Phptime = float(L[-2])

url = L[1]

status = L[2][1:4]

if '4' in status[0]:

status4 += 1

elif '5' in status[0]:

status5 += 1

if Time1 in Time2:

if 'f5.php' not in url:

concurrent += 1

if Phptime < 1:

lt1 += 1

elif 1 <= Phptime <= 5:

to1_5 += 1

else:

gt5 += 1

else:

concurrent = concurrent / 60

out = Time1 + "," + str(lt1) + "," + str(to1_5) + "," + str(gt5) + "," + str(status4) + "," + str(status5) + "," + str(concurrent)

F = open('/tmp/' + log_name + '_' + Time + '.data', 'a')

print >> F, out

F.close()

Time2 = Time1

lt1,to1_5,gt5,status4,status5,concurrent = 0,0,0,0,0,0

except:

pass

python 日志分析_python 日志分析统计脚本 | 学步园相关推荐

python bar图_python使用matplotlib绘图 — barChart | 学步园
matplotlib是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图.而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中.它的文档相当完备,并且 ...
python快速查找_python应用_快速查找 | 学步园
快速查找 import random def partition(list_object,start,end): random_choice = start#random.choice(range(s ...
python日志记录_Python日志记录
python日志记录 To start, logging is a way of tracking events in a program when it runs and is in executi ...
python性能差_Python 性能分析大全
虽然运行速度慢是 Python 与生俱来的特点,大多数时候我们用 Python 就意味着放弃对性能的追求.但是,就算是用纯 Python 完成同一个任务,老手写出来的代码可能会比菜鸟写的代码块几倍,甚 ...
python数据获取与文本分析_python文本分析之处理和理解文本
前言: 在进行自然语言的建模(NLP)时,我们通常难以处理文字类型的数据,因此在常见的机器学习项目中,数据的格式是结构化的,就算在视觉处理的时候也是一个矩阵或者高维张量的形式.那么文字类型的数据我们应 ...
python log模块_python日志模块logbook使用方法
python自带了日志模块logging,可以用来记录程序运行过程中的日志信息.同时python还有logbook模块用来取代logging模块,在很多的项目中logbook模块使用也是比较的多,因此 ...
python log模块_Python日志模块-logging
一.logging模块日志的作用可以简单总结为以下3点: 1.程序调试 2.了解软件程序运行情况,是否正常 3.软件程序运行故障分析与问题定位 1.日志的等级不同的应用程序所定义的日志等级可能会有 ...
python logging模块默认日志级别_Python 日志模块logging
logging模块: logging是一个日志记录模块,可以记录我们日常的操作. logging日志文件写入默认是gbk编码格式的,所以在查看时需要使用gbk的解码方式打开. logging日志等级: ...
python 打印模块_Python 日志打印模块
1 logging模块简介 logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级.日志保存路径.日志文件回滚等:相比print,具备如下优点: 可以通过设置不同 ...

python 日志分析_python 日志分析统计脚本 | 学步园

python 日志分析_python 日志分析统计脚本 | 学步园相关推荐

最新文章

热门文章