python分析nginx日志的ip(中篇一)

2019独角兽企业重金招聘Python工程师标准>>>

利用python的数据分析pandas，numpy，matplotlib模块进行可视化分析，画出图表，这几个模块需要独立安装，安装好后需要用ipython --pylab方式打开。并且要引用MySQLdb模块，为了省事，我把数据统计这一块直接在mysql数据库中执行了，本身需求就不复杂，况且对pandas，matplotlib这几个工具也刚接触不久，持续深入研究中，能简则简了。

具体步骤如下，切记打开方式用 ipython --pylab

In [1]: from pandas import DataFrame,Series

In [2]: import pandas as pd

In [3]: import numpy as np

In [4]: import MySQLdb
#引入python数据分析模块

In [5]: mysql_cn= MySQLdb.connect(host='localhost', port=3306,user='root', passwd='root'， db='testdb',charset='utf8')

df = pd.read_sql('select count(1) as city_count_num,city from memory group by city order by city_count_num desc limit 10',mysql_cn)

#连接数据库，转换成pandas格式的数据
In [7]: df.index=['suzhou','shanghai','shenzhen','weizhi','qingdao','fuzhou','foshan','changchun','kunming','beijing']
#重建索引，这一步本来不需要的，本来打算是用名字做索引，利用value_counts转换可以直接画图，可死活是乱码，迫不得已，多此一举了。大家主要就看“气质”吧。

In [8]: df.plot(kind='barh',rot=0)
Out[8]: <matplotlib.axes._subplots.AxesSubplot at 0x7f8fb5148390>

#画图完成

In [9]: df              #重建索引，转换后的文件格式如下
Out[9]:
           num city
suzhou     520 苏州市
shanghai   374 上海市
shenzhen   118 深圳市
weizhi     104   未知      #国外的ip，在数据库中是空的，我设置为“未知”了
qingdao     82 青岛市
fuzhou      81 福州市
foshan      81 佛山市
changchun   78 长春市
kunming     76 昆明市
beijing     76 北京市

转载于:https://my.oschina.net/luoyedao/blog/545722

python分析nginx日志的ip(中篇一)相关推荐

python分析nginx日志
利用python脚本分析nginx日志内容,默认统计ip.访问url.状态,可以通过修改脚本统计分析其他字段. 一.脚本运行方式 python count_log.py -f med.xxxx.com ...
python分析nginx日志_利用python分析nginx日志
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
Python 分析Nginx 日志并存入MySQL数据库（单线程）
使用Python 分析Nginx access 日志,根据Nginx日志格式进行分割并存入MySQL数据库.(参考网上一些文章) Nginx access日志格式如下: #使用的nginx默认日志格式 ...
ip访问次数统计 nginx_Linux分析Nginx日志统计IP访问次数的shell脚本
平时运维遇到最多的就是nginx的日志分析了,要时常做系统监控,检查IP的访问次数是否有异常,防止恶意访问. 假设我的nginx日志如下: ....... 211.253.43.23 - - [03/ ...
python分析nginx日志，每分钟nginx请求超过10ms的比例
代码如下: #!/usr/bin/python # --*-- coding:utf-8 --*-- import time import datetime import sys import os ...
python 正则分析nginx日志
有个需求要分析nginx日志,也懒得去研究logstach之类的开源工具,干脆直接写一个脚本,自己根据需求来实现: 先看日志格式:我们跟别人的不太一样,所以没办法了: 12.195.166.35 [1 ...
基于python的Nginx日志管理分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介本项目利用 pandas + sklearn 对 Nginx 的日志数据进行统计分析,并利用 fla ...
SRE从踩坑到牛逼（二）利用Python进行Arcgis站点分析+Nginx日志分析
前面是日记,或者是牢骚吧就感觉挺可惜的,一月份的时候因为分析日志的需求,写过一个几十行的代码,能够做到Arcgis站点分析,并且录入到Excel,根据Arcgis站点信息进行日志分析的部分还没写,这 ...
awk分析nginx日志里面的接口响应时间
2019独角兽企业重金招聘Python工程师标准>>> 最近,有客户反应客户端卡,老板集合技术人员开会讨论,找出慢的原因,由此产生了分析nginx响应时间,由于线上环境nginx日志 ...

python分析nginx日志的ip(中篇一)

python分析nginx日志的ip(中篇一)相关推荐

最新文章

热门文章