python将数据存入数据库_Python读取NGINX日志将其存入数据库

日志数据：

#/usr/bin/env python

#-*-coding:UTF-8 -*-

from datetime import datetime

stat_days = []

import pymysql

#print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) #2018-05-25 22:23:44

#print(datetime.now().strftime("%d/%b-%Y %H:%M:%S")) #25/May-2018 22:23:44格式

#print(datetime.strptime('17/Jun/2017:12:11:16',"%d/%b/%Y:%H:%M:%S")) #格式转换

connect=pymysql.connect(

host='127.0.0.1',

port=3306,

user='root',

password='',

database='nginxlog',

charset="utf8"

)

cur = connect.cursor()

sql= "insert into nginxlog(ip,time,methods,source,protocol,status) values(%s,%s,%s,%s,%s,%s)"

with open("portal_ssl.access.log","r") as ngfile:

for line in ngfile:

_nodes = line.split()

IP= _nodes[0]

Time= _nodes[3][1:-1].replace(":"," ",1) #将时间转换为17/Jun/2017 12:43:4格式

Time = datetime.strptime(Time,"%d/%b/%Y %H:%M:%S")#将时间格式化为2017-06-17 12:43:04

Methods = _nodes[5][1:]

Source = _nodes[6]

Protocol = _nodes[7][:-1]

Status = _nodes[8]

print(IP,Time,Methods,Source,Protocol,Status)

cur.execute(sql,(IP,Time,Methods,Source,Protocol,Status))

connect.commit()

connect.close()

SQL语句

create database if not exists nginxlog default charset utf8;

create table nginxlog (

id int(10) primary key auto_increment,

ip varchar(30) not null default '',

time datetime,

methods varchar(10) not null default '',

source varchar(200) not null default '',

protocol varchar(10) not null default '',

status varchar(10) not null default ''

)

alter table nginxlog modify column source varchar(400);

python将数据存入数据库_Python读取NGINX日志将其存入数据库相关推荐

用python将word文档导入数据库_python读取word文档,插入mysql数据库的示例代码
表格内容如下: 1.实现批量导入word文档,取文档标题中的数字作为编号 2.除取上面打钩的内容需要匹配出来入库入库,其他内容全部直接入库mysql # wuyanfeng # -*- coding: ...
python读取excel写入数据库_python读取Excel内容并写入MySQL数据库脚本
准备Excel(test.xlsx) 导库 import pymysql import xlrd 完整代码 import pymysql import xlrd def connect_databas ...
python图片保存和图片展示顺序_【IT专家】【 python 】 —— 数据预处理：(1) 读取与显示图片 + 图像通道顺序变换...
本文由我司收集整编,推荐下载,如有疑问,请与我司联系 [ python ] -- 数据预处理: (1) 读取与显示图片 + 图像通道顺序变换 2018/05/31 29 # ---- 用 OPENC ...
ELK系列(四)、Logstash读取nginx日志写入ES中
前面讲了ELK的部署以及Logstash的插件的安装方式,本篇就介绍一下如何使用Logstash读取nginx的日志,并写入ES中,通过Kibana分析. ELK系列(一).安装ElasticSear ...
python log函数怎么打_Python的log日志功能及设置方法
python log函数怎么打_Python的log日志功能及设置方法_Elaine要当律师的博客-CSDN博客
绘制图形可以使用什么python数据库_python 读取数据库并绘图的实例
python 读取数据库并绘图的实例 1.安装相应的库文件 sudo apt-get install python-mysqldb 2.数据库操作 import MySQLdb db = MySQLd ...
python大数据使用教程_python时空大数据
时空大数据至少带有三个信息:用户id,时间,空间一.由GPS生成OD 1.读取数据 importpandas as pd#读取数据 data = pd.read_csv(r'data-sample/ ...
python分析数据走势图_python对股市进行数据分析-tushare篇
数据准备 TuShare是一个免费.开源的python财经数据接口包.主要实现对股票等金融数据从数据采集.清洗加工到数据存储的过程,能够为金融分析人员提供快速.整洁.和多样的便于分析的数据,为他们 ...
python读取csv某一列存入数组_python 读取.csv文件数据到数组(矩阵)的实例讲解
利用numpy库 (缺点:有缺失值就无法读取) 读: import numpy my_matrix = numpy.loadtxt(open("1.csv","rb&qu ...

python将数据存入数据库_Python读取NGINX日志将其存入数据库

python将数据存入数据库_Python读取NGINX日志将其存入数据库相关推荐

最新文章

热门文章