python3 mysql报警日志_Python监听MySQL日志
前言
在使用后台语言开发中,每天都是在与数据库打交道,而很多时候出问题都出在SQL语句上,而调试起来也不太方便,当然大佬例外哈,我等新手还真没办法在短时间内练习出一些技巧,我是用PHP的,之前在网上也搜索的时候,见别人使用的PHP工具箱,里面有个SQL追踪工具,感觉很不错,能够监听到当前执行的SQL语句,然而那个东西需要自动手动去点击刷新,作为程序猿,要的就是懒,还要手动点,不开心!
既然想懒,那就做成自动的,经过查询资料了解,MySQL内置了log功能,只需要将其开启,然后我们监听其内容变化即可,思路通了,接下来就是开搞了.
动手开搞
这里我选用的是Python来写,毕竟"人生苦短,我用Python"
先上代码,然后再来依次讲解,代码精简一下其实50行不到,我这个完全没优化啥的,主要是实现功能,哪位大佬有时间可以帮忙改改,万分感谢!点击下载
import pymysql
import re
import time
import os
import subprocess
# 数据库信息
host = 'localhost'
user = 'root'
password = '123456'
port = 8889
db = 'JCL'
# 表前缀(如果没有就留空)
prefix = 'xh_'
logpath = os.getcwd() + '/mysql.log'
def connectMySQL(ip, user, pwd, port, db):
# 开始连接数据库
connect = pymysql.connect(
host=ip,
user=user,
passwd=pwd,
port=port,
db=db,
charset='utf8'
)
# 获取游标
cur = connect.cursor()
# 开启mysql标准日志
cur.execute('set global general_log = on')
connect.commit()
currentPath = 'set global log_output = \'file\''
cur.execute(currentPath)
connect.commit()
cur.execute('set global general_log_file=' + '\'' + logpath + '\'')
connect.commit()
connect.close()
def monitor():
command = 'tail -f ' + logpath
popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)
try:
while True:
line = popen.stdout.readline().strip()
encodeStr = bytes.decode(line)
pattern = re.findall('Query\s*(.*)', encodeStr, re.S)
if len(pattern) != 0:
selectStr = pattern[0]
if selectStr != "COMMIT":
joinTime = time.strftime("%H:%M:%S", time.localtime()) + ' '
if prefix != "":
reg = re.findall(r'\b' + prefix + '\w*', encodeStr, re.S)
if len(reg) != 0:
table = '操作的表:' + reg[0]
joinTime += table
print(joinTime + ' ' + selectStr)
except KeyboardInterrupt:
os.remove(logpath)
if __name__ == '__main__':
connectMySQL(host, user, password, port, db)
time.sleep(2)
monitor()
讲解
首先是需要导入需要使用到的库
pymysql连接数据库
re正则匹配
time时间
os系统库,我这用来获取路径
subprocess用于调用终端命令
在开始我们定义一下数据库信息和日志保存的路径,我这里是直接使用了脚本当前目录生成一个名为mysql.log的文件
# 数据库信息
host = 'localhost'
user = 'root'
password = '123456'
port = 8889
db = 'JCL'
# 表前缀(如果没有就留空)
prefix = 'xh_'
logpath = os.getcwd() + '/mysql.log'
3.连接数据库,开启数据库的日志,并设置日志输入目录和保存类型
def connectMySQL(ip, user, pwd, port, db):
# 开始连接数据库
connect = pymysql.connect(
host=ip,
user=user,
passwd=pwd,
port=port,
db=db,
charset='utf8'
)
# 获取游标
cur = connect.cursor()
# 开启mysql标准日志
cur.execute('set global general_log = on')
connect.commit()
currentPath = 'set global log_output = \'file\''
cur.execute(currentPath)
connect.commit()
cur.execute('set global general_log_file=' + '\'' + logpath + '\'')
connect.commit()
connect.close()
上段代码中有个'set global log_output = \'file\'',MySQL其实还有个输出方式是Table,日志会保存到mysql数据库下的general_log表里面,刚开始我就用的这种方法,想的是待会做数据提取的时候方便,但是使用后发现,好像无法直接清除日志(我没找到简单办法),而且性能没写文件好,所以我舍弃了Table使用了File方式,因为没有直接改动my.cnf,所以在MySQL重启后,这个设置就消失了.如果需要一直保持的话,可以自己去修改my.cnf.
因为这里连接数据库的作用只是用来开启一下设置而已,所以在开启设置后将数据库连接关闭掉
4.开始监听数据,因为linux上有个tail命令就可以直接实时监听某个文件的变化,所以就直接使用subprocess来调用tail命令
def monitor():
command = 'tail -f ' + logpath
popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)
try:
while True:
line = popen.stdout.readline().strip()
encodeStr = bytes.decode(line)
pattern = re.findall('Query\s*(.*)', encodeStr, re.S)
if len(pattern) != 0:
selectStr = pattern[0]
if selectStr != "COMMIT":
joinTime = time.strftime("%H:%M:%S", time.localtime()) + ' '
if prefix != "":
reg = re.findall(r'\b' + prefix + '\w*', encodeStr, re.S)
if len(reg) != 0:
table = '操作的表:' + reg[0]
joinTime += table
print(joinTime + ' ' + selectStr)
except KeyboardInterrupt:
os.remove(logpath)
其中使用了正则表达式筛选了一些非Query的命令,这一段写了一堆的if自己都觉得恶心,后面再改吧!
最终添加了一个try except来监听ctrl+c命令,然后将mysql.log文件删掉!
最后上一张效果图
QQ20180119-194411@2x.png
文中的正则可能不是特别好,希望对正则比较了解的朋友提点建议,文中有不正确的地方希望大家积极指出,共同进步!
python3 mysql报警日志_Python监听MySQL日志相关推荐
- Canal监听mysql的binlog日志实现数据同步
Canal监听mysql的binlog日志实现数据同步 1. canal概述 1.1 canal简介 1.2 技术选型 1.3 原理分析 1.3.1 MySQL主备复制原理 1.3.2 canal原理 ...
- spring boot+kafka+canal实现监听MySQL数据库
spring boot+kafka+canal实现监听MySQL数据库 一.zookeeper安装 kafka依赖于zookeeper,安装kafka前先安装zookeeper 下载地址:Apache ...
- Java监听mysql的binlog详解(mysql-binlog-connector)
Java监听mysql的binlog详解(mysql-binlog-connector) 1. 需求概述 2. 技术选型 3. 方案设计 3.环境准备 3.1 查看是否开启binlog 3.2 mys ...
- java监听mysql某张表的insert操作_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- mysql广播_监听Mysql数据库变更并广播到ws.z.12zan.net
项目地址:yuanfenxi/yuanlicastgithub.com go-mysql-elasticsearch是一个golang包,可以以一个MysqlServer的salve的身份,监听my ...
- Canal监听MySQL
Canal监听MySQL 1.Mysql数据库开启binlog模式 注意:Mysql容器,此处Mysql版本为5.7 #进入容器 docker exec -it mysql /bin/bash #进入 ...
- python看门狗(watchdog)、多线程、实现文件夹实时监听、日志输出、备份
python看门狗(watchdog).多线程.实现文件夹实时监听.日志输出.备份 代码展示 import _thread from watchdog.observers import Observe ...
- Java 实现日志文件监听并读取相关数据
Java 实现日志文件监听并读取相关数据 项目需求 由于所在数据中台项目组需要实现监听文件夹或者日志文件并读取对应格式的脏数据的需求,以便在文件.文件夹发生变化时进行相应的业务流程:所以在这里记录下相 ...
- maxwell监控mysql_利用Maxwell组件实时监听Mysql的binlog日志
一:在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种,为了把binlog解析成json数据格式,要设置binlog的格式为 ...
最新文章
- iOS单例模式定义与使用
- [计算数学基础]矩阵微分
- Hadoop权威指南学习笔记三
- 《Linux设备驱动程序》学习2—高级字符设备驱动ioctl
- nginx日志配置指令详解
- 【已解决】java.lang.NullPointerException at line 15, Solution.r
- linux c中动态申请二维数组,Linux C 编程详解第五篇:二维数组
- Linux导出函数控制,linux 下仅导出指定函数的方法
- php 统计 系统设计,求解统计系统设计的一些技术方案和实现
- 怎样改变计算机桌面的特效主题,电脑桌面主题、图片怎么设置的技巧大全
- HBase 基本入门篇
- c语言指针经典例,C语言指针应用简单实例
- cve_2019_0708复现踩坑
- Kubernetes(k8s)的Pod资源清单spec.containers属性详细讲解
- linux dolphin模拟器,dolphin模拟器32位64位
- 计蒜客 蒜头君的积木
- python 开机自动切换必应壁纸
- 用计算机改密码,怎么用电脑改wifi密码 笔记本电脑怎么改wifi密码?-192路由网...
- 安装Chrome Restlet Client插件
- kvm切换器什么牌子好?怎么选择
热门文章
- 杨辉三角形又称Pascal三角形,它的第i+1行是(a+b)i的展开式的系数
- js修改style中某个属性_JS 和 CSS 交互的 5 种方法
- python 函数式 panda_python – 反向中的Pandas分裂函数
- Java黑皮书课后题第9章:*9.4(使用Random类)编写一个程序,创建一个种子为1000的Random对象,然后使用nextInt(100)方法显示0到100之间的前50个随机整数
- Java黑皮书课后题第3章:**3.29(几何:两个圆)编写程序,提示用户输入两个圆的中心坐标和各自的半径值,然后判断圆是在第一个圆内,还是和第一个圆重叠
- linux 跨IP拷贝命令 scp
- go语言之行--golang核武器goroutine调度原理、channel详解
- 行高 line-height
- Nagios监控lvs服务
- 将*.STL转换成顶点索引格式