mysql统计类似SQL语句查询次数

vc-mysql-sniffer 工具抓取的sql分析。

1、先用shell脚本把所有enter符号替换为null，再根据语句前后的字符分隔语句

grep -Ev '# Time:|# User@Host' /tmp/tmp_vc_mysql.txt |sed 's/# Query_time.*/myxxxxx/g' |awk BEGIN{RS=EOF}'{gsub(/\\n/," ");print}'|awk BEGIN{RS=EOF}'{gsub(/myxxxxx/,"\\n");print}'

2、python实现替换无关字符串 vim analyze_sql.py

#!/usr/bin/python

#coding:utf8

# python analysis-vc-log.py 3315 | sort | uniq -c | sort -nr |head -n 10

import re

import sys

import os

import commands

if len(sys.argv) == 2:

logPath = sys.argv[1]

if not os.path.exists(logPath):

print ("file " + logPath + " does not exists.")

sys.exit(1)

else:

print ("Usage: " + sys.argv[0] + " logPath")

sys.exit(1)

logFo = open(logPath)

for line in logFo:

line = re.sub(r"\n","",line)

lineMatch = re.match(r".*",line,re.IGNORECASE)

if lineMatch:

lineTmp = lineMatch.group(0)

# remove extra space 把多个空格的替换成一个空格 \s+ 表示空格至少出现一次

lineTmp = re.sub(r"\s+", " ",lineTmp)

# replace values (value) to values (x) \s*表示有0或多个空格, .*表示匹配除了换行外任意多次, ?为非贪婪模式

lineTmp = re.sub(r"values\s*\(.*?\)", "values (x)",lineTmp)

# replace filed = 'value' to filed = 'x' s*('|\")表示匹配单引或双引0或多次 \2表示应用第二个(...)分区,即 ('|\") \\1可以写成r"\1" 其实只是\<number> 。表示应用第一个分组 (=|>|<|>=|<=)

lineTmp = re.sub(r"(=|>|<|>=|<=)\s*('|\").*?","\\1 'x'",lineTmp)

# replace filed = value to filed = x s* 匹配0或多个空格 [0-9]+ 匹配一个或多个数字

lineTmp = re.sub(r"(=|>|<|>=|<=)\s*[0-9]+","\\1 x",lineTmp)

# replace like 'value' to like 'x'

lineTmp = re.sub(r"like\s+('|\").*?","like 'x'",lineTmp)

# replace in (value) to in (x) (.*?\) 匹配括号内的任意内容

lineTmp = re.sub(r"in\s+\(.*?\)","in (x)",lineTmp)

# replace between '...' and '...' to between 'x' and 'x'

lineTmp = re.sub(r"between\s+('|\").*?\1\s+and\s+\1.*?\1","between 'x' and 'x' ",lineTmp)

# replace between ... and ... to between x and x

lineTmp = re.sub(r"between\s+[0-9]+\s+and\s+[0-9]+","between x and x ",lineTmp)

# replace limit x,y to limit

lineTmp = re.sub(r"limit.*","limit",lineTmp)

print lineTmp

logFo.close()

3 执行 python analyze_sql.py tmp_vc_mysql.txt

转载于:https://www.cnblogs.com/vansky/p/8269670.html

mysql统计类似SQL语句查询次数相关推荐

MySQL一条SQL语句查询多个科目的成绩
MySQL一条SQL语句查询多个科目的成绩 SELECT pn.name,c.`cname`,SUM(CASE WHEN ps.coid='1' THEN sname END )AS 'domain' ...
mysql 查询商品列表显示tag_javascript - MYSQL——怎么一个sql语句查询出用户和用户商品的列表啊...
我现在都是先写一个sql查出所有用户数组,然后foreach循环这个数组拿id查他的所有商品数据,有没好点儿的方法回复内容: 我现在都是先写一个sql查出所有用户数组,然后foreach循环这个数组 ...
MySQL中优化sql语句查询常用的30种方法
为什么80%的码农都做不了架构师?>>> 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 whe ...
浅谈 MySQL 中优化 SQL 语句查询常用的 30 种方法
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索 ...
浅谈MySQL中优化sql语句查询常用的30种方法
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索 ...
Mysql中使用sql语句查询前一个天、前一周、前一月时间的方法
查询一天: select * from 表名 where to_days(时间字段名) = to_days(now()); 昨天 SELECT * FROM 表名 WHERE TO_DAYS( NOW ...
mysql中通过sql语句查询指定数据表的字段信息
mysql数据库在安装完成时,自动创建了information_schema.mysql.test这三个数据库.其中,information_schema记录了创建的所有数据库的相关信息,因此可以 ...
HIVE：窗口函数，用sql语句查询MySQL安装路径和版本
数据大师: Jmx's Blog | Keep it Simple and Stupid! 猴子 - 知乎公众号(猴子数据分析)著有畅销书<数据分析思维>科普中国专家回答数 647,获得 ...
mysql hql查询语句_使用Query进行HQL语句查询和SQL语句查询
HQL的语法比较简单,与普通SQL的区别之处是针对对象的不同,在查询语句中将sql中的表名替换成了sql中的持久化类名,因为hibernate机制是基于对象进行查询的. 不带参数的查询,语句是&quo ...
sql 语句查询 mysql 版本号
通过sql 语句查询 mysql 版本号 select version() from dual;

mysql统计类似SQL语句查询次数

mysql统计类似SQL语句查询次数相关推荐

最新文章

热门文章