mysql 日志抓取变化_MySQL慢查询日志分析提取【转】
原文:https://www.cnblogs.com/skymyyang/p/7239010.html
一:查询slow log的状态,如示例代码所示,则slow log已经开启。
mysql> show variables like '%slow%';
+---------------------+------------------------------------------+
| Variable_name | Value |
+---------------------+------------------------------------------+
| log_slow_queries | ON |
| slow_launch_time | 2 |
| slow_query_log | ON |
| slow_query_log_file | /mysqllog/slow_log/slow_queries_3306.log |
+---------------------+------------------------------------------+
4 rows in set (0.00 sec)
如果没有开启慢查询日志有以下两种方法:
在配置文件[mysqld]中添加slow_query_log = ON和long_query_time = 1,然后重启MySQL即可生效。
set global slow_query_log=1; 在线开启。如果MySQL发生重启,就会失效,如果要永久生效,就必选修改配置文件。
二:slow log的日志相关参数详解
slow_query_log :是否开启慢查询日志,1表示开启,0表示关闭。
log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。
log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
log_output:日志存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。
三:如何在线安全的清空慢查询日志
停止slow log
mysql> set global slow_query_log=0;
Query OK, 0 rows affected (0.27 sec)
mysql> show variables like '%slow%';
+---------------------+------------------------------------------+
| Variable_name | Value |
+---------------------+------------------------------------------+
| log_slow_queries | OFF |
| slow_launch_time | 2 |
| slow_query_log | OFF |
| slow_query_log_file | /mysqllog/slow_log/slow_queries_3306.log |
+---------------------+------------------------------------------+
4 rows in set (0.00 sec)
#检查慢查询日志的状态
为慢查询日志重新设置path路径
mysql> set global slow_query_log_file='/mysqllog/slow_log/slow_queries_3306_new.log';
Query OK, 0 rows affected (0.03 sec)
开启慢查询日志,并设置long_query_time。
mysql> set global slow_query_log=1;
Query OK, 0 rows affected (0.01 sec)
mysql>set global long_query_time=1;
#检查状态是否成功开启
mysql> show variables like '%slow%';
+---------------------+----------------------------------------------+
| Variable_name | Value |
+---------------------+----------------------------------------------+
| log_slow_queries | ON |
| slow_launch_time | 2 |
| slow_query_log | ON |
| slow_query_log_file | /mysqllog/slow_log/slow_queries_3306_new.log |
+---------------------+----------------------------------------------+
4 rows in set (0.00 sec)
检查slow sql 在新的日志文件中
mysql> select sleep(10) as a, 1 as b;
+---+---+
| a | b |
+---+---+
| 0 | 1 |
+---+---+
1 row in set (10.00 sec)
mysql>
[mysql@xxx-xxx ~]$ more /mysqllog/slow_log/slow_queries_3306_new.log
......
Time Id Command Argument
# Time: 140213 6:44:24
# User@Host: root[root] @ localhost []
# Query_time: 10.000365 Lock_time: 0.000000 Rows_sent: 1 Rows_examined: 0
SET timestamp=1392273864;
select sleep(10) as a, 1 as b;
备份之前的慢查询日志
mv /mysqllog/slow_log/slow_queries_3306.log /mysqlbackup/slow_log/slow_queries_3306.log.bak.20140213
四:分析工具mysqlsla的安装以及使用,mysqlsla是hackmysql.com推出的一款MySQL的日志分析工具,功能非常强大. 数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等。
在Centos下安装mysqlsla
yum install perl-DBI perl-DBD-MySQL perl-devel -y #安装依赖包
wget ftp://ftp.tw.freebsd.org/pub/distfiles/mysqlsla-2.03.tar.gz
#下载
perl Makefile.PL #预编译
make #编译
make install 安装
PS:最好把此工具安装在本地的测试服务器上,然后将你的慢查询日志拷贝至本地进行分析,以免影响生产环境数据库。
参数详解
lt:表示日志类型,有slow, general, binary, msl, udl。
sf:[+-][TYPE],[TYPE]有SELECT, CREATE, DROP, UPDATE, INSERT,例如”+SELECT,INSERT”,不出现的默认是-,即不包括。
db:要处理哪个库的日志。
top:表示取按规则排序的前多少条。
sort:按某种规则排序,t_sum按总时间排序, c_sum按总次数排序。
示例使用
mysqlsla -lt slow mysql-slow.log
或者
mysqlsla -lt slow mysql-slow.log -sf “+SELECT” -db dbName -top 10 -sort t_sum
也可以将结果输入到文件中,在windows下用Sublime Text 3查看。
mysqlsla -lt slow /root/slow_queries_1013.log > /tmp/fx.log
mysqlsla -lt slow --sort c_sum --top 10 slow_query.log > aaa.log
出现次数前10的慢SQL
mysqldumpslow -a -s c -t 10 slow_query.log > aaa.log
时间最长的前10的慢SQL
mysqldumpslow -a -s t -t 10 slow_query.log > aaa.log
分析结果
总查询次数 (queries total), 去重后的sql数量 (unique)
输出报表的内容排序(sorted by)
最重大的慢sql统计信息, 包括 平均执行时间, 等待锁时间, 结果行的总数, 扫描的行总数.
Count, sql的执行次数及占总的slow log数量的百分比.
Time, 执行时间, 包括总时间, 平均时间, 最小, 最大时间, 时间占到总慢sql时间的百分比.
95% of Time, 去除最快和最慢的sql, 覆盖率占95%的sql的执行时间.
Lock Time, 等待锁的时间.
95% of Lock , 95%的慢sql等待锁时间.
Rows sent, 结果行统计数量, 包括平均, 最小, 最大数量.
Rows examined, 扫描的行数量.
Database, 属于哪个数据库
Users, 哪个用户,IP, 占到所有用户执行的sql百分比
Query abstract, 抽象后的sql语句
Query sample, sql语句
mysql 日志抓取变化_MySQL慢查询日志分析提取【转】相关推荐
- mysql慢查询日志默认在哪里_MySQL 慢查询日志
慢查询日志概念 MySQL 的慢查询日志是 MySQL 提供的一种日志记录,它用来记录在 MySQL 中查询响应时间超过阈值的语句,具体指响应时间超过 long_query_time 值的 SQL,会 ...
- mysql日志存储类型_msyql 日志分类、存储、慢查询日志
Mysql日志的分类: 出错日志(error log):(log_error)这个日志记载着服务器启动和关闭的情况,还记载着关于故障或异常状况的消息. 我们安装完数据库之后,启动数据库如果发生异常,我 ...
- 域格9x07模块问题日志抓取方法
域格9x07平台模块排查问题步骤流程:可先提供AT交互日志进行简单筛选排查:如还有问题,再提供高通工具QXDM抓取QXDM日志进行比对分析:特殊异常可抓取特定日志.相关模块的问题及抓取判断方法已简略列 ...
- 手机HCI日志抓取教程
手机HCI日志抓取教程 以下为主流安卓手机品牌以及iOS手机HCI日志抓取教程(亲测有效) Android HUAWEI/Honor 进入应用程序->设置->关于手机,连续点击版本,提示打 ...
- ios 打印 详细错误日志_【专家专栏】林相宇 | IOS错误日志抓取和分析
原标题:[专家专栏]林相宇 | IOS错误日志抓取和分析 在调试自己和别人的IOS App时,发生Crash是非常正常的情况,分析这些Crash的主要手段之一就是分析Crash发生时产生的错误日志.对 ...
- linux内核串口日志抓取-minicom工具使用方法
linux抓串口日志 抓串口日志方式 minicom保存串口日志log 抓取主板串口日志 minicom man手册 抓串口日志方式 1) 问题机上,找到串口设备,比如/dev/ttyAMA[0,1, ...
- sqlserver 抓取所有执行语句 SQL语句分析 死锁 抓取
sqlserver 抓取所有执行语句 SQL语句分析 死锁 抓取 原文:sqlserver 抓取所有执行语句 SQL语句分析 死锁 抓取 在多人开发中最头疼的是人少事多没有时间进行codereview ...
- python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析
大家对股票交易接口并不陌生,那么要想获取股票数据获取,也是可以通过python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析如下: import sys from PyQt5 i ...
- 数据分析与挖掘案例之使用python抓取豆瓣top250电影数据进行分析
使用python抓取豆瓣top250电影数据进行分析 抓取豆瓣Top250电影数据的链接和电影名称 代码如下: import urllib.request as urlrequest from bs4 ...
最新文章
- 为什么机器学习模型在生产中会退化?
- 《LeetCode力扣练习》第16题 C语言版 (做出来就行,别问我效率。。。。)
- 浅析C#中foreach引用变量
- margin:auto实现绝对定位元素的水平垂直居中
- 通用智能传感集线器(Sensorhub)介绍
- 师傅带徒弟 但是不能 教会徒弟饿死师傅!
- odbc mysql server_使用MySQL ODBC进行MySQL和SQL Server转换
- SMOTE(Synthetic Minority Over-Sampling Technique ,即“人工少数类过采样法“)----Python调包简单实现
- mysql day of week_在MySQL中按day_of_week排序
- 电脑计算机人员英语,计算机专业英语词汇新大全(完美打印版).pdf
- Linux挂载硬盘(容量大于2T)
- 安装软件出现提示:无法将数值写入键
- Kali Linux速查手记(长期更新)
- c语言如何实现高内聚低耦合_如何实现高内聚低耦合?高内聚低耦合的现实例子...
- 贴一点代码(用VC实现在WINXP下的宽带拨号)
- HIT CSAPP程序人生大作业
- SAP 系统数据库恢复
- 3D人脸模型建模工具,用于人脸建模,3DMM系数匹配
- 长安大学C语言程序设计作业,2017春C语言程序设计 上(长安大学)
- 英语四六级作文和翻译(续一)
热门文章
- 95-190-448-源码-window-Trigger-CountTrigger
- 95-235-038-源码-task-Task Slot
- SpringBoot : Spring Boot中使用数据缓存 spring-boot-starter-cache
- RocKetMQ : MQClientException: The producer service state not OK, CREATE_JUST
- mac 系统下 autoconf 安装
- java中static类的作用是什么意思_java中static关键字是什么意思
- java自动转换需要的开头_字符串和数值型进行运算时,字符串如果不是数字开头,会自动转换成什么?...
- Redis的几种拓展方案,你都清楚吗?
- SpringBoot+Prometheus+Grafana实现应用监控和报警
- Spring整合Quartz定时任务 在集群、分布式系统中的应用