文章目录

前言
一、慢查询的相关参数
- slow_query_log 是否开启了慢查询
- 开启慢查询
- slow_query_log_file 指定慢查询日志的存储路径及文件
- long_query_time 指定记录慢查询日志SQL执行时间的阈值
- log_queries_not_using_indexes 是否记录未使用索引的SQL
二、慢查询日志的分析工具
- mysqldumpslow 官方
- pt-query-digest
- 实时获取
三、有些SQL查询为什么慢？
- Mysql处理SQL请求的过程
- 查询缓存对SQL性能的影响
- SQL预处理及生成执行计划
- 如何确定查询各个阶段所耗费的时间
四、Performance Schema

前言

最近学习Mysql，对慢查询没有进行过了解，今天把学习的慢查询记录一下！！

一、慢查询的相关参数

slow_query_log 是否开启了慢查询

默认关闭

mysql> show variables like  'slow_query_log';
+----------------+-------+
| Variable_name  | Value |
+----------------+-------+
| slow_query_log | OFF   |
+----------------+-------+
1 row in set (0.00 sec)mysql>

因为记录慢查询比较占用磁盘空间，可以通过脚本关闭慢查询，比如一个小时以后关闭慢查询等等。

开启慢查询

开启的话，可以通过 set global 来动态修改。

mysql> set global slow_query_log=on;   # 开启慢查询
Query OK, 0 rows affected (0.04 sec)mysql> show variables like 'slow_query_log';
+----------------+-------+
| Variable_name  | Value |
+----------------+-------+
| slow_query_log | ON    |
+----------------+-------+
1 row in set (0.01 sec)mysql>

slow_query_log_file 指定慢查询日志的存储路径及文件

默认存储在MySQL的数据目录中，建议日志文件和数据文件分开存储。

mysql> show variables like 'slow_query_log_file';
+---------------------+---------------------------------+
| Variable_name       | Value                           |
+---------------------+---------------------------------+
| slow_query_log_file | /var/lib/mysql/artisan-slow.log |
+---------------------+---------------------------------+
1 row in set (0.01 sec)

long_query_time 指定记录慢查询日志SQL执行时间的阈值

单位为秒。默认10秒。

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.02 sec)

log_queries_not_using_indexes 是否记录未使用索引的SQL

mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   |
+-------------------------------+-------+
1 row in set (0.00 sec)mysql>

二、慢查询日志的分析工具

因为慢查询日志比较大，靠肉眼很难分析，所以需要依赖第三方工具

mysqldumpslow 官方

mysqldumpslow可以汇总除查询条件外其他完全相同的SQL，并将分析结果按照参数中所指定的顺序输出。

用法：

mysqldumpslow -s r -t 10 slow-mysql.log

参数说明：

s order (c , t , l ,r , at ,al ,ar) 指定按照那种排序方式输出结果

c: 总次数
t: 总时间
l: 锁的时间
r:种数据行

at 、 al、ar : t l r 平均数，比如 at = 总时间/总次数
t top 指定取前几条作为结果输出。

pt-query-digest

第三方的工具，

用法如下：

pt-query-digest \
--explain h=ip.1,u=用户,p=密码\
slow-mysql.log

这个工具生成的慢查询分析日志更详细。建议用这个

实时获取

查询 information_schema.processlist

SELECTid,`USER`,`HOST`,db,COMMAND,TIME,state,INFO
FROMinformation_schema.`PROCESSLIST` a
WHEREa.TIME > 60

三、有些SQL查询为什么慢？

要想弄清楚这个问题，需要知道Mysql的请求过程。

Mysql处理SQL请求的过程

客户端将SQL请求发送给服务器
服务器检查是否在缓存中是否命中该SQL，未命中的话进入下一步
服务器进行SQL解析、预处理，再由优化器生成对应的执行计划
根据执行计划来，调用存储引擎API来查询数据
将结果返回给客户端

查询缓存对SQL性能的影响

query_cache_type：设置查询缓存是否可用，

可选值 ON OFF DEMAND , DEMAND表示只有在查询语句中使用了SQL_CACHE和SQL_NO_CACHE来控制是否需要缓存

query_cache_size：设置查询缓存的内存大小

1024的整数倍

query_cache_limit：设置查询缓存可用存储的最大大小
query_cache_wlock_invalidate：设置数据表被锁后是否返回缓存，默认关闭
query_cache_min_res_unit：设置查询缓存分配的内存块最小单位

对于一个读写很频发的的系统，使用查询缓存很可能会降低查询处理的效率，建议不是用查询缓存，可以将query_cache_type 设置为OFF,query_cache_size 设置为0

SQL预处理及生成执行计划

接着上一步说，查询缓存未启用，或者未命中查询缓存，服务器进行SQL解析、预处理，再由优化器生成对应的执行计划。 MySQL会依赖这个执行计划和存储引擎进行交互 .

包括以下过程

语法解析：包含语法等解析校验
预处理 : 检查语法是否合法等
执行计划：上面都通过了，会生成执行计划。

造成MySQL生成错误的执行计划的原因

存储引擎提供的统计信息不准确
执行计划中的估算不等同于实际的执行计划的成本
MySQL不考虑并发的查询
MySQL有时候会基于一些特定的规则来生成执行计划
…

如何确定查询各个阶段所耗费的时间

使用profile

set profiling = 1 ; 启用profile , session级别的配置
执行查询
show profiles ; 查看每一个查询所消耗的总时间信息
show profiles for query N ：查询每个阶段所消耗的时间（N为 Query_ID）

当然了还有查询CPU等信息的命令

比如 show profile cpu for query 1

mysql> set profiling = 1;
Query OK, 0 rows affected, 1 warning (0.00 sec)mysql> select * from t_order;
+------+-----------------+
| id   | product         |
+------+-----------------+
|    1 | artisan-prod-01 |
+------+-----------------+
1 row in set (0.00 sec)mysql> show profiles;  # 每条SQL的执行汇总信息
+----------+------------+-----------------------+
| Query_ID | Duration   | Query                 |
+----------+------------+-----------------------+
|        1 | 0.00067725 | select * from t_order |
+----------+------------+-----------------------+
1 row in set, 1 warning (0.00 sec)mysql> show profile for query 1;  # m每个阶段的耗时
+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000169 |
| checking permissions | 0.000054 |
| Opening tables       | 0.000041 |
| init                 | 0.000028 |
| System lock          | 0.000034 |
| optimizing           | 0.000009 |
| statistics           | 0.000023 |
| preparing            | 0.000020 |
| executing            | 0.000009 |
| Sending data         | 0.000218 |
| end                  | 0.000010 |
| query end            | 0.000013 |
| closing tables       | 0.000013 |
| freeing items        | 0.000021 |
| cleaning up          | 0.000018 |
+----------------------+----------+
15 rows in set, 1 warning (0.00 sec)mysql>

查询CPU 使用情况

mysql> show profile cpu for query 1;
+----------------------+----------+----------+------------+
| Status               | Duration | CPU_user | CPU_system |
+----------------------+----------+----------+------------+
| starting             | 0.000169 | 0.000066 |   0.000103 |
| checking permissions | 0.000054 | 0.000021 |   0.000033 |
| Opening tables       | 0.000041 | 0.000015 |   0.000025 |
| init                 | 0.000028 | 0.000011 |   0.000016 |
| System lock          | 0.000034 | 0.000013 |   0.000021 |
| optimizing           | 0.000009 | 0.000003 |   0.000005 |
| statistics           | 0.000023 | 0.000009 |   0.000014 |
| preparing            | 0.000020 | 0.000008 |   0.000012 |
| executing            | 0.000009 | 0.000003 |   0.000005 |
| Sending data         | 0.000218 | 0.002785 |   0.000000 |
| end                  | 0.000010 | 0.000000 |   0.000000 |
| query end            | 0.000013 | 0.000000 |   0.000000 |
| closing tables       | 0.000013 | 0.000000 |   0.000000 |
| freeing items        | 0.000021 | 0.000000 |   0.000000 |
| cleaning up          | 0.000018 | 0.000000 |   0.000000 |
+----------------------+----------+----------+------------+
15 rows in set, 1 warning (0.00 sec)mysql>

看到有一个 1 warning ，看看是啥

mysql> show warnings;
+---------+------+-------------------------------------------------------------------------------------------------------------+
| Level   | Code | Message                                                                                                     |
+---------+------+-------------------------------------------------------------------------------------------------------------+
| Warning | 1287 | 'SHOW PROFILE' is deprecated and will be removed in a future release. Please use Performance Schema instead |
+---------+------+-------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)mysql>

‘SHOW PROFILE’ is deprecated and will be removed in a future release. Please use Performance Schema instead ，很明白了，看看官方推荐的 Performance Schema 吧

四、Performance Schema

5.5引入的 . performance_schema在5.7.x及其以上版本中默认启用(5.6.x及其以下版本默认关闭)，如果要显式启用或关闭时，我们需要使用参数performance_schema=ON|OFF设置

performance_schema可以记录数据库所有线程执行过的SQL，而上面的profile是session级别的，仅能记录当前session 的。

mysql> show variables like 'performance_schema';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| performance_schema | ON    |
+--------------------+-------+
1 row in set (0.00 sec)mysql>

开启Performance Schema 记录功能

mysql> use performance_schema ;  # 使用performance_schema
Database changed
mysql> update setup_instruments set enabled = 'YES', timed = 'YES' where name like 'stage%';  # Step1
Query OK, 120 rows affected (0.00 sec)
Rows matched: 129  Changed: 120  Warnings: 0mysql> update setup_consumers set enabled = 'YES' where name like 'events%';  # Step2
Query OK, 10 rows affected (0.31 sec)
Rows matched: 12  Changed: 10  Warnings: 0mysql> select * from artisan.t_order;  # 随便执行点啥 以便观察效果
+------+-----------------+
| id   | product         |
+------+-----------------+
|    1 | artisan-prod-01 |
+------+-----------------+
1 row in set (0.00 sec)mysql>

查看耗时的SQL

SELECTa.thread_id,sql_text,c.event_name,(c.timer_end - c.timer_start) / 1000000000 AS 'duration (ms)'
FROM`performance_schema`.events_statements_history_long a
JOIN `performance_schema`.threads b ON a.thread_id = b.thread_id
JOIN `performance_schema`.events_stages_history_long c ON c.thread_id = b.thread_id
AND c.event_id BETWEEN a.event_id
AND a.end_event_id
WHEREb.processlist_id = connection_id()
AND a.event_name = 'statement/sql/select'
ORDER BYa.thread_id,c.event_id;

Mysql 慢查询 Sql执行计划 SQL每阶段的耗时相关推荐

MySQL慢查询与执行计划分析
MySQL慢查询与执行计划分析慢查询分析执行计划分析表结构分析慢查询分析查看是否开启慢日志: show variables like 'slow_query_log%'; +-------- ...
Oracle 查看 SQL执行计划
Oracle 查看 SQL执行计划 SQL性能分析执行计划可以用来分析SQL的性能一.查看执行计划的方法 1. 设置autotrace set autotrace off: 此为默认值,即关闭au ...
MySQL（三）——SQL执行计划分析
目录一.SQL执行计划概述二.explain字段详解 1.id 2.select_type 3.possible_keys 4.key 5. key_len 6.ref 7.rows 8.Extr ...
闲聊MySQL（九）：浅析SQL执行计划
文章目录前言 SQL执行计划 Explain输出字段 id select_type table partitions type possible_keys key key_len ref rows ...
mysql 笛卡尔积影响_SQL优化 MySQL版 -分析explain SQL执行计划与笛卡尔积
SQL优化 MySQL版 -分析explain SQL执行计划作者 Stanley 罗昊 [转载请注明出处和署名,谢谢!] 首先我们先创建一个数据库,数据库中分别写三张表来存储数据; course: ...
OceanBase SQL 执行计划解读（二）──── 表连接和子查询
前文<OceanBase SQL 执行计划解读(一)>介绍了单表查询中基本的执行计划解读,本文主要介绍简单的表连接和子查询相关的执行计划. 本文假设你对常用的表连接算法已有了解,包括:嵌套 ...
mysql 执行计划extra_SQL优化 MySQL版 -分析explain SQL执行计划与Extra
Extra 作者 : Stanley 罗昊 [转载请注明出处和署名,谢谢!] 注:此文章必须有一定的Mysql基础,或观看执行计划入门篇传送门: https://www.cnblogs.com/Sta ...
mysql生成树状执行计划_SQL优化 MySQL版 -分析explain SQL执行计划与笛卡尔积
SQL优化 MySQL版 -分析explain SQL执行计划作者 Stanley 罗昊 [转载请注明出处和署名,谢谢!] 首先我们先创建一个数据库,数据库中分别写三张表来存储数据; course: ...
sql执行计划（mysql）
使用explain关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的,分析你的查询语句或是表结构的性能瓶颈. explain执行计划包含的信息 explain sel ...

Mysql 慢查询 Sql执行计划 SQL每阶段的耗时