从线上慢sql看explain关键字

大家好，我是烤鸭：
最近有点忙的头晕，又懒又累，正好线上遇到慢sql的问题，就说下 MySQL Explain 关键字的解析和使用示例。

explain 关键字说明

使用explain关键字可以模拟优化器执行sql查询语句，从而得知MySQL 是如何处理sql语句。

id

select 查询的序列号，包含一组可以重复的数字，表示查询中执行sql语句的顺序。一般有三种情况：
第一种：id全部相同，sql的执行顺序是由上至下；
第二种：id全部不同，sql的执行顺序是根据id大的优先执行；
第三种：id既存在相同，又存在不同的。先根据id大的优先执行，再根据相同id从上至下的执行。

select_type

select 查询的类型，主要是用于区别普通查询，联合查询，嵌套的复杂查询
simple：简单的select 查询，查询中不包含子查询或者union
primary：查询中若包含任何复杂的子查询，最外层查询则被标记为primary
subquery：在select或where 列表中包含了子查询
dependent subquery: 子查询中的第一个SELECT语句，依赖于外部查询
uncacheable subquery: 对于该结果不能被缓存，必须重新评估外部查询的每一行子查询
derived：在from列表中包含的子查询被标记为derived（衍生）MySQL会递归执行这些子查询，把结果放在临时表里。
union：若第二个select出现在union之后，则被标记为union，若union包含在from子句的子查询中，外层select将被标记为：derived
dependent union: union 中的第二个或者后面的SELECT语句,依赖于外部查询
uncacheable union: UNION中的第二个或者后面的SELECT语句属于不可缓存子查询 (see UNCACHEABLE SUBQUERY)
union result：从union表获取结果的select

partitions

表所使用的分区，如果要统计十年公司订单的金额，可以把数据分为十个区，每一年代表一个区。这样可以大大的提高查询效率。

type

这是一个非常重要的参数，连接类型，常见的有：all , index , range , ref , eq_ref , const , system , null 八个级别。
性能从最优到最差的排序：system > const > eq_ref > ref > range > index > all
对java程序员来说，若保证查询至少达到range级别或者最好能达到ref则算是一个优秀而又负责的程序员。
all：（full table scan）全表扫描无疑是最差，若是百万千万级数据量，全表扫描会非常慢。
index：（full index scan）全索引文件扫描比all好很多，毕竟从索引树中找数据，比从全表中找数据要快。
range：只检索给定范围的行，使用索引来匹配行。范围缩小了，当然比全表扫描和全索引文件扫描要快。sql语句中一般会有between，in，>，< 等查询。
ref：非唯一性索引扫描，本质上也是一种索引访问，返回所有匹配某个单独值的行。比如查询公司所有属于研发团队的同事，匹配的结果是多个并非唯一值。
eq_ref：唯一性索引扫描，对于每个索引键，表中有一条记录与之匹配。比如查询公司的CEO，匹配的结果只可能是一条记录，
const：表示通过索引一次就可以找到，const用于比较primary key 或者unique索引。因为只匹配一行数据，所以很快，若将主键至于where列表中，MySQL就能将该查询转换为一个常量。
system：表只有一条记录（等于系统表），这是const类型的特列，平时不会出现，了解即可

possible_keys

显示查询语句可能用到的索引(一个或多个或为null)，不一定被查询实际使用。仅供参考使用。

key

显示查询语句实际使用的索引。若为null，则表示没有使用索引。

key_len

显示索引中使用的字节数，可通过key_len计算查询中使用的索引长度。在不损失精确性的情况下索引长度越短越好。key_len 显示的值为索引字段的最可能长度，并非实际使用长度，即key_len是根据表定义计算而得，并不是通过表内检索出的。

ref

显示索引的哪一列或常量被用于查找索引列上的值，常见的有：const（常量），func，NULL，字段名（例：film.id）。

rows

根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数，值越大越不好。

extra

Using filesort：说明MySQL会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序” 。出现这个就要立刻优化sql。
Using temporary：使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by。出现这个更要立刻优化sql。
Using index：表示相应的select 操作中使用了覆盖索引（Covering index），避免访问了表的数据行，效果不错！如果同时出现Using where，表明索引被用来执行索引键值的查找。如果没有同时出现Using where：表示索引用来读取数据而非执行查找动作。
覆盖索引（Covering Index）：也叫索引覆盖，就是select 的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select 列表中的字段，而不必根据索引再次读取数据文件。
Using index condition：在5.6版本后加入的新特性，优化器会在索引存在的情况下，通过符合RANGE范围的条数和总数的比例来选择是使用索引还是进行全表遍历。
Using where：表明使用了where 过滤
Using join buffer：表明使用了连接缓存
impossible where： where 语句的值总是false，不可用，不能用来获取任何元素
distinct：优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作。

filtered

一个百分比的值，和rows 列的值一起使用，可以估计出查询执行计划(QEP)中的前一个表的结果集，从而确定join操作的循环次数。小表驱动大表，减轻连接的次数。

常用的参数：

select_type ：查询类型

type：数据读取操作的操作类型

key：哪些索引被实际使用

ref：表之间的引用

rows：每张表有多少行被优化器查询

extra：额外的描述，比如额外的文件排序(多一次io)，使用索引，使用where条件等

线上问题sql

stage 和 video_source 是分别有索引的，但是按照这两个条件执行耗时要几秒…(一共不超过500w数据)

explain select count(1) from test_original where stage = 7 and video_source = 3;

看下执行计划几个常用参数：

type：index_merge

key：index_stage,index_video_source

rows：1042600

extra：Using intersect(index_stage,index_video_source); Using where; Using index

key和rows没什么问题，这个type和extra比较有意思了。

index_merge指的是对多个索引分别进行条件扫描，然后将它们各自的结果进行合并

extra里的Using intersect(index_stage,index_video_source)指的就是求交集。

找到问题就知道怎么优化了。把两个独立索引改成联合索引(避免两次查询后取交集)

type：ref

key：index_stage_video_source

rows：1042600

extra：Using index

可以看到建立联合索引后，只是单独的走了一次索引查询，效率更高了。

组合索引

之前对组合索引有一点误区，对最左匹配原则和组合索引的字段顺序上，下面这段也是从别的博客copy来的，分享一下。

注意最左前缀，并不是是指：一定要按照各个字段出现在where中的顺序来建立复合索引的。

比如 where status=2 and roleId=xxx and number = xxx

该条件建立符合索引，我们并不需要按照status,roleId，number它们出现的顺序来建立索引：

alter table role_goods add index sin(status,roleId,number)

这是对最左前缀极大的误解。因为 where status=2 and roleId=xxx and number = xxx 和 where roleId=xxx and number = xxx and status=2它们是等价的。复合索引，哪个字段放在最前面，需要根据哪个字段经常出现在where条件中，哪个字段的选择性最好来判断的。

就拿线上的那个sql来说，无论组合索引的顺序怎么建立，下面这两个是一样的。

explain select count(1) from test_original where stage = 7 and video_source = 3;
explain select count(1) from test_original where video_source = 3 and stage = 7;

但是如果只查询其中一个条件，又想走索引，就需要考虑顺序了，只能是前面的可以走索引，这就是最左匹配。

三个字段的组合索引也一样，不需要考虑顺序，但是如果查询1-2个索引，需要遵循最左匹配原则。

查询 1 个索引的情况下，只能第一个索引生效。查询 2个索引的情况下，包含第一个索引的都会生效(无论顺序)。