优化案例 | CASE WHEN进行SQL改写优化

导读
今天给大家分享一个通过SQL改写而独辟蹊径的SQL优化案例

待优化场景
发现SLOW QUERY LOG中有下面这样一条记录：

...
# Query_time: 59.503827  Lock_time: 0.000198  Rows_sent: 641227  Rows_examined: 13442472  Rows_affected: 0
...
select uid,sum(power) powerup from t1 where
date>='2017-03-31' and
UNIX_TIMESTAMP(STR_TO_DATE(concat(date,' ',hour),'%Y-%m-%d %H'))>=1490965200 and
UNIX_TIMESTAMP(STR_TO_DATE(concat(date,' ',hour),'%Y-%m-%d %H'))<1492174801  and
aType in (1,6,9) group by uid;

实话说，看到这个SQL我也忍不住想骂人啊，究竟是哪个脑残的XX狗设计的？

竟然把日期时间中的 date 和 hour 给独立出来成两列，查询时再合并成一个新的条件，简直无力吐槽。

吐槽归吐槽，该干活还得干活，谁让咱是DBA呢，SQL优化是咱的拿手好戏不是嘛~

SQL优化之路
SQL优化思路
不厌其烦地再说一遍SQL优化思路。

想要优化一个SQL，一般来说就是先看执行计划，观察是否尽可能用到索引，

同时要关注预计扫描的行数，

以及是否产生了临时表（Using temporary）或者

是否需要进行排序（Using filesort），

想办法消除这些情况。

SQL性能瓶颈定位
毫无疑问，想要优化，先看表DDL以及执行计划：

CREATE TABLE `t1` (`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,`date` date NOT NULL DEFAULT '0000-00-00',`hour` char(2) NOT NULL DEFAULT '00',`kid` int(4) NOT NULL DEFAULT '0',`uid` int(11) NOT NULL DEFAULT '0',`aType` tinyint(2) NOT NULL DEFAULT '0',`src` tinyint(2) NOT NULL DEFAULT '1',`aid` int(11) NOT NULL DEFAULT '1',`acount` int(11) NOT NULL DEFAULT '1',`power` decimal(20,2) DEFAULT '0.00',PRIMARY KEY (`id`,`date`),UNIQUE KEY `did` (`date`,`hour`,`kid`,`uid`,`aType`,`src`,`aid`)
) ENGINE=InnoDB AUTO_INCREMENT=50486620 DEFAULT CHARSET=utf8mb4
/*!50500 PARTITION BY RANGE  COLUMNS(`date`)
(PARTITION p20170316 VALUES LESS THAN ('2017-03-17') ENGINE = InnoDB,PARTITION p20170317 VALUES LESS THAN ('2017-03-18') ENGINE = InnoDB
...
yejr@imysql.com[myDB]> EXPLAIN select uid,sum(power) powerup from t1 where
date>='2017-03-31' and
UNIX_TIMESTAMP(STR_TO_DATE(concat(date,' ',hour),'%Y-%m-%d %H'))>=1490965200 and
UNIX_TIMESTAMP(STR_TO_DATE(concat(date,' ',hour),'%Y-%m-%d %H'))<1492174801  and
aType in (1,6,9) group by uid\G
*************************** 1. row ***************************id: 1select_type: SIMPLEtable: t1partitions: p20170324,p20170325,....all partitiontype: ALL
possible_keys: didkey: NULLkey_len: NULLref: NULLrows: 25005577filtered: 15.00Extra: Using where; Using temporary; Using filesort

明显的，这个SQL效率非常低，全表扫描、没有索引、有临时表、需要额外排序，什么倒霉催的全赶上了。

优化思考
这个SQL是想统计符合条件的power列总和，虽然 date 列已有索引，但WHERE子句中却对 date 列加了函数，而且还是 date 和 hour 两列的组合条件，那就无法用到这个索引了。

还好，有个聪明伶俐的妹子，突发起想（事实上这位妹子本来就擅长做SQL优化的~），可以用 CASE WHEN 方法来改造下SQL，改成像下面这样的：

select uid,sum(powerup+powerup1) from
(select uid,case when concat(date,' ',hour) >='2017-03-24 13:00' then power else '0' end as powerup,case when concat(date,' ',hour) < '2017-03-25 13:00' then power else '0' end as powerup1from t1where date>='2017-03-24' and   date <'2017-03-25'and  aType in (1,6,9)
) a  group by uid;

是不是很有才，直接把这个没办法用到索引的条件给用CASE WHEN来改造了。看看新的SQL执行计划：

*************************** 1. row ***************************id: 1select_type: SIMPLEtable: t1partitions: p20170324type: range
possible_keys: didkey: idx2_date_addRedTypekey_len: 4ref: NULLrows: 876375filtered: 30.00Extra: Using index condition; Using temporary; Using filesort

看看这个SQL的执行代价：

+----------------------------+---------+
| Variable_name              | Value   |
+----------------------------+---------+
| Handler_read_first         | 1       |
| Handler_read_key           | 1834590 |
| Handler_read_last          | 0       |
| Handler_read_next          | 1834589 |
| Handler_read_prev          | 0       |
| Handler_read_rnd           | 232276  |
| Handler_read_rnd_next      | 232277  |
+----------------------------+---------+

及其SLOW QUERY LOG记录的信息：

# Query_time: 6.381254  Lock_time: 0.000166  Rows_sent: 232276  Rows_examined: 2299141  Rows_affected: 0
# Bytes_sent: 4237347  Tmp_tables: 1  Tmp_disk_tables: 0  Tmp_table_sizes: 4187168
# InnoDB_trx_id: 0
# QC_Hit: No  Full_scan: No  Full_join: No  Tmp_table: Yes  Tmp_table_on_disk: No
# Filesort: Yes  Filesort_on_disk: No  Merge_passes: 0
#   InnoDB_IO_r_ops: 0  InnoDB_IO_r_bytes: 0  InnoDB_IO_r_wait: 0.000000
#   InnoDB_rec_lock_wait: 0.000000  InnoDB_queue_wait: 0.000000
#   InnoDB_pages_distinct: 9311

看起来还不是太理想啊，虽然不再扫描全表了，但毕竟还是有临时表和额外排序，想办法消除后再对比看下。

有个变化不知道大家注意到没，新的SLOW QUERY LOG记录多了不少信息，这是因为用了Percona分支版本的插件才支持，这个功能确实不错，甚至还能记录Profiling的详细信息，强烈推荐。

我们新建个 uid 列上的索引，看看能除临时表及排序后的代价如何，看看这个的开销会不会更低。

yejr@imysql.com[myDB]> ALTER TABLE t1 ADD INDEX idx_uid(uid);
yejr@imysql.com[myDB]> EXPLAIN select uid,sum(powerup+powerup1) from
(select uid,case when concat(date,' ',hour) >='2017-03-24 13:00' then power else '0' end as powerup,case when concat(date,' ',hour) < '2017-03-25 13:00' then power else '0' end as powerup1from t1where date>='2017-03-24' and   date <'2017-03-25'and  aType in (1,6,9)
) a  group by uid\G*************************** 1. row ***************************id: 1select_type: SIMPLEtable: if_date_hour_army_countpartitions: p20170331,p20170401...type: index
possible_keys: did,idx_uidkey: idx_uidkey_len: 4ref: NULLrows: 12701520filtered: 15.00Extra: Using where

看看添加索引后SQL的执行代价：

+----------------------------+---------+
| Variable_name              | Value   |
+----------------------------+---------+
| Handler_read_first         | 1       |
| Handler_read_key           | 1       |
| Handler_read_last          | 0       |
| Handler_read_next          | 1834589 |
| Handler_read_prev          | 0       |
| Handler_read_rnd           | 0       |
| Handler_read_rnd_next      | 0       |
+----------------------------+---------+

及其SLOW QUERY LOG记录的信息：

# Query_time: 5.772286  Lock_time: 0.000330  Rows_sent: 232276  Rows_examined: 1834589  Rows_affected: 0
# Bytes_sent: 4215071  Tmp_tables: 0  Tmp_disk_tables: 0  Tmp_table_sizes: 0
# InnoDB_trx_id: 0
# QC_Hit: No  Full_scan: Yes  Full_join: No  Tmp_table: No  Tmp_table_on_disk: No
# Filesort: No  Filesort_on_disk: No  Merge_passes: 0
#   InnoDB_IO_r_ops: 0  InnoDB_IO_r_bytes: 0  InnoDB_IO_r_wait: 0.000000
#   InnoDB_rec_lock_wait: 0.000000  InnoDB_queue_wait: 0.000000
#   InnoDB_pages_distinct: 11470

我们注意到，虽然加了 uid 列索引后的SQL扫描的data page更多了，但执行效率其实是更高的，因为消除了临时表和额外排序，这从 Handlerread% 的结果中也能看出来，很显然它的顺序I/O更多，随机I/O更少，所以虽然需要扫描的 data page 更多，实际上效率却是更快的。

后记
再想想这个SQL还有优化空间吗，显然是有的，那就是把数据表重新设计，将 date 和 hour 列整合到一起，这样就不用费劲的拼凑条件并且也能用到索引了。

优化案例 | CASE WHEN进行SQL改写优化相关推荐

mysql高效sql语句_高效SQL优化非常好用的SQL语句优化34条
高效SQL优化非常好用的SQL语句优化34条相关软件相关文章发表评论来源:2011/2/13 9:38:43字体大小: 作者:佚名点击:576次评论:0次标签: 类型:电子教程大小:8.5M语言 ...
优化数据库的方法及SQL语句优化的原则
优化数据库的方法: 1.关键字段建立索引. 2.使用存储过程,它使SQL变得更加灵活和高效. 3.备份数据库和清除垃圾数据. 4.SQL语句语法的优化.(可以用Sybase的SQL Expert,可惜 ...
优化数据库的思想及SQL语句优化的原则
优化数据库的思想: ================ 1.关键字段建立索引. 2.使用存储过程,它使SQL变得更加灵活和高效. 3.备份数据库和清除垃圾数据. 4.SQL语句语法的优化.(可以用Syb ...
sql server 数据分析优化实战（一）——SQL语句优化
前言在我们进行数据分析的时候,首要的目标是根据业务逻辑,通过编写SQL代码得到我们想要的结果,这是毋庸置疑的.一般情况下,由于我们分析的数据量比较少,体会不出SQL语句各种写法的性能优劣,对SQL代 ...
[MySQL优化案例]系列 — slave延迟很大优化方法
备注:插图来自网络搜索,如果觉得不当还请及时告知 :) 一般而言,slave相对master延迟较大,其根本原因就是slave上的复制线程没办法真正做到并发.简单说,在master上是并发模式(以In ...
MySQL中级优化教程（一）——SQL常用优化工具及explain语句的使用
序言: 说来惭愧,java学了两年,期间虽在博客上记了一些东西,可也不曾写过什么系统的教程,前一段时间开始学习MySQL数据库优化相关的知识,就想着趁着这个机会好好整理一份电子档出来,即方便自己之后回 ...
耗时又繁重的SQL诊断优化，以后就都交给数据库自治服务DAS吧！
作者:斯干,阿里云数据库高级技术专家在我们业务系统中,数据库越来越扮演着举足轻重的角色. 和其它公司一样,在阿里巴巴业务场景下,大部分业务跟数据库有着非常紧密的关系,数据库一个微小的抖动都有可能对业 ...
SQL优化（一）、sql优化一般步骤
sql优化一般步骤概要: 通过 show status 命令了解各种sql的执行频率定位执行效率较低的sql语句通过explain分析低效sql的执行计划通过 show profile 分析sq ...
MySQL数据库性能优化由浅入深（表设计、慢查询、SQL索引优化、Explain分析、Show Profile分析、配置优化）
文章目录 0 SQL性能分析 1 表的设计合理化 1.1 为什么需要范式 1.2 三范式原理 1.3 什么样的表才满足三范式 2 慢查询 2.1 慢查询介绍 2.2 慢查询步骤 3 添加适当索引 3. ...

优化案例 | CASE WHEN进行SQL改写优化

优化案例 | CASE WHEN进行SQL改写优化相关推荐

最新文章

热门文章