SQL优化之多表联合查询干掉“distinct”去重关键字

一、优化目的
二、优化之前的sql长这样
三、DISTINCT关键字的用法
四、谈：如何优化distinct的sql
五、distinct真的和group by等价吗？
六、优化后的sql长啥样?
七、总结
2020.10.14更【来自评论区大佬的精彩观点】

一、优化目的

在我提交了代码的时候，架构师给我指出我这个sql这样写会有问题。因为在分库分表的时候，是不支持子查询的。

所以需要把多表的子查询的sql结构进行优化。

二、优化之前的sql长这样

是不是挺恐怖的；（此处为了脱敏，我把相关的sql关键词都给打码掉了）

这个sql的执行步骤如下：
1、查询出来d表中的某个id字段包含多个id值的所有的数据（因为此表是1-n的关系，所以需要去重，仅需要拿到不重复的id才可以继续下一个步骤）；可以看到此步骤我把查询出来的多个值的结果给生成的了一个子表名为sss；

2、下一个步骤就是需要进行排序（以时间进行倒序排序，因为要在前台进行按时间进行展示）；

3、第3步就是把这些结果与a表进行合并，查询出来排序后的每个id的信息；然后进行分页处理；

其他的可以不必关心，最终要的是去重关键字（DISTINCT），拿小本本记号，一会要考哦。

三、DISTINCT关键字的用法

实践是验证真理的唯一标准

例如有下表：

可以看到name和product_unit列的值都有可能是重复的。

mysql> SELECT t1.id,t1.name,t1.product_unit  FROM dd_product_category t1;
+----+----------+--------------+
| id | name     | product_unit |
+----+----------+--------------+
| 55 | 饮料     | 瓶           |
| 56 | 饮料     | 箱           |
| 57 | 零食     | 包           |
| 59 | 膨化食品 | 袋           |
| 60 | 方便食品 | 箱           |
| 61 | 自热火锅 | 碗           |
| 62 | 方便面   | 箱           |
| 63 | 矿泉水   | 箱           |
| 64 | 糖果     |              |
| 65 | 酒类     | 箱           |
| 66 | 烈酒     | 箱           |
| 67 | 啤酒     | 箱           |
| 68 | 预调酒   | 箱           |
+----+----------+--------------+
13 rows in set (0.13 sec)mysql>
mysql>

如何我们想只拿到name或者product_unit列的值并且不想要重复的值该怎么办？

1、拿到单个值是好拿的，但是是存在重复的数据的，这些重复的数据我们只保留一个就可以了，那么该怎么做呢？


mysql> SELECT t1.product_unit  FROM dd_product_category t1;
+--------------+
| product_unit |
+--------------+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 箱           |
| 碗           |
| 箱           |
| 箱           |
|              |
| 箱           |
| 箱           |
| 箱           |
| 箱           |
+--------------+
13 rows in set (19.31 sec)mysql>

2、去除重复列

mysql>
mysql> SELECT DISTINCT t1.product_unit  FROM dd_product_category t1;
+--------------+
| product_unit |
+--------------+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 碗           |
|              |
+--------------+
6 rows in set (0.11 sec)mysql>

是不是很简单，虽然看着简单，但是如果多表子查询的时候，就会出现问题，例如你想要查询表a,b,c三个表的数据，这三个表必然都是有关系的。

a和b是1-n的关系。但是你只有b表中id，你需要先查询出来b表的数据，然后利用b表的数据去查询a表的数据，然后再去查询c表的数据。

想必肯定是很绕的。

整个过程中你肯定是需要去重的

当整个sql写完，基本上跟我写的优化前的sql也就差不多了。（多表嵌套，多sql嵌套sql，啦啦啦一大堆）。

优化思路还是有很多的，当时能想到的就是把这个复杂的sql拆分成多个简单的sql执行，然后使用Java后台代码进行处理。（对于不甘于现状的我，想找到一个比这个更友好的解决方案的我，我是不会屈服这个问题的。）

四、谈：如何优化distinct的sql

说到这里，先给大家放上一个链接：

1、(Mysql5.7官方手册中提及到的关于优化distinct的方法)
https://dev.mysql.com/doc/refman/5.7/en/distinct-optimization.html
2、还有一个优化group by的：
https://dev.mysql.com/doc/refman/5.7/en/group-by-optimization.html

推荐大家阅读。

Mysql5.7官方手册中提及到的关于优化distinct的方法，原文如下：

MySQL 5.7 Reference Manual / … / DISTINCT Optimization

8.2.1.16 DISTINCT Optimization

DISTINCT combined with ORDER BY needs a temporary table in many cases.

distinct 与order by 结合的许多情况下需要建一个临时表；

Because DISTINCT may use GROUP BY, learn how MySQL works with columns in ORDER BY or HAVING clauses that are not part of the selected columns. See Section 12.20.3, “MySQL Handling of GROUP BY”.

因为distinct可能使用group by，了解MySQL如何处理按order by 列或者具有不属于所选列的子句。见12.20.3节, “MySQL Handling of GROUP BY”.

In most cases, a DISTINCT clause can be considered as a special case of GROUP BY. For example, the following two queries are equivalent:

在大多数情况下，一个不同的子句可以被认为是group by 的特殊情况。例如下面这两个查询是等价的：

SELECT DISTINCT c1, c2, c3 FROM t1
WHERE c1 > const;

SELECT c1, c2, c3 FROM t1
WHERE c1 > const GROUP BY c1, c2, c3;

Due to this equivalence, the optimizations applicable to GROUP BY queries can be also applied to queries with a DISTINCT clause. Thus, for more details on the optimization possibilities for DISTINCT queries, see Section 8.2.1.15, “GROUP BY Optimization”.

由于这种等价性，适用于group by查询的优化，也可以应用于具有不同子句的查询。因此，关于distinct的查询优化的更多细节可以参考Section 8.2.1.15, “GROUP BY Optimization”.

When combining LIMIT row_count with DISTINCT, MySQL stops as soon as it finds row_count unique rows.

当row_count与distinct一起使用时，MySQL一旦发现row_count是唯一的行，就会停止。

If you do not use columns from all tables named in a query, MySQL stops scanning any unused tables as soon as it finds the first match. In the following case, assuming that t1 is used before t2 (which you can check with EXPLAIN), MySQL stops reading from t2 (for any particular row in t1) when it finds the first row in t2:

如果在查询中不适用来自所有表的列，MySQL一旦找到第一个匹配项就会停止扫描任何未使用的表。

在下面的例子中，假设t1在t2之前使用（你可以使用explanin来检查），MySQL在找到t2的第一行时停止从t2读取（对于t1中的任何特定行）。

SELECT DISTINCT t1.a FROM t1, t2 where t1.a=t2.a;

官方的手册中写到的，真是句句扣心呀！！！

总结有以下比较重要的几点：

1、distinct与group by几乎等价；
2、distinct的相关优化与group by的查询优化方法是等价的；

五、distinct真的和group by等价吗？

我们抱着试试看的态度，去做个试验。

就以下列这个效果为最终目的好了：

mysql>
mysql> SELECT DISTINCT t1.product_unit  FROM dd_product_category t1;
+--------------+
| product_unit |
+--------------+
| 瓶           |
| 箱           |
| 包           |
| 袋           |
| 碗           |
|              |
+--------------+
6 rows in set (0.11 sec)mysql>

使用group by去重：

mysql> select  t1.product_unit from dd_product_category t1 group by t1.product_unit;
+--------------+
| product_unit |
+--------------+
|              |
| 包           |
| 瓶           |
| 碗           |
| 箱           |
| 袋           |
+--------------+
6 rows in set (19.46 sec)mysql>

可以看到，最终拿到的数据是一模一样的。

那么我们试验是成功的，distinct的效果和group by的效果是一样的。

那么我们优化distinct就变向的去优化group by了（我优化前的sql并未使用group by所以谈不上优化group by，只能说是把distinct的复杂sql改造成group by 的sql）。

打开我前面提到的这个优化group by的官方手册：
https://dev.mysql.com/doc/refman/5.7/en/group-by-optimization.html

由于原文比较长，这里就不在过多赘述。

现在需要做的就是把distinct改造成group by的sql语法的写法。

六、优化后的sql长啥样?

怎么样，改造后的sql，是不是还挺清爽的。

1、我们扔掉了多个嵌套sql；

2、也不用去生成一个sss的临时表了

七、总结

对于本人而言学到了：

1、distinct与group by几乎等价；
2、distinct的相关优化与group by的查询优化方法是等价的；
3、如果distinct的不能让sql最优化，那么可以尝试着使用group by的方式去改造一下。

这些我都上传到了百度云。

为了防止链接丢失可以关注公众号，回复:"mysql"。即可拿到MySQL相关的全部精彩内容。

欢迎一起学习，一起交流，一起进步。

关注我微信公众号第一时间推送给你精彩内容哦：

回复菜单，更有好礼，惊喜在等着你。

快来我粉丝群：每天欢快的玩耍（微信扫描二维码即可加入，群马上满，抓紧啦！！！）

2020.10.14更【来自评论区大佬的精彩观点】

感谢煎蛋没有蛋这位大佬提出的精彩观点

CSDN博客名：煎蛋没有蛋:

有distinct其实一方面也代表着表连接不到位或查询条件限制不到位或者是表结构设计不合理。

博主客气了，在传统的范式模型中，的确不应该出现这样的去重问题，你想取不重复的单位应该有单位表；产品，应该有产品表，产品表中只有单位的id，取单位的名称直接查询单位表即可。但是在olap的场景下，现在都是拿空间换时间的，所以也有可能出现冗余字段的，只是从职业习惯上，一般看到需要去重的地方，都会回去扒拉下代码，看看是不是出了笛卡尔积。

附上大佬的博客地址：https://me.csdn.net/weixin_50666314，看得出来，是一位真大佬无疑了！

SQL优化终于干掉了“distinct”相关推荐

不可置信！SQL 优化终于干掉了“distinct”
sql 优化之多表联合查询干掉 "distinct" 去重关键字在我提交了代码的时候,架构师给我指出我这个sql这样写会有问题.因为在分库分表的时候,是不支持子查询的. 所以需要 ...
mysql distinct 优化_SQL优化终于干掉了“distinct”
一.优化目的在我提交了代码的时候,架构师给我指出我这个sql这样写会有问题.因为在分库分表的时候,是不支持子查询的. 所以需要把多表的子查询的sql结构进行优化. 二.优化之前的sql长这样是不是挺恐 ...
[20151212优化sql语句要注意关键字DISTINCT
[20151212]优化sql语句要注意关键字DISTINCT.txt --做sql语句优化要特别注意带DISTINCT语句,有一些情况往往是开发写错或者写少了连接条件,或者没有用exists等关键字 ...
搞懂这些SQL优化技巧，面试横着走
点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取来源:sohu.gg/FGG98 SQL 优化已经成为衡量程序猿优秀与否的 ...
SQL优化之六脉神剑
SQL优化之六脉神剑 DBAplus社群 | 2016-02-03 07:47 本文作者通过身边的案例,详细阐述了SQL优化过程中的种种方法和小窍门,内容丰富且言之有物,希望能让接触到SQL的同学可以 ...
数据库应用+SQL优化+Git
数据库应用 1.1 概念 1.1.1 什么是数据库 1.1.2 关系型和非关系型 1.1.3 关系型数据库 1.2 Mysql数据库 1.2.1 MySQL数据存放在哪里? 1.2.2 MySQL服务 ...
一次耐人寻味的SQL优化：除了SQL改写，还要考虑什么?
黄浩 2016-11-03 10:36:26 作者介绍黄浩,现任职于中国惠普,从业十年,始终专注于SQL.在华为做项目的两年多,做过大大小小的SQL多达1500个.闲暇之余,喜欢将部分案例写成博客发 ...
SQL优化三板斧：精简之道、驱动为王、集合为本
黄浩 2016-11-16 10:24:08 作者介绍黄浩,现任职于中国惠普,从业十年,始终专注于SQL.在华为做项目的两年多,做过大大小小的SQL多达1500个.闲暇之余,喜欢将部分案例写成博客发 ...
从一条巨慢SQL看基于Oracle的SQL优化(重磅彩蛋+PPT)
本文根据DBAplus社群第110期线上分享整理而成,文末还有好书送哦~ 讲师介绍丁俊新炬网络首席性能优化专家 SQL审核产品经理 DBAplus社群联合发起人.<剑破冰山-Oracle开发 ...

SQL优化终于干掉了“distinct”