Mysql 的 排序分组优化
Mysql 的 排序分组优化
where 条件和 on的判断这些过滤条件,作为优先优化的部门,是要被先考虑的!其次,如果有分组和排序,那么也要考虑grouo by 和order by。
1. 无过滤不索引
create index idx_age_deptid_name on emp (age,deptid,name);
explain select * from emp where age=40 order by deptid;
explain select * from emp order by age,deptid;
explain select * from emp order by age,deptid lim4
结论: 无过滤,不索引。where,limt都相当于一种过滤条件,所以才能使用上索引!
2. 顺序错,必排序
create index idx_age_deptid_name on emp (age,deptid,name);
①explain select * from emp where age=45 order by deptid,name;
②explain select * from emp where age=45 order by deptid,empno;
empno字段并没有建立索引,因此也无法用到索引,此字段需要排序!
③explain select * from emp where age=45 order by name,deptid;
where 两侧列的顺序可以变换,效果相同,但是order by列的顺序不能随便变换!
④explain select * from emp where deptid=45 order by age;
deptid作为过滤条件的字段,无法使用索引,因此排序没法用上索引
3. 方向反,必排序
①explain select * from emp where age=45 order by deptid desc, name desc ;
如果可以用上索引的字段都使用正序或者逆序,实际上是没有任何影响的,无非将结果集调换顺序。
②explain select * from emp where age=45 order by deptid asc, name desc ;
如果排序的字段,顺序有差异,就需要将差异的部分,进行一次倒置顺序,因此还是需要手动排序的!
4. 索引的选择
①首先,清除emp上面的所有索引,只保留主键索引!
drop index idx_age_deptid_name on emp;
②查询:年龄为30岁的,且员工编号小于101000的用户,按用户名称排序
explain SELECT SQL_NO_CACHE * FROM emp WHERE age =30 AND empno <101000 ORDER BY NAME ;
③全表扫描肯定是不被允许的,因此我们要考虑优化。
思路:首先需要让where的过滤条件,用上索引;
查询中,age.empno是查询的过滤条件,而name则是排序的字段,因此我们来创建一个此三个字段的复合索引:
create index idx_age_empno_name on emp(age,empno,name);
再次查询,发现using filesort依然存在。
原因: empno是范围查询,因此导致了索引失效,所以name字段无法使用索引排序。
所以,三个字段的符合索引,没有意义,因为empno和name字段只能选择其一!
④解决: 鱼与熊掌不可兼得,因此,要么选择empno,要么选择name
drop index idx_age_empno_name on emp;
create index idx_age_name on emp(age,name);
create index idx_age_empno on emp(age,empno);
两个索引同时存在,mysql会选择哪个?
explain SELECT SQL_NO_CACHE * FROM emp use index(idx_age_name) WHERE age =30 AND empno <101000 ORDER BY NAME ;
原因:所有的排序都是在条件过滤之后才执行的,所以如果条件过滤了大部分数据的话,几百几千条数据进行排序其实并不是很消耗性能,即使索引优化了排序但实际提升性能很有限。 相对的 empno<101000 这个条件如果没有用到索引的话,要对几万条的数据进行扫描,这是非常消耗性能的,使用empno字段的范围查询,过滤性更好(empno从100000开始)!
结论: 当范围条件和group by 或者 order by 的字段出现二选一时 ,优先观察条件字段的过滤数量,如果过滤的数据足够多,而需要排序的数据并不多时,优先把索引放在范围字段上。反之,亦然。
5. using filesort
5.1 mysql的排序算法
①双路排序
MySQL 4.1之前是使用双路排序,字面意思就是两次扫描磁盘,最终得到数据,读取行指针和orderby列,对他们进行排序,然后扫描已经排序好的列表,按照列表中的值重新从列表中读取对应的数据输出。
从磁盘取排序字段,在buffer进行排序,再从磁盘取其他字段。
简单来说,取一批数据,要对磁盘进行了两次扫描,众所周知,I\O是很耗时的,所以在mysql4.1之后,出现了第二种改进的算法,就是单路排序。
②单路排序
从磁盘读取查询需要的所有列,按照order by列在buffer对它们进行排序,然后扫描排序后的列表进行输出,
它的效率更快一些,避免了第二次读取数据。并且把随机IO变成了顺序IO,但是它会使用更多的空间,
因为它把每一行都保存在内存中了。
③单路排序的问题
由于单路是后出的,总体而言好过双路。但是存在以下问题:
在sort_buffer中,方法B比方法A要多占用很多空间,因为方法B是把所有字段都取出, 所以有可能取出的数据的总大小超出了sort_buffer的容量,导致每次只能取sort_buffer容量大小的数据,进行排序(创建tmp文件,多路合并),排完再取取sort_buffer容量大小,再排……从而多次I/O。
结论:本来想省一次I/O操作,反而导致了大量的I/O操作,反而得不偿失。
5.2 如何优化
①增大sort_butter_size参数的设置
不管用哪种算法,提高这个参数都会提高效率,当然,要根据系统的能力去提高,因为这个参数是针对每个进程的 1M-8M之间调整。
②增大max_length_for_sort_data参数的设置
mysql使用单路排序的前提是排序的字段大小要小于max_length_for_sort_data。
提高这个参数,会增加用改进算法的概率。但是如果设的太高,数据总容量超出sort_buffer_size的概率就增大,明显症状是高的磁盘I/O活动和低的处理器使用率。(1024-8192之间调整)。
③减少select 后面的查询的字段。
当Query的字段大小总和小于max_length_for_sort_data 而且排序字段不是 TEXT|BLOB 类型时,会用改进后的算法——单路排序, 否则用老算法——多路排序。
两种算法的数据都有可能超出sort_buffer的容量,超出之后,会创建tmp文件进行合并排序,导致多次I/O,但是用单路排序算法的风险会更大一些,所以要提高sort_buffer_size。
6. 使用覆盖索引
覆盖索引:SQL只需要通过索引就可以返回查询所需要的数据,而不必通过二级索引查到主键之后再去查询数据。
7. group by
group by 使用索引的原则几乎跟order by一致 ,唯一区别是groupby 即使没有过滤条件用到索引,也可以直接使用索引。
Mysql 的 排序分组优化相关推荐
- java 索引排序_Java培训MySQL之排序分组优化索引的选择
索引的选择 ①首先,清除emp上面的所有索引,只保留主键索引! drop index idx_age_deptid_name on emp; ②查询:年龄为30岁的,且员工编号小于101000的用户, ...
- list对oracle结果集排序了_MySQL之排序分组优化
排序分组优化 where 条件和 on的判断这些过滤条件,作为优先优化的部门,是要被先考虑的!其次,如果有分组和排序,那么也要考虑grouo by 和order by. 1. 无过滤不索引 creat ...
- MySQL优化篇:排序分组优化
文章目录 1.order by关键字排序优化 1.1 无过滤不索引 1.2 顺序错,必排序 1.3 方向反,必排序 1.4 索引的选择 1.5 using filesort 1.6 使用覆盖索引 1. ...
- mysql自定义排序以及优化like模糊查询
**1. 自定义排序函数FIELD()**SELECT id,username,city FROM sy_user order byFIELD(city,'郑州', '开封', '平顶山','洛阳', ...
- mysql中order by优化的那些事儿
为了测试方便和直观,我们需要先创建一张测试表并插入一些数据: CREATE TABLE `shop` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '记 ...
- MySQL之查询性能优化(四)
优化特定类型的查询 COUNT()的作用 COUNT()是一个特殊函数,有两个非常不同的作用:它可以统计某个列值的数量,也可以统计行数.在统计列值时要求列值是非空的(不统计NULL). 如果在COUN ...
- MySQL数据库:SQL优化与索引优化
一.索引优化: 1.like语句的前导模糊查询不使用索引: select * from doc where title like '%XX': --不能使用索引 select * from doc ...
- 学习笔记之-MySql高级之sql优化
一 Mysql简介 概述 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. M/SQL是一种关联数据库管理系统,将数据保存在不同的表中,而不是将所有数据 ...
- 高性能MySQL(4)——查询性能优化
査询优化.索引优化.库表结构优化需要齐头并进,一个不落. 一.为什么查询速度为变慢 在尝试编写快速的查询之前,需要清楚一点,真正重要是响应时间.如果把查询看作是一个任务,那么他由一系列子任务组成,每个 ...
最新文章
- 跨云协作,看OpenStack起舞
- HDLBits 系列(31)Serial Receiver and Datapath
- Duilib开发环境搭建
- 子网掩码相关教学 子网掩码快速算法 沉睡不醒blog
- oracle 11g segment,11g视图dba_segments中增加了一个有用的segment_subtype字段!
- 有传闻说,写好总结可以升职加薪?
- Jmeter基本概念介绍
- Python机器学习:SVM003Soft Margin和SVM(线性)的正则化
- Windows学习总结(13)——各品牌电脑进入BIOS按键汇总
- XP系统下如何把FAT32转换成NTFS格式的?
- docker pxc mysql_docker安装pxc集群的详细教程
- 解决@Override错误
- 第四章 Sysrepo连接与会话
- 用matlab求二重积分
- 往返多伦多与温莎的交通全攻略!
- 东北酱油 模拟赛 期望dp
- opencv形态学-开操作和闭操作
- MySQL中xtrabackup备份恢复全攻略(r12笔记第11天)
- 电脑编程技巧与维护杂志电脑编程技巧与维护杂志社电脑编程技巧与维护编辑部2022年第6期目录
- 纽约州立计算机科学,纽约州立大学布法罗分校计算机科学computer science专业排名第176~200名(2020THE泰晤士高等教育世界大学排名)...