MySQL分页查询速度慢的优化

数据数量足够大的分页查询会变得慢，这个时候我们就需要进行优化。
优化的方法也有很多，下面简述一下我用过的一些方法。
表名：order_history
描述：某个业务的订单历史表
主要字段：unsigned int id，tinyint(4) int type
字段情况：该表一共50+个字段，包含text等大型数据，最大为varchar(500)，id字段为索引，且为递增。（使用递增是因为该系统只是在公司的局域网部署，安全性“天然存在”）
一般的分页查询使用简单的 limit 子句就可以实现。limit 子句声明如下：
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
LIMIT 子句可以被用于指定 SELECT 语句返回的记录数。
需注意以下几点：
第一个参数指定第一个返回记录行的偏移量，注意从0开始
第二个参数指定返回记录行的最大数目
如果只给定一个参数：它表示返回最大的记录行数目
第二个参数为 -1 表示检索从某一个偏移量到记录集的结束所有的记录行
初始记录行的偏移量是 0(而不是 1)
下面是一个应用实例：
select * from orders_history where type=8 limit 1000,10;
该条语句将会从表 orders_history 中查询offset: 1000开始之后的10条数据，也就是第1001条到第1010条数据（1001 <= id <= 1010）。
数据表中的记录默认使用主键（一般为id）排序，上面的结果相当于：
select * from orders_history where type=8 order by id limit 10000,10;
注意：查询存在差异性
三次查询时间分别为：
3033 ms
3046 ms
3028 ms
针对这种查询方式，下面测试查询记录量对时间的影响：
select * from orders_history where type=1 limit 10000,1;
select * from orders_history where type=1 limit 10000,10;
select * from orders_history where type=1 limit 10000,100;
select * from orders_history where type=1 limit 10000,1000;
select * from orders_history where type=1 limit 10000,10000;
三次查询时间如下：
查询1条记录：3068ms 3072ms 3032ms
查询10条记录：3086ms 3071ms 3032ms
查询100条记录：3116ms 3203ms 3122ms
查询1000条记录：3409ms 3467ms 3393ms
查询10000条记录：3751ms 3795ms 3694ms
后来我还做了十多次查询，从查询时间来看，在查询记录量低于100时，查询时间基本的差距很小。
当查询记录量越来越大，查询时间也会越来越多。
针对查询偏移量的测试：
select * from orders_history where type=1 limit 100,100;
select * from orders_history where type=1 limit 1000,100;
select * from orders_history where type=1 limit 10000,100;
select * from orders_history where type=1 limit 100000,100;
select * from orders_history where type=1 limit 1000000,100;
三次查询时间如下：
查询100偏移：25ms 24ms 22ms
查询1000偏移：78ms 76ms 77ms
查询10000偏移：3072ms 3210ms 3131ms
查询100000偏移：3879ms 3803ms 3797ms
查询1000000偏移：14646ms 14062ms 14700ms
随着查询偏移的增大，尤其查询数量跨度大于10万以后，查询时间急剧增加。
这种分页查询方式会从数据库第一条记录开始扫描，所以越往后，查询速度越慢，而且查询的数据越多，也会拖慢总查询速度。
使用子查询优化
这种方式先定位偏移位置的 id，然后往后查询，这种方式适用于 id 递增的情况。（如果是id非递增情况，譬如我们现在日常用到的id已经是UUID后，这种方式作用就凉凉，如果非要使用这种方式的话，可以自己搞多一个字段用于递增，这里并不是指数据库增设字段自增，而是在java中拼接好一个地方，在每次增加数据的时候，先校验这个数据的最大值是什么，然后再加1，再重赋值）
select * from orders_history where type=1 limit 100000,1;
select id from orders_history where type=1 limit 100000,1;
select * from orders_history where type=1 and
id>=(select id from orders_history where type=1 limit 100000,1)
limit 100;
select * from orders_history where type=1 limit 100000,100;
4条语句的查询时间如下：
第1条语句：3673ms
第2条语句：1311ms
第3条语句：1329ms
第4条语句：3714ms
针对上面的查询需要注意：
比较第1条语句和第2条语句：使用 select id 代替 select * 速度增加了3倍
比较第2条语句和第3条语句：速度相差几十毫秒
比较第3条语句和第4条语句：得益于 select id 速度增加，第3条语句查询速度增加了3倍
这种方式相较于原始一般的查询方法，将会增快数倍。
使用 id 限定优化
这种方式假设数据表的id是连续递增的，则我们根据查询的页数和查询的记录数可以算出查询的id的范围，可以使用 id between and 来查询：
select * from orders_history where type=2
and id between 1000000 and 1000100 limit 100;
查询时间：14ms 11ms 7ms
这种查询方式能够极大地优化查询速度，基本能够在几十毫秒之内完成。限制是只能使用于明确知道id的情况，不过一般建立表的时候，都会添加基本的id字段，这为分页查询带来很多便利。
还可以有另外一种写法：
select * from orders_history where id >= 1000001 limit 100;
当然还可以使用 in 的方式来进行查询，这种方式经常用在多表关联的时候进行查询，使用其他表查询的id集合，来进行查询：
select * from orders_history where id in
(select order_id from trade_2 where goods = ‘pen’)
limit 100;
这种 in 查询的方式要注意：据说某些 mysql 版本不支持在 in 子句中使用 limit。
另外我们也可以使用临时表优化查询，但这种临时表优化查询，不属于查询优化。
使用场景：
数据表的使用存在物理删除，会导致数据缺失问题。这个时候我们就可以考虑使用临时表存储数据来帮助分页查询功能提高查询速度。
关于数据表的id说明一般情况下，在只部署于公司的局域网的系统的数据库中建立表的时候，都会为每一张表添加 id 递增字段，以便查询方便。部署于非公司局域网（譬如CSDN之类的网站）的公开网站，id一般都会采用UUID。
一般像是淘宝那样的数据库，数据量非常庞大的情况下，公司都会采用分库分表存储数据，通常情况下，他们会使用分布式的高并发唯一 id 生成器来生成，并在数据表中使用另外的字段来存储这个唯一标识（譬如十几位甚至几十位的UUID）。
一般来说先定位所需要查询的id（或者索引），再根据id（或者索引）去查询其他数据，这种方式要比直接limit要快，例子：select id from orders_history limit 10，然后再 select *from orders_history where id in……
表名：pilotEntry
存储的是某个引航公司的的记录服务。
主要字段：resourceid，final_statement_code,visa_code
本人才疏学浅，难免犯错，若发现文中有错误遗漏，望不吝赐教。

MySQL分页查询速度慢的优化相关推荐

MYSQL分页limit速度太慢优化方法
问题原因 limit 10000,20 的意思扫描满足条件的 10020 行,扔掉前面的 10000 行,返回最后的 20 行,问题就在这里原理利用表的覆盖索引来加速分页查询我们都知道,利用了索 ...
mysql无序id怎么优化limit_MYSQL分页limit速度太慢优化方法
原标题:MYSQL分页limit速度太慢优化方法在mysql中limit可以实现快速分页,但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了,否则可能卡死你的服务器哦. 当一 ...
oracle sql 全是子查询查询速度太慢如何优化_如果面试官问你如何优化mysql分页查询，请把这篇文章甩给他！...
在我们日常开发中,分页查询是必不可少的,可以说每干后端程序猿大部分时间都是CURD,所以分页的查询也接触的不少,你们都是怎么实现的呢?前不久的一段时间,我的一个同事突然找我寻求帮助,他说他写的sql查 ...
Mysql中查询速度的优化
2019独角兽企业重金招聘Python工程师标准>>> mysql中查询速度的优化 1.查看每一个表的数据量 2.left join的时候尽量减少表的大小,通过临时表,查询条件去限制 ...
java mysql 分页查询_MySQL分页查询方法及优化
当数据库的数据量很大时,一次性查询结果就会变得很慢,为了提高查询效率,我们可以使用MySQL的分页查询功能.本文就为大家带来MySQL分页查询方法及优化. 推荐阅读: 分页查询方法: 在MySQL中, ...
MySQL分页查询方法及优化
MySQL分页查询方法及优化 http://uusama.com/458.html
【MySQL Tips】偏移量大的分页查询LIMIT子句的优化方法
SQL优化是要看执行计划分析,并做基准测试的. 前言 MySQL官方关于LIMIT子句的优化建议在之前的文章中写过,链接如下: 8.2.19 LIMIT查询优化.note [MySQL 8翻译]8.2 ...
只导表前10条数据_【205期】面试官：数据量很大的情况下，对于分页查询你有什么优化方案吗？...
点击上方"Java面试题精选",关注公众号面试刷图,查缺补漏 >>号外:公众号改版后文章顺序不固定,欢迎大家把我们面试题精选这个公众号设置为星标,感谢大家一年的支持! ...
mysql分页查询_4种MySQL分页查询优化的方法，你知道几个？
前言当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询.对于数据库分页查询,也有很多种方法和优化的点.下面简单说一下我知道的 ...

MySQL分页查询速度慢的优化

MySQL分页查询速度慢的优化相关推荐

最新文章

热门文章