Mysql优化-大数据量下的分页策略
一。前言
通常,我们分页时怎么实现呢?
1
|
SELECT * FROM table ORDER BY id LIMIT 1000, 10;
|
但是,数据量猛增以后呢?
1
|
SELECT * FROM table ORDER BY id LIMIT 1000000, 10;
|
如上第二条查询时很慢的,直接拖死。
最关键的原因mysql查询机制的问题:
不是先跳过,后查询;
而是先查询,后跳过。(解释如下)
什么意思?比如limit 100000,10,在找到需要的那10条时,先会轮询经过前10W条数据,先回行查询出前100000条的字段数据,然后发现没用舍弃掉,直到最后找到需要的10条。
二。分析
limit offset,N, 当offset非常大时,效率极低,
原因是mysql并不是跳过offset行,然后单取N行,
而是取offset+N行,返回放弃前offset行,返回N行【同前边说的先查询,后跳过】.
效率较低,当offset越大时,效率越低
三。3条优化建议
1:从业务上去解决
办法:不允许翻过100页
以百度为例,一般翻页到70页左右.
2:不用offset,用条件查询.
例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
mysql> select id, from lx_com limit 5000000,10;
+---------+--------------------------------------------+
| id | name |
+---------+--------------------------------------------+
| 5554609 |温泉县人民政府供暖中心 |
..................
| 5554618 |温泉县邮政鸿盛公司 |
+---------+--------------------------------------------+
10 rows in set (5.33 sec)
mysql> select id,name from lx_com where id>5000000 limit 10;
+---------+--------------------------------------------------------+
| id | name |
+---------+--------------------------------------------------------+
| 5000001 |南宁市嘉氏百货有限责任公司 |
.................
| 5000002 |南宁市友达电线电缆有限公司 |
+---------+--------------------------------------------------------+
10 rows in set (0.00 sec)
|
现象:从5.3秒到不到100毫秒,查询速度大大加快;但是数据结果却不一样
优点:利用where条件来避免掉先查询后跳过的问题,而是条件缩小范围,从而直接跳过。
存在问题: 有时有会发现用此方法与limitM,N,两次的结果不一致[如上边实例所展示]
原因:数据被物理删除过,有空洞.
解决:数据不进行物理删除(可以逻辑删除).
最终在页面上显示数据时,逻辑删除的条目不显示即可.
(一般来说,大网站的数据都是不物理删除的,只做逻辑删除 ,比如 is_delete=1)
3:延迟索引.
非要物理删除,还要用offset精确查询,还不限制用户分页,怎么办?
优化思路:
利用索引覆盖,快速查询出满足条件的主键id;然后凭借主键id作为where条件,达到快速查询。
(速度快在哪里?利用索引覆盖不需要回行就可以快速查询出满足条件的id,时间节约在这里了)
我们现在必须要查,则只查索引,不查数据,得到id.再用id去查具体条目. 这种技巧就是延迟索引.
慢原因:
查询100W条数据的id,name,m每次查询回行抛弃,跨过100W后取到真正要的数据。【就是我们刚刚说的,先查询,后跳过】
优化后快原理:
a.利用索引覆盖先查询出主键id,在索引上就拿到信息了,避免回行
b.找到主键后,根据已知的目标主键在查询,避免跨大数据行去寻找,而是直接定位哪几条数据直接查询。
本方法即延迟索引查询。
1
2
3
4
5
6
7
8
9
|
mysql> select id,name from lx_com inner join (select id from lx_com limit 5000000,10) as tmp using(id);
+---------+-----------------------------------------------+
| id | name |
+---------+-----------------------------------------------+
| 5050425 | 陇县河北乡大谈湾小学 |
........
| 5050434 | 陇县堎底下镇水管站 |
+---------+-----------------------------------------------+
10 rows in set (1.35 sec)
|
四。总结:
从方案上来说,肯定是方法一优先,从业务上去满足是否要翻那么多页。
如果业务要求,则用id>n limit m的方式来代替limit n,m,但缺点是不能有物理删除
如果非有物理删除有空缺不能用方法二,则用延迟索引法,本质是利用索引覆盖先快速取出索引值,根据锁定的目标的索引值。一次性去回行取值,效果很明显。
Mysql优化-大数据量下的分页策略相关推荐
- 大数据量下 PageHelper 分页查询性能问题的解决办法
作者:岁月安然 blog.csdn.net/baidu_38083619/article/details/82463058 前因 项目一直使用的是PageHelper实现分页功能,项目前期数据量较少一 ...
- 大数据翻页_大数据量下的分页解决方法
最好的办法是利用sql语句进行分页,这样每次查询出的结果集中就只包含某页的数据内容.再sql语句无法实现分页的情况下,可以考虑对大的结果集通过游标定位方式来获取某页的数据. sql语句分页,不同的数据 ...
- 一招教你解决大数据量下的各种报表使用问题
在我们日常制作报表分析过程中,总会遇到各种问题.比如,报表底层数据日益增多.报表加载超慢,这些情况该怎么解决? 数据库是最常见的能处理大数据的计算方案,而永洪能利用数据库来完成数据计算.但是,有些报表 ...
- 大数据量下,身份证的查询优化
大数据量下,身份证的查询优化 这里是测试练习采用select *,实际场景中还是使用所有字段的形式,这样也可以提高效率 方式一:身份证分别正向.逆向存储,使用like逆序模糊查询,满足最左匹配原则,索 ...
- 大数据量下(批量)提升性能的方法以及常见的性能优化方法
数据库层面(包含数据库设计和语句):尽量做到节省时间和数据库开销 1.让语句更加合理,符合查询优化的规则.避免全表扫描,建立高效索引,正确利用索引等. 2.避免频繁创建和删除临时表. 3.尽量避免向客 ...
- 大数据量下高并发同步的讲解(不看,保证你后悔!)
偶然的机会在网上看到了这篇blog,觉得作者写得挺不错的(虽然自己并没有怎么看懂...),所以就转来跟大家分享分享吧~~~ 对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发 ...
- 大数据量下高并发同步的讲解(不看,保证你后悔)
对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了.而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研 ...
- Java8 Stream 数据流,大数据量下的性能效率怎么样?
今日推荐程序猿惯用口头禅,你被击中了吗? 常见代码重构技巧(非常实用) B站,牛啊. 程序员缺乏经验的 7 种表现 2021年4月程序员工资统计:平均14596元,南京程序员收入挤进一线. 来源:bl ...
- 大数据量下的sort
http://blog.chinaunix.net/uid-23586172-id-3349317.html sort在linux命令行下面是一个非常好用的工具,有人把它当做每个程序员都应该知道的8个 ...
最新文章
- 深度丨解密Python为什么能够风靡全宇宙
- 谁说程序员干到 35 岁就不行了?
- python中while语句的用法_python 使用while循环输出*组成的菱形实例
- linux中使用xshell远程连接
- OpenGL整体概念
- 飞畅科技-工业交换机防雷知识总结
- js将手机号中间四位变成*号
- python集合_Python集
- 比特币交易的脚本如何执行
- 对等局域网操作系统有几台服务器,局域网软件知识
- 14周:设计会员登录页面
- 蓝牙耳机音量控制问题
- [cf] Deltix Round, Autumn 2021 A. Divide and Multiply
- 吴恩达授课,斯坦福CS230深度学习课程资源开放
- sql 修改时间正价 2天_“熬夜3天,修改17遍,我终于写出了1篇稿费2万的稿子”...
- 【分享】PPT--你不知道的使用技巧
- xshell命令大全编译c语言,Xshell脚本——make命令
- L1-020 帅到没朋友(Python3)
- Vivado仿真报错合集(更新中)
- PYTHON BZ2 安装
热门文章
- python语言type board_Micropython TPYBoard开发板控制无线加速度小车
- python3发送邮件_Python3 SMTP发送邮件
- 电力电子、电机控制系统的建模和仿真_电力传动控制系统:运动控制系统
- linux修改key文件夹,linux 中如何根据xml文件的key来修改value呢?
- 如何HTML中输入正确格式,以HTML格式输入样式
- C++安全方向:(二)2.1 base16编解码原理讲解
- hint oracle qbname_从才oracle中找到所有列名为BANK_ACC,且BANK_ACC=000的项,并将BANK_ACC=000000的项修改为BANK_ACC=111...
- 哪里有高中教师教学计算机能力培训,04060406_王世红_高中教师信息技术能力的培训.doc...
- git restore
- 图解TCPIP-传输层 UDP