别再用 offset 和 limit 分页了,性能太差!
欢迎关注方志朋的博客,回复”666“获面试宝典
不需要担心数据库性能优化问题的日子已经一去不复返了。
随着时代的进步,随着野心勃勃的企业想要变成下一个 Facebook,随着为机器学习预测收集尽可能多数据的想法的出现,作为开发人员,我们要不断地打磨我们的 API,让它们提供可靠和有效的端点,从而毫不费力地浏览海量数据。
如果你做过后台开发或数据库架构,你可能是这么分页的:
如果你真的是这么分页,那么我不得不抱歉地说,你这样做是错的。
你不以为然?没关系。Slack
、Shopify
和 Mixmax
这些公司都在用我们今天将要讨论的方式进行分页。
我想你很难找出一个不使用 OFFSET
和 LIMIT
进行数据库分页的人。对于简单的小型应用程序和数据量不是很大的场景,这种方式还是能够“应付”的。
如果你想从头开始构建一个可靠且高效的系统,在一开始就要把它做好。
今天我们将探讨已经被广泛使用的分页方式存在的问题,以及如何实现高性能分页。
1.OFFSET 和 LIMIT 有什么问题?
正如前面段落所说的那样,OFFSET
和 LIMIT
对于数据量少的项目来说是没有问题的。
但是,当数据库里的数据量超过服务器内存能够存储的能力,并且需要对所有数据进行分页,问题就会出现。
为了实现分页,每次收到分页请求时,数据库都需要进行低效的全表扫描。
什么是全表扫描?全表扫描 (又称顺序扫描) 就是在数据库中进行逐行扫描,顺序读取表中的每一行记录,然后检查各个列是否符合查询条件。这种扫描是已知最慢的,因为需要进行大量的磁盘 I/O,而且从磁盘到内存的传输开销也很大。
这意味着,如果你有 1 亿个用户,OFFSET
是 5 千万,那么它需要获取所有这些记录 (包括那么多根本不需要的数据),将它们放入内存,然后获取 LIMIT
指定的 20 条结果。
也就是说,为了获取一页的数据:
10万行中的第5万行到第5万零20行
需要先获取 5 万行。这么做是多么低效?
如果你不相信,可以看看这个例子:
https://www.db-fiddle.com/f/3JSpBxVgcqL3W2AzfRNCyq/1
左边的 Schema SQL
将插入 10 万行数据,右边有一个性能很差的查询和一个较好的解决方案。只需单击顶部的 Run,就可以比较它们的执行时间。第一个查询的运行时间至少是第二个查询的 30 倍。
数据越多,情况就越糟。看看我对 10 万行数据进行的 PoC。
https://github.com/IvoPereira/Efficient-Pagination-SQL-PoC
现在你应该知道这背后都发生了什么:OFFSET
越高,查询时间就越长。
2.替代方案
你应该这样做:
这是一种基于指针的分页。
你要在本地保存上一次接收到的主键 (通常是一个 ID) 和 LIMIT
,而不是 OFFSET
和 LIMIT
,那么每一次的查询可能都与此类似。
为什么?因为通过显式告知数据库最新行,数据库就确切地知道从哪里开始搜索(基于有效的索引),而不需要考虑目标范围之外的记录。
比较这个查询:
和优化的版本:
返回同样的结果,第一个查询使用了 12.80 秒,而第二个仅用了 0.01 秒。
要使用这种基于游标的分页,需要有一个惟一的序列字段 (或多个),比如惟一的整数 ID 或时间戳,但在某些特定情况下可能无法满足这个条件。
我的建议是,不管怎样都要考虑每种解决方案的优缺点,以及需要执行哪种查询。
如果需要基于大量数据做查询操作,Rick James 的文章提供了更深入的指导。
http://mysql.rjweb.org/doc.php/lists
如果我们的表没有主键,比如是具有多对多关系的表,那么就使用传统的 OFFSET/LIMIT
方式,只是这样做存在潜在的慢查询问题。我建议在需要分页的表中使用自动递增的主键,即使只是为了分页。
来源:toutiao.com/i6860655404431442444
热门内容:
100 行代码搞定了 RPC 原理 !
最牛逼的 Java 框架,没有之一!
MySQL模糊查询再也用不着 like+% 了!
求求你别再用 System.currentTimeMillis() 统计代码耗时了,真的太 Low 了!
最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。
明天见(。・ω・。)
别再用 offset 和 limit 分页了,性能太差!相关推荐
- 求求你别再用offset和limit分页了
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 译文:cloud.tencent.com/develope ...
- 数据优化:求求你别再用offset和limit分页了
作者:码农架构I 来源:toutiao.com/i6860655404431442444 不需要担心数据库性能优化问题的日子已经一去不复返了. 随着时代的进步,随着野心勃勃的企业想要变成下一个 Fac ...
- 分页offset格式_MySQL中limit分页查询性能问题分析
MySQL Limit 语法格式: SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset 分页查询时,我们会在 LIMIT 后面传 ...
- YII2框架中 where limit offset 函数对分页的使用
YII2框架中 where limit offset 函数对分页的使用 以前公司用的是TP框架,直接往limit函数里面传两个动态的参数就可以实现分页的效果了,刚换了公司这个公司用的是YII2 框架, ...
- mysql分页limit运算,MySQL的limit分页查询及性能问题
MySQL 通过 limit 实现分页查询.limit 接收一个或两个整数型参数.如果是两个参数,第一个指定返回记录行的偏移量,第二个指定返回记录行的最大数目.初始记录行的偏移量是 0.为了与 Pos ...
- mysql limit 分页 0_Mysql分页之limit用法与limit优化
Mysql limit分页语句用法 与Oracle和MS SqlServer相比,mysql的分页方法简单的让人想哭. --语法: SELECT * FROM table LIMIT [offset, ...
- MySQL中的limit分页优化
MySQL中的limit分页优化 MySQL的limit优化 mysql的分页比较简单,只需要limit offset,length就可以获取数据了,但是当offset和length比较大的时候,my ...
- 正确使用索引(sql优化),limit分页优化,执行计划,慢日志查询
查看表相关命令 - 查看表结构 desc 表名- 查看生成表的SQL show create table 表名- 查看索引 show index from 表名 使用索引和不使用索引 由于索引是专门用 ...
- 数据库面试题【十八、优化关联查询优化子查询优化LIMIT分页优化UNION查询优化WHERE子句】
优化关联查询: 确定ON或者USING子句中是否有索引. 确保GROUP BY和ORDER BY只有一个表中的列,这样MySQL才有可能使用索引. 优化子查询: 用关联查询替代 优化GROUP BY和 ...
- mysql不用limit怎么分页_mysql limit 分页的用法及注意要点
mysql limit 分页的用法及注意事项: 在我们使用查询语句的时候,经常要返回前几条或者中间某几行数据,这个时候怎么办呢?不用担心,mysql已经为我们提供了这样一个功能. SELECT * F ...
最新文章
- BIEE物理业务层编辑之后发布路径
- was web 服务器性能测试,was web 服务器性能测试
- T4模板使用记录,生成Model、Service、Repository
- 处理机调度实验总结_计算机系统结构总结
- Spring中的Spring JSR-250 注释之@Resource
- 课时71.后代选择器(掌握)
- ACM所有算法大全(持续更新)
- 餐馆的故事-浅析职责链模式
- 控件UI性能调优 -- SizeChanged不是万能的
- c# 获取键盘的输入
- QuantLib 金融计算——基本组件之 Date 类
- 第四章 数字调制方式
- PDF文件如何转CAD格式?教你几个简单有效的方法
- linux做蓝牙接收器,简单自制蓝牙接收器
- spark GBT算法
- 也评 阿里 P10 赵海平对王垠的面试
- 常识:如何从大陆拨打国际长途电话到境外的方法
- python安装numpy模块教程_python安装numpy科学计算模块
- idm 2019 中文版下载
- php 设置斜体字体,斜体 - FontForge 教程 | BootWiki.com