给你讲讲五年前在腾讯遇到的,海量数据分页场景(limit,offset)为什么会慢
链接:http://t.cn/AidABz08
从一个问题说起
五年前在腾讯的时候,发现分页场景下,mysql请求速度非常慢。数据量只有10w的情况下,select xx from 单机大概2,3秒。我就问我师父为什么,他反问“索引场景,mysql中获得第n大的数,时间复杂度是多少?”
答案的追寻
确认场景
假设status上面有索引。select * from table where status = xx limit 10 offset 10000。会非常慢。数据量不大的情况就有几秒延迟。
小白作答
那时候非常有安全感,有啥事都有师父兜着,反正技术都是组里最差的,就瞎猜了个log(N),心想找一个节点不就是log(N)。自然而然,师父让我自己去研究。
这一阶段,用了10分钟。
继续解答
仔细分析一下,会发现通过索引去找很别扭。因为你不知道前100个数在左子树和右子数的分布情况,所以其是无法利用二叉树的查找特性。通过学习,了解到mysql的索引是b+树。
看了这个图,就豁然开朗了。 可以直接通过叶子节点组成的链表,以o(n)的复杂度找到第100大的树。 但是即使是o(n),也不至于慢得令人发指,是否还有原因。
这一阶段,主要是通过网上查资料,断断续续用了10天。
系统学习
这里推荐两本书,一本《MySQL技术内幕 InnoDB存储引擎》,通过他可以对InnoDB的实现机制,如mvcc,索引实现,文件存储会有更深理解。
第二本是《高性能MySQL》,这本书从着手使用层面,但讲得比较深入,而且提到了很多设计的思路。
两本书相结合,反复领会,mysql就勉强能登堂入室了。
这里有两个关键概念:
聚簇索引:包含主键索引和对应的实际数据,索引的叶子节点就是数据节点
辅助索引:可以理解为二级节点,其叶子节点还是索引节点,包含了主键id。
即使前10000个会扔掉,mysql也会通过二级索引上的主键id,去聚簇索引上查一遍数据,这可是10000次随机io,自然慢成哈士奇。这里可能会提出疑问,为什么会有这种行为,这是和mysql的分层有关系,limit offset 只能作用于引擎层返回的结果集。换句话说,引擎层也很无辜,他并不知道这10000个是要扔掉的。以下是mysql分层示意图,可以看到,引擎层和server层,实际是分开的。
直到此时,大概明白了慢的原因。这一阶段,用了一年。
触类旁通
此时工作已经3年了,也开始看一些源码。在看完etcd之后,看了些tidb的源码。无论哪种数据库,其实一条语句的查询,是由逻辑算子组成。
逻辑算子介绍 在写具体的优化规则之前,先简单介绍查询计划里面的一些逻辑算子。
DataSource 这个就是数据源,也就是表,select * from t 里面的 t。
Selection 选择,例如 select xxx from t where xx = 5 里面的 where 过滤条件。
Projection 投影, select c from t 里面的取 c 列是投影操作。
Join 连接, select xx from t1, t2 where t1.c = t2.c 就是把 t1 t2 两个表做 Join。
选择,投影,连接(简称 SPJ) 是最基本的算子。其中 Join 有内连接,左外右外连接等多种连接方式。
select b from t1, t2 where t1.c = t2.c and t1.a > 5 变成逻辑查询计划之后,t1 t2 对应的 DataSource,负责将数据捞上来。上面接个 Join 算子,将两个表的结果按 t1.c = t2.c连接,再按 t1.a > 5 做一个 Selection 过滤,最后将 b 列投影。下图是未经优化的表示:
所以说不是mysql不想把limit, offset传递给引擎层,而是因为划分了逻辑算子,所以导致无法直到具体算子包含了多少符合条件的数据。
怎么解决
《高性能MySQL》提到了两种方案
方案一
根据业务实际需求,看能否替换为下一页,上一页的功能,特别在ios, android端,以前那种完全的分页是不常见的。这里是说,把limit, offset,替换为>辅助索引(即搜索条件)id的方式。该id再调用时,需要返回给前端。
方案二
正面刚。这里介绍一个概念:索引覆盖:当辅助索引查询的数据,只有id和辅助索引本身,那么就不必再去查聚簇索引。
思路如下:select xxx,xxx from in (select id from table where second_index = xxx limit 10 offset 10000) 这句话是说,先从条件查询中,查找数据对应的数据库唯一id值,因为主键在辅助索引上就有,所以不用回归到聚簇索引的磁盘去拉取。再通过这些已经被limit出来的10个主键id,去查询聚簇索引。这样只会十次随机io。在业务确实需要用分页的情况下,使用该方案可以大幅度提高性能。通常能满足性能要求。
写在最后
非常感谢我师父在我毕业前三年的指导,给了我很多耐心。在节假日给我布置看书任务,在午休时候考察我学习的进展,通过提问的方式引导我去探索问题,在我从腾讯毕业后,每次见面也给我出了很多主意,传授授业解惑,无一没有做到极致。另外,腾讯的人才培养是我所见闻到最亲切,最用心。
最后,希望大家在人生道路上,都能遇到自己的领路人,祝大家每天都快乐!
相关文章:
- IE11浏览器无法加载iframe页面的解决方法
- win7系统ie11浏览器为什么开发者工具一片空白
- IE11浏览器中的My97日历控件刷新后无法打开问题解决办法
- IE11浏览器js加载数据不显示问题的解决
- 在win10系统上使用IE11浏览器运行Applet,亲试有效!
- CSS样式中IE11浏览器的兼容问题
- 关于IE11浏览器常遇到的一些问题:1.F12调试工具没法用 2.浏览器搜索一直刷新不出页面
- 2018兰亭序系列书法作品集
- 书法笔画分布
- 国学【书法技巧】
- 读取Mnist图片
- 诗词一首
- 诗词学习-静心
- 秋照海心同一色
- Java实现微信扫码支付【支付代码】
- 蓝桥杯—扫地机器人—二分搜索
- Java多线程(一)
- 分享一个统计代码块耗时的小工具
- Java基础知识扫盲点 (二)
- 扫地雷(1)
- Spring Boot 集成 ElasticSearch,实现高性能搜索
- 慎用System.out.println!!!
- 搜索-Lucene学习笔记
- springboot 微信pc扫码登录_史上最简单:springboot对接微信授权登录接口
- java 文件存储 搜索_Java并发(Runnable+Thread)实现硬盘文件搜索功能
- 扫码关注公众号登录系统
- 硬件系列(九)--------串口扫码头数据读写
- 微信公众号扫一扫封装接口
- JavaScript前端精确配置设置与监听器使用
- redis配置文件密码加密
给你讲讲五年前在腾讯遇到的,海量数据分页场景(limit,offset)为什么会慢相关推荐
- 出来工作五年的经历总结(五年前,你在干嘛?)
2009年,第一次踏入社会 注册博客园已经两年了,在园子中看到的文章都是对自己很有帮助,lz今年出来工作五年了,五年前你在干嘛呢?这是今年年初在优酷看到的一个视频话题,记者采访了很多人,这里也 ...
- 若能回到五年前,我会告诉自己这些创业道理
若能回到五年前,我会告诉自己这些创业道理 若能回到五年前,我会告诉自己这些创业道理 文章由CSDN陈明于2015-04-08 17:23分享 评论(9) width="16" ...
- 老华为可以升级鸿蒙,真良心!五年前老机型都能升级华为鸿蒙
真良心!五年前老机型都能升级华为鸿蒙 来源:搜狐网 作者:小码说娱乐 时间:2021-06-03 12:01:21 经过多年的摔打,鸿蒙终于迎来了新生.而在6月2日(今天)晚上的发布会上,令我们感到震 ...
- 卢伟冰再怼荣耀9X 10W快充与五年前红米Note一代机型一致
[TechWeb]继前两天怒怼荣耀9X 10W快充后,昨日晚间,小米集团副总裁.红米Redmi品牌总经理卢伟冰再次发布微博,称"五年前的红米Note第一代就已经是10W充电了,所以最近有点恍 ...
- 五年前,跳槽涨薪,你笑了,五年后,跳槽降薪,请接受
作者 | 王晔倞 责编 | 刘静 我曾写过一篇名为 #寒冬不可怕,你想不明白自己职业发展的终极归宿才可怕# 的文章,内容是去年在年度绩效面谈中,我与某中年技术男就 "从测试转向产品经理&qu ...
- 小米刷 android o,一代神机!五年前的小米2刷入Android 8.0原生系统
五年前的小米手机2竟然能刷Android 8.0原生系统.做个比较,2012年推出的iPhone 5已经不能升级最新的iOS11了. 小米2是小米于2012年8月发布的一款产品,距今已经超过5年零三个 ...
- 怀旧服显示服务器已满,十五年前的怀旧服居然还能服务器爆满 魔兽世界正式服算不算失败...
原标题:十五年前的怀旧服居然还能服务器爆满 魔兽世界正式服算不算失败 魔兽世界怀旧服已经开启快一个月了,到目前为止一切数据表明发展的非常顺利.很多老玩家重返艾泽拉斯大陆,即使是无尽的排队时间也没能阻挡 ...
- intel power gadget mac_mac电脑耐用性测试,拿五年前的苹果电脑测试性能
苹果mac系统电脑一直都是大家觉得性能和流畅性不错的电脑,但是如果他用久了,性能会下降吗?还是可以一直丝滑如新?下面就看看小编的测试吧.五年前的mac电脑看看性能和流畅度如何了. 平时对电脑关注比较多 ...
- 苹果笔记本电脑性能测试软件,mac电脑耐用性测试,拿五年前的苹果电脑测试性能...
苹果mac系统电脑一直都是大家觉得性能和流畅性不错的电脑,但是如果他用久了,性能会下降吗?还是可以一直丝滑如新?下面就看看小编的测试吧.五年前的mac电脑看看性能和流畅度如何了. 平时对电脑关注比较多 ...
最新文章
- PHP+redis实现超迷你全文检索
- linux c warning: implicit declaration of function 'strtok_r'解决方案
- VRRP与VLAN实验(HuaWei)
- 数据结构:回溯--解决八皇后问题
- powerdesigner自动生成代码的修改
- QT绘制饼图和自定义饼图切片
- vue的route懒加载
- ANSYS Workbench对称建模
- .net pdf转图片_在客户端实现PDF转图片
- C# 连接 Sqlserver2005 Analysis Service的总结
- Linux服务器的攻防技术
- MediaPlayer生命周期
- 光盘勘误——《Visual C# 2005 程序开发与界面设计秘诀》
- MindMaster Pro 7.2中文版 — 亿图思维导图
- (附源码)计算机毕业设计ssm电影票网上订票系统
- 从零开始学GIMP:一.从基本图形开始
- css table thead tr border生效
- pocketsphinx 模型库_PocketSphinx声学模型的训练与使用
- iOS根据图片比例计算显示大小
- 使用人人开源项目遇到的一些坑
热门文章
- Delaunay Image Triangulation
- YashanDB携手中地数码联合发布空间数据存储管理解决方案
- mysql查询成绩表中课程编号升序,Python 之 MySql 每日一练 232——查询每门课程的平均成绩...
- 斯特林公式 ——Stirling公式(取N阶乘近似值)(转)
- gis可达性分析步骤_如何使用数据分析软件实现GIS地图可视化?
- 跳过twitch从curseforge下载整合包
- 4.Linux网络编程
- 无参考图像的质量评价
- 如何在photoshop上安装cutterman切图神器
- Win10无法进入睡眠模式解决方法