点击蓝色“五分钟学算法”关注我哟

加个“星标”,天天中午 12:15,一起学算法

作者 | 飘扬的红领巾

来源 | https://www.cnblogs.com/leefreeman/p/8315844.html

InnoDB的一棵B+树可以存放多少行数据?

答案:约2千万

为什么是这么多?

因为这是可以算出来的,要搞清楚这个问题,先从InnoDB索引数据结构、数据组织方式说起。

计算机在存储数据的时候,有最小存储单元,这就好比现金的流通最小单位是一毛。

在计算机中,磁盘存储数据最小单元是扇区,一个扇区的大小是512字节,而文件系统(例如XFS/EXT4)的最小单元是块,一个块的大小是4k,而对于InnoDB存储引擎也有自己的最小储存单元,页(Page),一个页的大小是16K。

下面几张图可以理解最小存储单元:

文件系统中一个文件大小只有1个字节,但不得不占磁盘上4KB的空间。

InnoDB的所有数据文件(后缀为ibd的文件),大小始终都是16384(16k)的整数倍。

磁盘扇区、文件系统、InnoDB存储引擎都有各自的最小存储单元。

在MySQL中,InnoDB页的大小默认是16k,当然也可以通过参数设置:

表中的数据都是存储在页中的,所以一个页中能存储多少行数据呢?

假设一行数据的大小是1k,那么一个页可以存放16行这样的数据。

如果数据库只按这样的方式存储,如何查找数据就成为一个问题,因为不知道要查找的数据存在哪个页中,也不可能把所有的页遍历一遍,那样太慢了。

不过,可以使用B+树的方式组织这些数据,如图所示:

先将数据记录按主键进行排序,分别存放在不同的页中(为了便于理解这里一个页中只存放3条记录,实际情况可以存放很多)

除了存放数据的页以外,还有存放键值+指针的页,如图中page number=3的页,该页存放键值和指向数据页的指针,这样的页由N个键值+指针组成。

当然它也是排好序的。这样的数据组织形式,我们称为索引组织表。

现在来看下,要查找一条数据,怎么查?

如:select * from user where id=5;

这里id是主键,通过这棵B+树来查找,首先找到根页,你怎么知道user表的根页在哪呢?

其实每张表的根页位置在表空间文件中是固定的,即page number=3的页。

找到根页后通过二分查找法,定位到id=5的数据应该在指针P5指向的页中,那么进一步去page number=5的页中查找,同样通过二分查询法即可找到id=5的记录:

| 5 | zhao2 | 27 |

现在清楚了InnoDB中主键索引B+树是如何组织数据、查询数据的。

总结一下:

  • InnoDB存储引擎的最小存储单元是页,页可以用于存放数据也可以用于存放键值+指针,在B+树中叶子节点存放数据,非叶子节点存放键值+指针。

  • 索引组织表通过非叶子节点的二分查找法以及指针确定数据在哪个页中,进而在去数据页中查找到需要的数据;

那么回到我们开始的问题,通常一棵B+树可以存放多少行数据?

这里我们先假设B+树高为2,即存在一个根节点和若干个叶子节点,那么这棵B+树的存放总记录数为:根节点指针数*单个叶子节点记录行数。

上文已经说明单个叶子节点(页)中的记录数=16K/1K=16。(这里假设一行记录的数据大小为1k,实际上现在很多互联网业务数据记录大小通常就是1K左右)。

那么现在需要计算出非叶子节点能存放多少指针?

其实这也很好算,假设主键ID为bigint类型,长度为8字节,而指针大小在InnoDB源码中设置为6字节,这样一共14字节

我们一个页中能存放多少这样的单元,其实就代表有多少指针,即16384/14=1170。

那么可以算出一棵高度为2的B+树,能存放1170*16=18720条这样的数据记录。

根据同样的原理可以算出一个高度为3的B+树可以存放:1170117016=21902400条这样的记录。

所以在InnoDB中B+树高度一般为1-3层,它就能满足千万级的数据存储。

在查找数据时,一次页的查找代表一次IO,所以通过主键索引查询通常只需要1-3次IO操作即可查找到数据。

怎么得到InnoDB主键索引B+树的高度?

上面通过推断得出B+树的高度通常是1-3,下面从另外一个侧面证明这个结论。

在InnoDB的表空间文件中,约定page number为3的代表主键索引的根页,而在根页偏移量为64的地方存放了该B+树的page level。

如果page level为1,树高为2,page level为2,则树高为3。即B+树的高度=page level+1;下面将从实际环境中尝试找到这个page level。

在实际操作之前,可以通过InnoDB元数据表确认主键索引根页的page number为3,也可以从《InnoDB存储引擎》这本书中得到确认。

可以看出数据库dbt3下的customer表、lineitem表主键索引根页的page number均为3,而其他的二级索引page number为4。

关于二级索引与主键索引的区别请参考MySQL相关书籍,本文不在此介绍。

下面对数据库表空间文件做想相关的解析:

因为主键索引B+树的根页在整个表空间文件中的第3个页开始,所以可以算出它在文件中的偏移量:16384*3=49152(16384为页大小)。

另外根据《InnoDB存储引擎》中描述在根页的64偏移量位置前2个字节,保存了page level的值

因此我想要的page level的值在整个文件中的偏移量为:16384*3+64=49152+64=49216,前2个字节中。

接下来用hexdump工具,查看表空间文件指定偏移量上的数据:

linetem表的page level为2,B+树高度为page level+1=3;

region表的page level为0,B+树高度为page level+1=1;

customer表的page level为2,B+树高度为page level+1=3;

这三张表的数据量如下:

总结:

lineitem表的数据行数为600多万,B+树高度为3,customer表数据行数只有15万,B+树高度也为3。可以看出尽管数据量差异较大,这两个表树的高度都是3

换句话说这两个表通过索引查询效率并没有太大差异,因为都只需要做3次IO。那么如果有一张表行数是一千万,那么他的B+树高度依旧是3,查询效率仍然不会相差太大。

region表只有5行数据,当然他的B+树高度为1。

面试题

有一道MySQL的面试题,为什么MySQL的索引要使用B+树而不是其它树形结构?比如B树?

这个问题的复杂版本可以参考本文;

简单回答是:

因为B树不管叶子节点还是非叶子节点,都会保存数据,这样导致在非叶子节点中能保存的指针数量变少(有些资料也称为扇出)

指针少的情况下要保存大量数据,只能增加树的高度,导致IO操作变多,查询性能变低;

小结

本文从一个问题出发,逐步介绍了InnoDB索引组织表的原理、查询方式,并结合已有知识,回答该问题,结合实践来证明。

当然为了表述简单易懂,文中忽略了一些细枝末节,比如一个页中不可能所有空间都用于存放数据,它还会存放一些少量的其他字段比如page level,index number等等,另外还有页的填充因子也导致一个页不可能全部用于保存数据。

如果你想了解什么是 B+ 树,请点击下面链接进行阅读。

心里没点 B 树。。。

有热门推荐?

1.【程序员】全球最厉害的 14 位程序员

2.【GitHub】我在 GitHub 上看到了一个丧心病狂的开源项目!

3.【算法】动画:七分钟理解什么是KMP算法

4.【数据结构】十大经典排序算法动画与解析,看我就够了

面试官:为什么 MySQL 的索引要使用 B+ 树,而不是其它树?比如 B 树?相关推荐

  1. groupby索引有效吗_面试官:MySQL建索引需要遵循哪些原则呢?

    点击关注上方"SQL数据库开发", 设为"置顶或星标",第一时间送达干货 1.选择唯一性索引 唯一性索引的值是唯一的,可以更快速的通过该索引来确定某条记录.例如 ...

  2. 征服Java面试官!mysql索引树结构

    美团技术一面20分钟 晚7点,因为想到下周一才面试,我刚准备出去打个羽毛球,北京的电话就来了.面试官各种抱歉,说开会拖延了. 1.自我介绍 说了很多遍了,很流畅捡重点介绍完. 2.问我数据结构算法好不 ...

  3. 面试官:MySQL索引底层数据结构原理与性能调优,你能回答多少?

    哈喽!大家好,我是小奇,一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新,可以微信搜索[小奇JAVA面试]第一时间阅 ...

  4. 阿里面试官:MySQL如何设计索引更高效?

    有情怀,有干货,微信搜索[三太子敖丙]关注这个不一样的程序员. 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试完整考点.资料以及我的系列文章. ...

  5. 16kb等于多少b_面试官:MySQL索引为何选择B+树?

    声明 本文所述的各种数据结构(二叉树等),均不考虑重复值的情况,本文简述各种数据结构的区别仅仅只是为了理解MySQL索引的需要而做的铺垫. 什么是索引 提起索引,大家都知道,建立索引可以让数据库查询更 ...

  6. 面试官:MySQL 表设计要注意什么?

    点击上方"方志朋",选择"设为星标" 做积极的人,而不是积极废人 来自公众号:孤独烟 引言 大家应该知道烟哥最近要(tiao 咳咳咳),嗯,不可描述! 随手讲其 ...

  7. 面试官 | 为什么用了索引之后,查询就会变快?

    为什么用了索引之后,查询就会变快? 相信很多程序员朋友对数据的索引并不陌生,最常见的索引是 B+ Tree 索引,索引可以加快数据库的检索速度,但是会降低新增.修改.删除操作的速度,一些错误的写法会导 ...

  8. 【227期】面试官:MySQL 数据查询太多会 OOM 吗?

    点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...

  9. 【176期】面试官:MYSQL 表数据 delete 删除后,为何还占用存储空间?

    点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每天 08:35 更新文章,每天进步一点点... ...

  10. 吊打面试官!MySQL和Oracle灵魂100问,你能答出多少?

    内容简介: mysql部分: 一.数据据基本概念 二.Mysql经典例题20道 Oracle部分: 一.Oracle经典例题50道 二.Oracle相关概念 前言 本文'主要受众为开发人员,所以不涉及 ...

最新文章

  1. 如何创建systemd定时任务
  2. 【每日一算法】罗马数字转整数
  3. SCons命令 之 从入门到精通
  4. 【IT笔试面试题整理】删除无序链表中重复的节点
  5. c++大文本比较_Excel – 将文本转换为数值,第二种方法会的请举左手
  6. PHP简洁美观轻量级秀恩爱网站源码
  7. java.lang.Runtime.availableProcessors返回可用处理器的Java虚拟机的数量
  8. python信号处理教程_PhysioNet生理信号处理(五)--WFDB for Python(DEMO)
  9. Aubo i5真机 ros - melodic 版驱动下载 [ 驱动下载 ]
  10. linux shell捕获异常,shell脚本中如何获取错误输出
  11. 基于MD5计算的未来网络游戏无限信息提取技术
  12. c语言水王争霸链表,水王争霸
  13. 我怎样从珍爱网拿回18800会员费:交友平台相亲不靠谱
  14. 用python3爬取天猫商品评论并分析(1)
  15. 产品vs程序员:你知道www是怎么来的吗?
  16. hx711模块原理图及驱动程序你知道了么?
  17. 本地图片转为网络链接(URL/HTML/Markdown/BBCode...)
  18. 学生个人网页制作html代码(源码)
  19. 【Zabbix】Zabbix微信告警配置演示
  20. 关于WORD页码“第几页 共几页”出现误差的解决办法

热门文章

  1. JavaScript严格检查模式strict的使用
  2. Centos 7.5 1804 镜像下载
  3. AtCoder Beginner Contest 156 D Bouquet 失之交臂 容斥原理+二项式定理+乘法逆元+快速幂+模后负数 多余担心
  4. Java学习路线全过程(包含视频及图书资源)
  5. KMplayer保存上次播放位置
  6. 备战金九银十 你必须知道的Mybatis面试题
  7. 白杨SEO:百度首页和百度SERP的新闻是怎么做上去的?
  8. D - Miracle Tree(思维+构造+树的直径)
  9. nacos cloud 配置中心中 修改properties格式内容并发布然后在浏览器页面刷新无效果
  10. python正则表达式实战——获取图片