LSM树数据结构

简介

传统关系型数据库，一般都选择使用B+树作为索引结构，而在大数据场景下，HBase、Kudu这些存储引擎选择的是LSM树。LSM树，即日志结构合并树(Log-Structured Merge-Tree)。

LSM树主要目标是快速建立索引
B+树是建立索引的通用技术，但如果并发写入压力较大时，B+树需要大量的磁盘随机IO，而严重影响索引创建的速度，在一些写入操作非常频繁的应用场景中，就不太适合了
LSM树通过磁盘的顺序写，来实现最好的写性能

LSM树设计思想

LSM 的主要思想是划分不同等级的结构，换句话来理解，就是LSM中不止一个数据结构，而是存在多种结构
一个结构在内存、其他结构在磁盘（HBase存储结构中，有内存——MemStore、也有磁盘——StoreFile）
内存的结构可以是B树、红黑树、跳表等结构（HBase中是跳表），磁盘中的树就是一颗B+树
C0层保存了最近写入的数据，数据都是有序的，而且可以随机更新、随机查询
C1到CK层的数据都是存在磁盘中，每一层中key都是有序存储的

LSM的数据写入操作

首先将数据写入到WAL（Write Ahead log），写日志是顺序写，效率相对较高（PUT、DELETE都是顺序写）
数据项写入到内存中的C0结构中
只有内存中的C0结构超过一定阈值的时候，将内存中的C0、和C1进行合并。这个过程就是Compaction（合并）
合并后的新的C1顺序写磁盘，替换之前的C1
但C1层达到一定的大小，会继续和下层合并，合并后旧的文件都可以删除，只保留最新的
整个写入的过程只用到了内存结构，Compaction由后台异步完成，不阻塞写入

LSM的数据查询操作

先在内存中查C0层
如果C0层中不存在数据，则查询C1层
不断逐层查询，最早的数据在CK层
C0层因为是在内存中的结构中查询，所以效率较高。因为数据都是分布在不同的层结构中，所以一次查询，可能需要多次跨层次结构查询，所以读取的速度会慢一些。
根据以上，LSM树结构的程序适合于写密集、少量查询的场景

LSM树——Log-Structured Merge-Tree数据结构、LSM树设计思想、LSM的数据写入操作、LSM的数据查询操作相关推荐

LSM树（Log-Structured Merge Tree）存储引擎
LSM树(Log-Structured Merge Tree)存储引擎代表数据库:nessDB.leveldb.hbase等核心思想的核心就是放弃部分读能力,换取写入的最大化能力.LSM Tree ...
InfluxDB存储引擎Time Structured Merge Tree——本质上和LSM无异，只是结合了列存储压缩，其中引入fb的float压缩，字串字典压缩等...
The New InfluxDB Storage Engine: Time Structured Merge Tree by Paul Dix | Oct 7, 2015 | InfluxDB | 0 ...
数据结构树的基本操作_《数据结构》树的基本操作.doc
<数据结构>树的基本操作实验四课程名称:完成日期:姓名:学号:指导教师:实验名称:实验序号:实验成绩:一.实验目的及要求二.实验环境.实验内容求出它的深度. .调试过程及实验结果 ...
回溯法排序树怎么画_kd tree（k-dimensional树的简称）
kd tree建立计算各个维度方差最大的那一个.方差大说明沿该轴方向上的数据分散的越开.下图所示. 选择该特征的中位数作为分割点,小于该数的为左子树,大于的为右子树.这里用中位数是为了让左子树和右子 ...
LSM树 Log-Structured Merge Tree
代表数据库:nessDB.leveldb.hbase.InfluxDB等核心思想的核心就是放弃部分读能力,换取写入的最大化能力.LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非 ...
LSM(Log-Structured Merge Tree)
LSM Tree--分布式存储系统(BigTable)的理论模型一.什么是LSM Tree 二.基本原理简述 2.1 SSTable和Level 2.2 分布式存储系统(BigTable) 2.2. ...
python 树状数组_【算法日积月累】19-高级数据结构：树状数组
树状数组能解决的问题树状数组,也称作"二叉索引树"(Binary Indexed Tree)或 Fenwick 树. 它可以高效地实现如下两个操作: 1.数组前缀和的查询: 2. ...
odoo tree视图过滤数据_数据存储结构 LSM Tree PK B TREE (从底层了解数据库设计)...
随着使用数据库的深度和理解能力的提升,有一个问题硬件的提升,与数据量的变化是否对数据库底层的架构有冲击. 我们公认的BTREE B+TREE 是否还能面对现在的硬件的变化. BTREE 到底是为那 ...
[转]C#与数据结构--树论--平衡二叉树(AVL Tree)
C#与数据结构--树论--平衡二叉树(AVL Tree) http://www.cnblogs.com/abatei/archive/2008/11/17/1335031.html 介绍我们知道在二 ...

LSM树——Log-Structured Merge-Tree数据结构、LSM树设计思想、LSM的数据写入操作、LSM的数据查询操作

LSM树数据结构

简介

LSM树设计思想

LSM的数据写入操作

LSM的数据查询操作

LSM树——Log-Structured Merge-Tree数据结构、LSM树设计思想、LSM的数据写入操作、LSM的数据查询操作相关推荐

最新文章

热门文章