几张图看懂列式存储(转)
阅读目录
1 为什么要按列存储
2补充:数据压缩
3查询执行性能
add by zhj: 终于明白了什么是列式存储,什么是行式存储。这跟数据在存储介质中的存储结构有关,
列式存储是指,一列中的数据在存储介质中是连续存储的;行式存储是指一行中的数据在存储介质
中是连续存储的。简单的说,你可以把列式数据库认为是每一列都是一个表,这个表只有一列,如
果只在该列进行条件查询,速度就很快。
那这两种不同的存储方式对数据的CRUD有什么不同的影响呢?看了一些文章,
一般说的是下面两点
1。行数据库适用于读取出少行,多列的情况;列数据库相反,适用于读取出少数列,多数行的情况。
2。列数据库可以节省空间,如果某一行的某一列没有数据,那在列存储时,就可以不存储该列的值。
这比行数据库节省空间
我个人感觉列数据库只适合对单个列进行条件查询,不适合对几个列的字段进行多条件组合查询,因
为每一列上的查询都是独立完成的,相当于每一列都是一个单独的数据库表,需要每一列的查询结果进行
join连接,join的条件是row_key相等,但每列的查询结果集可能很大。当我们对一个列的数据进行切片,
存储在不同的机器上时,一般是按主键进行排序,然后分片。额,有点乱。以HBase为例来说吧,它每一
列的数、据其实都是按row-key排序的,这样的好处是,一定范围内row-key可以放在一台机器上,当我们
用row-key进行查询时,可以很快就查到数据。HBase没有二级索引,如果我想用另一列的字段做为查询条
件,那会全表扫描了。这样看来,貌似列数据库只有上面第2点的优势了
原文:http://blog.csdn.net/dc_726/article/details/41143175
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。
回到顶部
1 为什么要按列存储
列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,直接抄原文了):
Ø Row-based storage stores atable in a sequence of rows.
Ø Column-based storage storesa table in a sequence of columns.
下面来看一个例子:
从上图可以很清楚地看到,行式存储下一张表的数据都是放在一起的,但列式存储下都被分开保存了。所以它们就有了如下这些优缺点:
行式存储
列式存储
优点
Ø 数据被保存在一起
Ø INSERT/UPDATE容易
Ø 查询时只有涉及到的列会被读取
Ø 投影(projection)很高效
Ø 任何列都能作为索引
缺点
Ø 选择(Selection)时即使只涉及某几列,所有数据也都会被读取
Ø 选择完成时,被选择的列要重新组装
Ø INSERT/UPDATE比较麻烦
注:关系型数据库理论回顾 - 选择(Selection)和投影(Projection)
回到顶部
2补充:数据压缩
刚才其实跳过了资料里提到的另一种技术:通过字典表压缩数据。为了方面后面的讲解,这部分也顺带提一下了。
下面中才是那张表本来的样子。经过字典表进行数据压缩后,表中的字符串才都变成数字了。正因为每个字符串在字典表里只出现一次了,所以达到了压缩的目的(有点像规范化和非规范化Normalize和Denomalize)
回到顶部
3查询执行性能
下面就是最牛的图了,通过一条查询的执行过程说明列式存储(以及数据压缩)的优点:
关键步骤如下:
去字典表里找到字符串对应数字(只进行一次字符串比较)。
用数字去列表里匹配,匹配上的位置设为1。
把不同列的匹配结果进行位运算得到符合所有条件的记录下标。
- 使用这个下标组装出最终的结果集。
转载于:https://blog.51cto.com/office580/2345249
几张图看懂列式存储(转)相关推荐
- 【转】几张图看懂列式存储
几张图看懂列式存储 转载于:https://www.cnblogs.com/apeway/p/10870211.html
- oracle层级关系按列存储_几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念. 1 为什 ...
- mysql 列式存储_[转]几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念. 1 为什 ...
- 一张图看懂微服务架构路线
目录 一张图看懂微服务架构路线 我为什么选择微服务架构? 微服务架构路线 基本思路 Docker 容器编排 Docker 容器管理 API网关 负载均衡 服务发现 事件总线 日志记录 监控和警报 分布 ...
- 一张图看懂世界石油分布?用Python轻松搞定!(附数据下载)
CDA数据分析师 出品 [导语]:今天我们教你用Python画出世界石油分布桑基图,Python技术部分可以直接看第四部分. 获取数据: 扫描下方公众号 回复关键字"石油" ...
- 一张图看懂世界石油分布?用Python轻松搞定!
CDA数据分析师 出品 [导语]:今天我们教你用Python画出世界石油分布桑基图,Python技术部分可以直接看第四部分. 作者:Mika 数据:真达 后期:泽龙 设计:一凡 Sho ...
- 华为p10和p10plus区别_华为P10和P10Plus有什么区别?一张图看懂华为P10和P10Plus的区别...
在MWC2017会展上,华为新一代旗舰产品P10及P10 Plus高调亮相,上一代的P9作为华为首款销量突破1000万的机型,这次的P10想必也继承了华为再创辉煌的使命.P10继续与徕卡深度合作,采用 ...
- 荣耀v20云计算机,一张图看懂荣耀v20,小米9,iqoo谁值得买(云分析)
一张图看懂荣耀v20,小米9,iqoo谁值得买(云分析) 2019-03-09 13:22:20 17点赞 5收藏 65评论 本文前言--应该来说全世界手机市场,就数中国的手机市场水最深吧,发布猛如虎 ...
- 一张图看懂图像识别算法发展历史
一张图看懂图像识别算法发展历史
最新文章
- 层次聚类定义、层次聚类过程可视化、簇间距离度量、BIRCH、两步聚类、BIRCH算法优缺点
- MySQL MHA: 一种master高可用的主从复制解决方案
- 数据结构-数组模拟队列-环形实现(JAVA)
- Android ToolBar 使用完全解析
- 性能之巅:Linux网络性能分析工具
- 计算Linux内存,CUP,硬盘使用率的shell脚本
- ubuntu18.04安装中文输入法ibus
- 如何用开源软件办一场技术大会?
- python编程输入圆柱_C语言编程:已知圆半径及圆柱高,求圆周长,圆柱体积.要求对输入输出做提示.各位大神帮帮忙,可怜可怜我吧!编写一个c语言程序,要求输入圆...
- 由磁场和光驱动的软体机器人来了,旋转跳跃不停歇~
- 解压软件Bandizip
- element UI 之 el-cascader 下拉多级单选,每一级均可选中
- 梦幻西游网页版服务器互通吗,梦幻西游网页版:关于合服的那些事儿~最全信息都在这了...
- 某高校校园卡网站模拟登陆(php)
- wso2_围绕开放标准改进WSO2 API Manager密钥管理体系结构
- std::upper_bound与std::lower_bound
- 银行卡的卡号号段标识
- 01005英制_高精度转换和格式化英制距离(英尺和英寸)
- 【Unity VR开发】结合VRTK4.0:不可移动区域
- 内核隔离(内存完整性)无法开启,存在不兼容驱动PassGuard的解决方法