胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式

一、楔子

　　胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。25岁那面，曾被跟我一样高的漂亮美眉叫叔叔，从此再也不敢打小姑娘的注意，走上了重口味热爱阿姨级别女性的不归路；曾被三十五、六岁的同事阿姨说苍老：看你也就三十五六吧，那年我25；周一的时候，还有一个60后的同事问及我的年龄，他很含蓄的，明显带着保留的口吻问我：你是75年的吧？因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等，体重大于身高的角色，算是已经胖出了一定层次，每次听到别人叫我胖子，就感觉小小的自尊多少受到了伤害，然后就给自己在后面加了一个哥子，算是给自己遮半张脸吧。闲话就聊到这里，还是继续胖子哥的大数据之路吧，这次要谈的还是数据仓库。

二、实时查询数据库-HDFS&HBase

　　传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈，是无法靠自身解决的，也就有了基于Big-Table型的NoSQL数据库用武之地，比较典型技术组合就是HDFS+HBase，利用HDFS的分布式、高可用数据存储，结合HBase面向列的数据存储模型，从而解决大数据量存储的问题；结合HBase基于Rowkey自然序的存储，从而实现海量数据快速查询。当然这种模式只适用于结构型数据，而且只适用于历史数据查询，而不适用于事务型业务的处理，从而产生了大数据在结构化数据存储方面的第一种模式：实时查询数据库；

三、大数据仓库-HDFS&Hive

　　基于关系型数据库的数据仓库，同样面临数据存储规模的问题，因此在银行业务中，同样也只能存储短期的数据，其目标在在于支持基于业务年度的报表统计和业务分析，而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系，采用HDFS+Hive的模式，构建大数据仓库，则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式：大数据仓库；

四、替换还是互补-大家来回答，期待你的答案

　　问题一

　　实时查询数据库能否替换实时操作数据库吗？

　　问题二

　　大数据仓库可以替代数据仓库吗？

五、关于大数据题外话　　

　　曾经就干货与湿货的问题，与人发生过争辩，还是不淡定了。其实对于一个口渴的人，水就是干货，同样，对于一个迷路的人，指南针就是干货。见仁见智的事，不再做争辩。重在分享，送给大数据传统企业应用实施的探路者们，送给需要的人，立此存照。

　　持续更新中，未完待续。。。。

　　下期预告：大数据仓库项目的需求分析该如何去做。敬请期待。

胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式相关推荐

大数据之路读书笔记-09阿里巴巴数据整合及管理体系
大数据之路读书笔记-09阿里巴巴数据整合及管理体系面对爆炸式增长的数据,如何建设高效的数据模型和体系,对这些数据进行有序和有结构地分类组织和存储,避免重复建设和数据不一致性,保证数据的规范性, 直是 ...
读《大数据之路-阿里巴巴大数据实践》数据模型篇笔记
读<大数据之路-阿里巴巴大数据实践>数据模型篇七建模综述 OLTP 面向数据随机读写 3NF OLAP 批量读写不关注一致性更关心数据整合 ER模型–衍生出dataVault 维度 ...
什么是结构化数据？什么是半结构化数据？
概述相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档.文本.图片.XML.HTM ...
什么是结构化数据？什么是半结构化数据？（*）
概述相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档.文本.图片.XML.HTM ...
2021年大数据ELK（二十七）：数据可视化（Visualize）
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录数据可视化(Visualize) 一.数据可视化的类型二.以饼图展示404与 ...
大数据之路阿里巴巴大数据实践读书笔记
一 .总述人类正在从IT时代走向DT时代.现在的数据呈爆炸式增长,其潜在的巨大价值有待发掘.但是如果不对数据进行有序.有结构的分类组织和存储,它将变成一场灾难. 在阿里内部,数据的存储达到EB级别. ...
《大数据之路-阿里巴巴大数据实践》读书笔记
ps:这本书主讲阿里的大数据体系架构方案,从底层到高层阐述,目前对我来说此书的难度较大,不是很懂,大部分为对原书的引用归纳,我会给出相应的大牛的关于此书的读书笔记的传送门供参考.以下为大牛关于本书的读 ...
《大数据之路阿里巴巴大数据实践》笔记
此书下载传送门http://www.java1234.com/a/javabook/yun/2018/0308/10578.html 第1章总述阿里巴巴大数据系统体系主要分为,数据采集.数据计算. ...
python爬虫工程师成长之路六(二) 非结构化数据之lxml库
文章目录 lxml库介绍 lxml库使用最后 lxml库介绍 lxml是一个使用python编写的库,处理XML非常方便,另外还支持XPath,(上篇博客的XPath派上用处了XPath 基础 ...
Flink实战（九十三）：数据倾斜（二）keyby 窗口数据倾斜的优化
在大数据处理领域,数据倾斜是一个非常常见的问题,今天我们就简单讲讲在flink中如何处理流式数据倾斜问题. 我们先来看一个可能产生数据倾斜的sql. select TUMBLE_END(proc_ti ...

胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式

胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式相关推荐

最新文章

热门文章