《大数据架构详解》读后感

《大数据架构详解》 —— 读后感

作者：朱洁罗华霖
出版商：中国工信出版社电子工业出版社
版次：2016年10月第1版
印数：7001 ~ 12000册
定价：69.00元

本书花了大量笔墨讲了通信运营商的大数据应用案例及其使用的架构，这也不奇怪，因为作者是为通信运营商做大数据解决方案的。作者服务的运营商大数据平台架构，从上到下依次为———
应用层
SQM、CSE、MSS、DMP，这些都是运营商特有的应用
组件层
数据获取(日志数据获取、消息分发中间件)
数据处理(实时处理、批处理)
分析数据(交互式查询,机器学习,数据挖掘)
数据分析结果的展现
资源管理和分配
涉及集群、数据中心的级别的资源统一管理和分配
提了几款Hadoop生态圈的资源调度框架及其调度算法
存储层
RAID
存储加速技术
大数据部署
云化部署
物理机部署

这本书讲到的大数据框架，是偏原理的多，有些框架也给出了java代码示例。有些大数据框架没讲到，例如在讲大数据存储方案的时候也没有涉及HBase。不过这也可以理解，因为不可能面面俱到，要有所侧重。大体来看，这本书大概讲了几大块———
1，大数据是什么
2，大数据当前面临的挑战
3，运营商大数据架构和业务
4，数据获取
5，数据流处理
6，交互式分析
7，批处理技术
8，机器学习和数据挖掘
9，资源管理
10，存储
11，大数据云化

书中的架构适合运营商的业务需求，读者可以举一反三、触类旁通。
书中也有一些有价值的看法，例如对未来大数据技术的技术方向的思考。他的一些观点和想法还是很有启发性的，整理如下：

1，大数据是什么———

大数据是问题的解决方案、一系列技术的集合

2，大数据面临的实时性挑战———
2.1 时间越久的数据，价值越低
2.2 大数据技术的趋势是使用流系统的比例越来越高，流处理(流分析)应用将会成为默认应用
3，批处理是追求吞吐量的，流处理是追求实时性的。趋势是将批处理和流处理技术做融合（统一），流行的批处理框架有3个———
3.1 Google开源的Dataflow、BEAM
3.2 德国的Flink
3.3 Spark 2.X版的spark streaming
4，资源管理和调度———
4.1 目前流行的资源调度框架是yarn，他的RM直接将资源分配给某个Task，这是任务级别的调度(也就是小颗粒调度)
4.2 未来会聚焦于应用本身的特点来做资源的智能管理和分配，以实现资源利用的高效率
5，大数据作为云服务的两种模式———
5.1 集群模式：直接使用集群、简化运维(购买的集群已预装客户所需的组件,例如hadoop,hive,spark,hbase,zookeeper等等)

5.2 服务模式：用户无需关心集群创建和运维，用户只需提交应用到集群上，按照任务消耗的计算时间付费，例如AWS开源的Lambada就是一种服务模式的大数据云服务

5.3 混合模式：即前面两种的联合使用

《大数据架构详解》读后感相关推荐

GC13：XO独占游戏《神鬼寓言传奇》公布
作者: 来源: www.bts668.com 微软日前公布了<神鬼寓言传奇>(Fable Legends),该游戏是此系列作品的新作,将作为Xbox One游戏出现. 这款由狮子头工作室开 ...
Facebook 重金挖不到，ASP.NET 之父，微软大神“红衣教主”传奇
作者 | 伍杏玲出品 | CSDN (ID:CSDNnews) 2018 年底,微软"王者归来",时隔 16 年市值重返全球第一.人们纷纷用"力挽狂澜"&qu ...
乔布斯去世衍生多种周边产品（支持乔布斯请顶）
各种乔布斯肖像乔布斯公仔乔布斯立体纸人不管你是不是狂热的苹果粉丝,是不是拥有n多的苹果产品,苹果帮主乔布斯都应该值得我们纪念. "为什么说乔布斯改变了世界?没有 iPhone,就不会有 ...
一战封神！“中国飞人”苏炳添跑出9秒83到底有多牛？
公众号后台回复"图书",了解更多号主新书内容作者:CDA数据分析师来源:CDA数据分析师 [导读] 在刚刚结束的东京奥运会百米飞人大战上,中国选手苏炳添在半决赛跑出9秒83,刷新了 ...
乔布斯导演的最后一幕
连作者也说,他仅仅是这本书的写作者,真正的作者是乔布斯."中信出版社总编辑潘岳近日分享了<史蒂夫·乔布斯传>幕后的故事.这本传记预定期已达100万册,预估最终销量将达到500万册 ...
30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全
史上最牛的Linux内核学习方法论点击下载我的arm_linux移植笔记点击下载 S3C2440完全开发流程点击下载 Linux系统命令及其使用详解完整版点击下载 Linux ...
30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全...
史上最牛的Linux内核学习方法论点击下载我的arm_linux移植笔记点击下载 S3C2440完全开发流程点击下载 Linux系统命令及其使用详解完整版点击下载 Linux主要shell命 ...
养成励志的习惯，一生励志——文指星终极励志
语言的突破全集卡耐基 --励志经典点击下载人性的优点--卡耐基名著--励志经典点击下载人生格言精华总集点击下载人生定律与原则--励志经典点击下载厚黑学 ...
养成励志的习惯，一生励志
语言的突破全集卡耐基 --励志经典点击下载人性的优点--卡耐基名著--励志经典点击下载人生格言精华总集点击下载人生定律与原则--励志经典点击下载厚黑学 ...
【转】乔布斯经典语录
2011年8月25日消息,乔布斯辞去了苹果公司CEO的职务.10月6日,传来了他去世的消息.在此缅怀乔帮主的同时,与大家分享乔布斯在世时的经典语录.(来自于<乔布斯传>--神一样的传奇的附 ...

《大数据架构详解》读后感

《大数据架构详解》读后感相关推荐

最新文章

热门文章