原理系列:Spark1.x 生态圈一览
1:生态圈简介
A:Spark
- 内存计算并具有容错性,决定大多数场景运算速度快于MapReduce
- 提供了支持DAG图的分布式并行计算框架,减少多次计算之间中间结果IO开销
- 提供Cache机制来支持多次迭代计算或者数据共享,减少IO开销
- 使用多线程池模型来减少task启动开稍
- 支持互动和迭代程序
B:Spark SQL
- 引入了新的RDD类型SchemaRDD,可以象传统数据库定义表一样来定义SchemaRDD,SchemaRDD由定义了列数据类型的行对象构成。
- SchemaRDD可以从RDD转换过来,也可以从Parquet文件读入,也可以使用HiveQL从Hive中获取。
- 在应用程序中可以混合使用不同来源的数据,如可以将来自HiveQL的数据和来自SQL的数据进行join操作。
- 内嵌catalyst优化器对用户查询语句进行自动优化
C:SparkStreaming
- 将流式计算分解成一系列短小的批处理作业
- 将失败或者执行较慢的任务在其它节点上并行执行
- 较强的容错能力(基于RDD继承关系Lineage)
- 使用和RDD一样的语义
D:MLlib
E:GraphX
2:生态圈的应用
A:场景1:历史数据和实时数据分析查询
B:场景2:欺诈检测、异常行为的发现
C:场景3:社交网络洞察
3、与Hadoop生态环境比较
优势:
支持DAG运算,减少中间数据的传输。
所谓DAG,就是有向不循环图。数据进入第一个计算,得到的结果进入第二个计算;第二个计算得到的结果进入第三个计算……依此类推。
提供了全栈(all-in-one)式,减少中间数据的传输。
劣势
使用Scala语言
Scala语言的已经出来很多年,但从未流行过,即一直是小众型语言。虽然软文做很牛逼,但与现实脱离。
不是很成熟
框架本身复杂,想写出性能卓越的程序需要下大功夫
http://spark.apache.org/
http://blog.csdn.net/book_mmicky/article/details/29362405
转载于:https://www.cnblogs.com/chanxiu/p/3967786.html
原理系列:Spark1.x 生态圈一览相关推荐
- HDFS底层原理系列讲解之fsimage、editslog
HDFS底层原理系列讲解之fsimage.editslog
- 高性能Web动画和渲染原理系列(3)——transform和opacity为什么高性能
[摘要] 研究Web高性能动画及原理 示例代码托管在:http://www.github.com/dashnowords/blogs 博客园地址:<大史住在大前端>原创博文目录 关于opa ...
- 算法原理系列:红黑树
红黑树 看了网上关于红黑树的大量教程,发现一个共性,给出定义,适用情况,然后大量篇幅开始讨论它如何旋转,这就一发不可收拾了,各种情况的讨论,插入删除,插入删除,看的云里雾里,好不容易搞清楚,过段时间就 ...
- 海量存储检索原理系列文章
海量存储检索原理系列文章 作者:WhisperXD 来源:http://qing.blog.sina.com.cn/whisperxd Nov20 海量存储之序言 标签:海量存储检索原理 今天玩微薄 ...
- [转]海量存储检索原理系列文章
海量存储检索原理系列文章 作者:WhisperXD 来源:http://qing.blog.sina.com.cn/whisperxd Nov20 海量存储之序言 标签:海量存储检索原理 今天玩微薄 ...
- 海量存储检索原理系列文章(都是精华)
海量存储检索原理系列文章 作者:WhisperXD 来源:http://qing.blog.sina.com.cn/whisperxd Nov20 海量存储之序言 标签:海量存储检索原理 今天玩微薄 ...
- Tomcat原理系列之四:Tomat如何启动spring(加载web.xml)
Tomcat原理系列之四:Tomat如何启动spring 熟悉的web.xml ContextLoaderListener Tomcat的初始化StandardContext.startInterna ...
- 调试器工作原理系列一: 基础篇
调试器工作原理系列一: 基础篇 本文是一系列探究调试器工作原理的文章的第一篇.我还不确定这个系列需要包括多少篇文章以及它们所涵盖的主题,但我打算从基础知识开始说起. 关于本文 我打算在这篇文章中介绍关 ...
- 算法原理系列:优先队列
算法原理系列:优先队列 第一次总结这种动态的数据结构,一如既往,看了大量的教程,上网搜优先队列原理,能出来一大堆,但不知道为什么怎么这么多人搞不清楚原理和实现的区别?非要把实现讲成原理,今天就说说自己 ...
最新文章
- NVelocity模板引擎的注意事项
- POJ2817 WordStack(状压DP)
- java Thread sleep 和obj.wait,以及sychronized,minor源码
- C#操作Excel文件暨C#实现在Excel中将连续多列相同数据项合并
- 列表视图案例2——显示用户列表
- 大数据导论(2)——推动大数据发展主要的商业因素(业务架构、业务流程管理、通信技术、万物互联等)...
- 银耳椰椰——Alpha冲刺Day09
- 钓鱼工具gophish史上最详细教程(附实例) —— 手把手教你成为“捕鱼人”
- 爱快路由研究中关于rootfs.gz文件的解压缩问题
- fnl+wrf 报错记录
- 2020年最好用的手机是哪一款_2020年什么手机好用,买手机建议买什么牌子的?...
- matlab取点坐标之前先将图片放大缩小
- vim autoformat php,将Vim打造成Python IDE(二):代码格式化的一些问题
- 一些检索英文文献的网址(收藏)
- 60个相见恨晚的神器工具
- 怎么把文字转换成语音?教你几个方法,超级简单
- 对MSRA-USTC 2011的 meng-meng(萌萌) 的team project的学习和评价
- ECCV 2020 Oral | 沈春华团队新作,将条件卷积引入实例分割
- html阅读模式怎么进入word模式,Word视图阅读模式 带您体验Word2013进入阅读模式、视图设置功能...
- linux东软培训答案,东软Linux实验报告.doc
热门文章
- SpringCloud:学习Docker安装zookeeper,注册服务
- Hive优化(再一遍系统复习)
- 计算机投诉信英语作文,投诉信A Letter of Complaint
- 【Python学习】 - skimage包
- 【牛客 - 82B】区间的连续段(贪心,建图,倍增)
- 【HDU - 4056】Draw a Mess (并查集 or 线段树)
- 【HRBUST - 1054 】Brackets! Brackets! (括号匹配,思维,STL栈)
- Trie树(字典树)详细知识点及其应用
- php文件上传并保存路径到数据库,thinkphp表单上传文件并将文件路径保存到数据库中?...
- 群签名和环签名的区别_超级签名和TF签名使用个人开发者账号的区别是什么?...