两款高性能并行计算引擎Storm和Spark比较

2019独角兽企业重金招聘Python工程师标准>>>

Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。

所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高。

Shark只是一个基于Spark的查询引擎（支持ad-hoc临时性的分析查询）

而Storm的架构和Spark截然相反。Storm是一个分布式流计算引擎。每个节点实现一个基本的计算过程，而数据项在互相连接的网络节点中流进流出。和Spark相反，这个是把数据传递给过程。

两个框架都用于处理大量数据的并行计算。

Storm在动态处理大量生成的“小数据块”上要更好（比如在Twitter数据流上实时计算一些汇聚功能或分析）。

Spark工作于现有的数据全集（如Hadoop数据）已经被导入Spark集群，Spark基于in-memory管理可以进行快讯扫描，并最小化迭代算法的全局I/O操作。

不过Spark流模块（Streaming Module）倒是和Storm相类似（都是流计算引擎），尽管并非完全一样。

Spark流模块先汇聚批量数据然后进行数据块分发（视作不可变数据进行处理），而Storm是只要接收到数据就实时处理并分发。

不确定哪种方式在数据吞吐量上要具优势，不过Storm计算时间延迟要小。

总结下，Spark和Storm设计相反，而Spark Steaming才和Storm类似，前者有数据平滑窗口（sliding window），而后者需要自己去维护这个窗口。

转载于:https://my.oschina.net/u/2338362/blog/508017

两款高性能并行计算引擎Storm和Spark比较相关推荐

推动RISC-V拾级而上赛昉科技发布两款高性能产品: JH7110多媒体处理器与VisionFive 2开发板
推动RISC-V拾级而上赛昉科技发布两款高性能产品 8月23日,RISC-V领域迎来重大突破.RISC-V软硬件生态领导者赛昉科技在线举办2022新产品发布会,揭晓两款重磅新品:全球首款量产高性能 ...
中国RISC-V机遇与变革下，赛昉科技发布两款高性能新品
8月23日,专注于RISC-V芯片研发的赛昉科技举办2022新产品发布会,发布两款重磅新品:全球首款量产高性能RISC-V多媒体处理器--昉·惊鸿7110(JH7110),和全球性能最高的量产RISC ...
WIN7+VS2010编译两款2D游戏引擎风魂和HGE（C++源码）
大名鼎鼎的两款2D引擎不用多介绍了.只是原版的源代码编译环境vc6.0很多无法通过. 所以这次将WIN7+VS2010编译通过的源代码放上.并附上自己找的一些例程源代码风魂引擎 Xz_说明中添加了一 ...
Hadoop、storm和Spark的区别、比较
一.hadoop.Storm该选哪一个? 为了区别hadoop和Storm,该部分将回答如下问题: 1.hadoop.Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop ...
NS 宣布推出两款 Boomer D 类音频子系统
NS 宣布推出两款 Boomer D 类音频子系统美国国家半导体公司(National Semiconductor Corporation)宣布推出两款高性能.低功率 Boomer® D 类音频子系 ...
沙漠之鹰和战术匕首－－两款前端极简模板引擎
一.前言说起前端模板引擎,那可真是多如牛毛,只要是前端coder,怎么着你都听说或用过几款,社区里面的文章也有介绍,或者问问度娘,这里不再赘述.其中比较知名的有 artTemplate.doT.mu ...
从Storm和Spark 学习流式实时分布式计算的设计
转自:http://www.dataguru.cn/thread-341168-1-1.html 流式实时分布式计算系统在互联网公司占有举足轻重的地位,尤其在在线和近线的海量数据处理上.而处理这些海量 ...
国产GPU添新玩家，AMD出身，两款业界第一7nm芯片曾由他打造
金磊发自凹非寺量子位 | 公众号 QbitAI 他在现场只是播放了一张的演讲内容. 竟引得众人不约而同,纷纷高举手机拍照,会场更是掌声不断. 他叫钱军,很多人熟知这个名字,是因为他曾在AMD担任 ...
Flink及Storm、Spark主流流框架比较-实时框架比较
实时计算框架对比 - flink,storm,spark 三者的区别我相信有不少的工程师都有着这样的处境,在学flink之前很好奇flink,storm,spark的区别是什么,为什么现在很多企业都 ...

两款高性能并行计算引擎Storm和Spark比较

两款高性能并行计算引擎Storm和Spark比较相关推荐

最新文章

热门文章