storm与hadoop的对照

hadoop 是实现了 mapreduce 的思想，将数据切片计算来处理大量的离线数据。

hadoop处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中。所以

hadoop 实现的时候是通过移动计算到这些存放数据的机器上来提高效率而 storm

不同，storm 是一个流计算框架。处理的数据是实时消息队列中的，所以须要我们

写好一个 topology 逻辑放在那，接收进来的数据来处理，所以是通过移动数据平均

分配到机器资源来获得高效率。

hadoop 的长处是处理数据量大（瓶颈是硬盘和 namenode，网络等），分析

灵活，可以通过实现 dsl，mdx 等拼接 hadoop 命令或者直接使用 hive。pig 等来

灵活分析数据。适应对大量维度进行组合分析缺点就是慢：每次运行前要分发 jar

包，hadoop 每次 map 数据超出阙值后会将数据写入本地文件系统，然后在 reduce

的时候再读进来。

storm 的长处是全内存计算，由于内存寻址速度是硬盘的百万倍以上，所以 storm

的速度相比較 hadoop 很快（瓶颈是内存。cpu）缺点就是不够灵活：必需要先写

好 topology结构来等数据进来分析。

转载于:https://www.cnblogs.com/wzjhoutai/p/6879821.html

storm与hadoop的对照相关推荐

Storm精华问答 | storm与Hadoop有什么区别？
戳蓝字"CSDN云计算"关注我们哦! 归于Apache社区,Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍.而目前已是分 ...
Storm精华问答 | storm与Hadoop区别？
戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...
为什么 Storm 比 Hadoop 快？是由哪几个方面决定的？
https://www.zhihu.com/question/20098507 为什么 Storm 比 Hadoop 快?是由哪几个方面决定的?修改写补充说明举报添加评论分享 • 邀请回答按 ...
大数据之jstorm,storm,hbase,hadoop and so on
大数据之jstorm,storm,hbase,hadoop and so on ActiveMQ_in_Action__最新版.pdf: http://www.t00y.com/file/766927 ...
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink——flink支持SQL，待看
简介大数据是收集.整理.处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称.虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性.规模,以及价值在最近几年才 ...
hadoop lambda_Delta架构：统一Lambda架构并利用Hadoop / REST中的Storm
hadoop lambda 最近,一群人要求我详细介绍我为我们的书<分布式实时计算的风暴蓝图>撰写的Druid / Storm集成. 德鲁伊很棒. 风暴很棒. 两者一起解决了实时维查询/聚 ...
Delta架构：统一Lambda架构并利用Hadoop / REST中的Storm
最近,一群人要求我详细介绍我为我们的书<分布式实时计算的风暴蓝图>撰写的Druid / Storm集成. 德鲁伊很棒. 风暴很大. 两者一起解决了实时维查询/聚合问题. 实际上,人们正在将 ...
Hadoop、storm和Spark的区别、比较
一.hadoop.Storm该选哪一个? 为了区别hadoop和Storm,该部分将回答如下问题: 1.hadoop.Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop ...
【分布式计算】关于Hadoop、Spark、Storm的讨论
参考资料: 与 Hadoop 对比,如何看待 Spark 技术?:https://www.zhihu.com/question/26568496 还要不要做大数据:http://sinofool.cn ...

storm与hadoop的对照

storm与hadoop的对照相关推荐

最新文章

热门文章