为什么 Storm 比 Hadoop 快?是由哪几个方面决定的?
https://www.zhihu.com/question/20098507
为什么 Storm 比 Hadoop 快?是由哪几个方面决定的?修改
添加评论
• 邀请回答
17 个回答
storm的网络直传、内存计算,其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时,storm的流式处理,省去了批处理的收集数据的时间;因为storm是服务型的作业,也省去了作业调度的时延。所以从时延上来看,storm要快于hadoop。
说一个典型的场景,几千个日志生产方产生日志文件,需要进行一些ETL操作存入一个数据库。
假设利用hadoop,则需要先存入hdfs,按每一分钟切一个文件的粒度来算(这个粒度已经极端的细了,再小的话hdfs上会一堆小文件),hadoop开始计算时,1分钟已经过去了,然后再开始调度任务又花了一分钟,然后作业运行起来,假设机器特别多,几钞钟就算完了,然后写数据库假设也花了很少的时间,这样,从数据产生到最后可以使用已经过去了至少两分多钟。
而流式计算则是数据产生时,则有一个程序去一直监控日志的产生,产生一行就通过一个传输系统发给流式计算系统,然后流式计算系统直接处理,处理完之后直接写入数据库,每条数据从产生到写入数据库,在资源充足时可以在毫秒级别完成。
当然,跑一个大文件的wordcount,本来就是一个批处理计算的模型,你非要把它放到storm上进行流式的处理,然后又非要让等所有已有数据处理完才让storm输出结果,这时候,你再把它和hadoop比较快慢,这时,其实比较的不是时延,而是比较的吞吐了。
收藏 • 没有帮助 •
• 作者保留权利
Hadoop是基于Map/Reduce模型的,处理海量数据的离线分析工具。
Storm是分布式的、实时数据流分析工具,数据是源源不断产生的,例如Twitter的Timeline。
再回到你说的速度问题,只能说Storm更适用于实时数据流,Map/Reduce模型在实时领域很难有所发挥,不能简单粗暴的说谁快谁慢。
收藏 • 没有帮助 •
• 作者保留权利
两者面向的领域也不完全相同,一个是批量处理,基于任务调度的;另外一个是实时处理,基于流。
以水为例,Hadoop可以看作是纯净水,一桶桶地搬;而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了。
收藏 • 没有帮助 •
• 作者保留权利
1. 延时 , 指数据从产生到运算产生结果的时间,题主的“快”应该主要指这个。
2. 吞吐, 指系统单位时间处理的数据量。
首先明确一点,在消耗资源相同的情况下,一般来说storm的延时低于mapreduce。但是吞吐也低于mapreduce。 @张云聪已经给了比较好的介绍,我再补充一下。storm是典型的流计算系统,mapreduce是典型的批处理系统。下面对流计算和批处理系统流程
真个数据处理流程来说大致可以分三个阶段:
1. 数据采集与准备
2. 数据计算(涉及计算中的中间存储), 题主中的“那些方面决定”应该主要是指这个阶段处理方式。
3. 数据结果展现(反馈)
1)数据采集阶段,目前典型的处理处理策略:数据的产生系统一般出自页面打点和解析DB的log,流计算将数据采集中消息队列(比如kafaka,metaQ,timetunle)等。批处理系统一般将数据采集进分布式文件系统(比如HDFS),当然也有使用消息队列的。我们暂且把消息队列和文件系统称为预处理存储。二者在延时和吞吐上没太大区别,接下来从这个预处理存储进入到数据计算阶段有很大的区别,流计算一般在实时的读取消息队列进入流计算系统(storm)的数据进行运算,批处理一系统一般会攒一大批后批量导入到计算系统(hadoop),这里就有了延时的区别。
2)数据计算阶段,流计算系统(storm)的延时低主要有一下几个方面(针对题主的问题)
A: storm 进程是常驻的,有数据就可以进行实时的处理
mapreduce 数据攒一批后由作业管理系统启动任务,Jobtracker计算任务分配,tasktacker启动相关的运算进程
B: stom每个计算单元之间数据之间通过网络(zeromq)直接传输。
mapreduce map任务运算的结果要写入到HDFS,在于reduce任务通过网络拖过去运算。相对来说多了磁盘读写,比较慢
C: 对于复杂运算
storm的运算模型直接支持DAG(有向无环图)
mapreduce 需要肯多个MR过程组成,有些map操作没有意义的
3)数据结果展现
流计算一般运算结果直接反馈到最终结果集中(展示页面,数据库,搜索引擎的索引)。而mapreduce一般需要整个运算结束后将结果批量导入到结果集中。
实际流计算和批处理系统没有本质的区别,像storm的trident也有批概念,而mapreduce可以将每次运算的数据集缩小(比如几分钟启动一次),facebook的puma就是基于hadoop做的流计算系统。
收藏 • 没有帮助 •
• 作者保留权利
我们阿里的团队将Storm的开发语言更换为java版本,阿里的Jstorm目前已经正式被Apache所接受,成为apache Storm的子版本。本人对storm还是有一定的了解的。下面说说我本人的看法。
首先快是相对的,您说的hadoop不快,应该知的是hadoop下的mapreduce慢,因为还有很多跑在hadoop之上的业务他也快,比如说Hbase,以及我们的延云YDB。
另这个快其实您的本意是时效性好,而不是说计算速度快。这个地方要加以区分。
因为如果从计算速度上来看,mapreduce的计算速度不见得就慢,比如说算一个pi.
首先第一点:storm的数据在内存中,不落地,IO消耗很小。
storm因为本身是流式计算的特性,数据从产生到最终能看到结果,也就是秒,甚至是毫秒的延迟。流计算,您可以想象成一个流水线,各种数据在流水线上源于流动,而其中的Bolt就是流水线上的工人,不同的Bolt负责不同流程上产品的处理,每条数据经过一个人处理完毕后,会交给第二个作业的人去处理,这期间数据不会落地,而是直接在流水线上传输着,也就是说,数据一直在内存里面,不会像mapreduce在计算的过程中,map的处理结果,落地到磁盘上,reduce在去下载map的结果,计算完毕后还要放到磁盘上,多次mapreduce要反反复复的多次数据落地,IO肯定特别大。
第二点:他时效性好,是因为是预计算-不留原始数据,只能看特定的维度、粒度。
如果数据经过预先汇总,原始数据没有保留,在未来某一时间如果想查看其它维度或者粒度的数据数据将无法实现。
hadoop则保存了原始数据的明细,可以根据任何需要,来来回回的反复查询,但是他的mapreduce属于,暴力扫描的方式,不用多说,性能很差,需要狂堆机器,成本也太高。而这类系统一般的并发也不大,如果数据量在百亿级别,千台的集群规模,一天也就能进行几十万次的查询而已。
顺便说下我得创业项目,YDB则采用大索引技术,通过索引技术直接定位到相关记录,避免记录的逐条扫描,即使只有50几台的机器,百亿数据也能查询个几百万次。所以通过索引来拟补mapreduce的不足。YDB也是保存数据明细,查询的时候根据大索引技术以及独特的标签技术,在几秒的时间,返回任意维度,任意筛选条件的结果,灵活性很好,多维钻取,全文检索都是YDB的强项。
第三,hadoop上文件时效性较差,因为namenode不能有太多的小文件,数据要经过聚集几分钟,甚至一小时,一天,集中导入到hdfs里面,也就导致了数据时效性很差。流系统数据时实时流入的,时效性本身就好。
同时也PS下,上面吐槽storm稳定性的同学。
storm真的很稳定,阿里的jstorm每天处理超过万亿条的消息,这个是真的。但是有一定的开发成本,所以想写好,不是特别的容易。
收藏 • 没有帮助 •
• 作者保留权利
Storm的主工程师Nathan Marz表示: Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。更棒的是你可以使用任意编程语言来做开发。
Storm的主要特点如下:
简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
容错性。Storm会管理工作进程和节点的故障。
水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。
快速。系统的设计保证了消息能得到快速的处理,使用ØMQ作为其底层消息队列。
本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。
source: http://www.infoq.com/news/2011/09/twitter-storm-real-time-hadoop
个人总结:
- Hadoop M/R基于HDFS,需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等,效率较低。
- Storm 基于ZeroMQ这个高性能的消息通讯库,不持久化数据。
收藏 • 没有帮助 •
• 作者保留权利
差点看成spark的问题,最近拿spark和hadoop比的问题太多了。
收藏 • 没有帮助 •
• 作者保留权利
收藏 • 没有帮助 •
• 作者保留权利
但实际上storm和hadoop的根本完全就是不同的应用领域。
storm只能处理 数据入库、超速判断、网站在线用户特别多 之类的问题,与大数据查询毫无关系。
它所能处理的“大”是指 实时在线请求量的 “大”。
我认为这两个东西 就不应该做对比。是不同领域的东西。它们之间快慢比较根本没有意义。
引用一段话:
爬犁和宝剑哪个快?要看是用来耕地,还是砍人——hadoop像个爬犁,耕地很凶悍;storm像把宝剑,砍人锋利无比。
收藏 • 没有帮助 •
• 作者保留权利
这里再次强调根本原因,Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。
收藏 • 没有帮助 •
• 作者保留权利
收藏 • 没有帮助 •
• 作者保留权利
收藏 • 没有帮助 •
• 作者保留权利
收藏 • 没有帮助 •
• 作者保留权利
Storm整个计算都在内存中完成,不需要任何磁盘参与,所以十分适合实时计算。
收藏 • 没有帮助 •
• 作者保留权利
收藏 • 没有帮助 •
• 作者保留权利
为什么 Storm 比 Hadoop 快?是由哪几个方面决定的?相关推荐
- Storm精华问答 | storm与Hadoop有什么区别?
戳蓝字"CSDN云计算"关注我们哦! 归于Apache社区,Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍.而目前已是分 ...
- Storm精华问答 | storm与Hadoop区别?
戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...
- 大数据之jstorm,storm,hbase,hadoop and so on
大数据之jstorm,storm,hbase,hadoop and so on ActiveMQ_in_Action__最新版.pdf: http://www.t00y.com/file/766927 ...
- 比Hadoop快至少10倍的物联网大数据平台,我把它开源了
作者 | 陶建辉 转载自爱倒腾的程序员(ID: taosdata) 导读:7月12日,涛思数据的TDengine物联网大数据平台宣布正式开源.涛思数据希望尽最大努力打造开发者社区,维护这个开源的商业模 ...
- storm与hadoop的对照
hadoop 是实现了 mapreduce 的思想,将数据切片计算来处理大量的离线数据. hadoop处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中.所以 hadoop ...
- 比 Hadoop 快至少 10 倍的物联网大数据平台,我把它开源了
两天前 7 月 12 号,我对外正式宣布 TDengine, 一款专为物联网定制打造的大数据平台软件,正式开源,将我和涛思数据团队两年多的时间写下的 10 多万行 C 语言代码放在 GitHub 上, ...
- GitHub开源比Hadoop快至少10倍的物联网大数据平台
TDengine是一个开源的专为物联网.车联网.工业互联网.IT运维等设计和优化的大数据平台.除核心的快10倍以上的时序数据库功能外,还提供缓存.数据订阅.流式计算等功能,最大程度减少研发和运维的工作 ...
- 为什么Spark官网上称其性能比Hadoop快100倍
背景 Spark的特点 1.减少磁盘IO 随着实时业务的流行,Hadoop作为离线的高吞吐.低响应框架已不能满足这一需求.Hadoop MapReduce 的map端的中间结果会落地落地到磁盘,red ...
- spark为什么比hadoop快
网上一堆人根本对计算框架一知半解就出来糊弄人,常见解答有: spark是基于内存计算,所以快.这跟废话似的,mr计算的时候不也是基于内存? mr shuffle落盘.这也是胡扯, spark shuf ...
最新文章
- 【Java】练习题:三角形法则
- JavaScript高级day02-PM【原型链的属性问题、探索instanceof、原型面试题】
- 企业网站常用中英文对照表
- UI设计工具比较:Sketch、Adobe XD、墨刀、Mockplus、Axure RP
- Project Euler:Problem 39 Integer right triangles
- 前端和后端的英文_前端工程师一般都喜欢去哪些网站逛?
- WordPress百度熊掌号页面改造(纯代码实现)
- CentOS 6系统FreeSwitch和RTMP服务 安装及演示(二)
- (1) IFC格式简介 (Industry Foundation Class)
- 代码里的Override和Overload
- Emscripten 单词_学会词根词缀,开启高效、快速地记忆英语单词模式
- 【信号重构】经傅里叶逆变换(IFFT)后得到实数序列-含Matlab程序
- 鸿蒙os多设备如何实现,鸿蒙OS中如何实现跨设备迁移?
- AcWing算法基础课 第一讲小结(持续更新中)
- Tobii pro lab学习笔记3_Metrics统计指标
- 一文讲解单片机、ARM、MCU、DSP、FPGA、嵌入式错综复杂的关系
- 分享如何在 PingCode 这类专业的看板软件中管理敏捷Kanban 项目
- 时间戳和时间相互转换
- 【Jenkins】Jenkins在CentOS和k8s(minikube)上的部署记录
- 实习日志(总结一些前端知识)
热门文章
- EasyMesh_Specification_v4中英文
- 【安全】Shellshock漏洞
- kaggle自动驾驶竞赛铜牌总结:Peking University/Baidu - Autonomous Driving—(Part 1)
- abp过滤规则android,ABP的数据过滤器(Data Filters)
- 黑马程序员C++ 第二阶段 核心程序
- 推荐几个中文在线音乐网站
- 如何找回Nessus密码?
- 有趣的程序代码c语言,一个有趣的小程序
- 图像恢复系列之(6)超分(7)反光去除(8)光斑去除 (9)阴影去除(10)水下图像失真去除 | ICCV2021生成对抗GAN...
- 手把手教你用Unet实现语义分割(Pytorch版)