戳蓝字“CSDN云计算”关注我们哦!

归于Apache社区,Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍。而目前已是分布式技术领域最新爆发点,Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答!

1

Q:task与executor有什么关系?

A:在我们安装配置Storm的时候,不知大家是否主要到了一个问题,就是我们在配置的时候会加几个worker的端口(supervisor.slots.ports:),比如众多文档中提到的6700/6701等等类似的东西。没错,这就是我们定义了该supervisor最多的worker数,worker中执行一个bolt或者spout线程,我们就称之为task,而executor是物理上的线程概念,我们可以将其称为执行线程;而task更多是逻辑概念上的,有时候bolt与spout的task会共用一个executor,特别是在系统负荷比较高的时候。

2

Q:storm与Hadoop区别?

A:storm用于实时计算,hadoop用于离线计算

storm处理的数据保存在内存中,源源不断;hadoop处理的数据保存在文件系统中,一批一批

storm的数据通过网络传输进来的;hadoop的数据保存在磁盘中

storm与hadoop的编程模型相似:

3

Q:Storm的Spout组件中的ack及fail是一个什么样的机制呢?

      A:Storm保证每一个数据都得到有效处理,这是如何保证的呢?正是ack及fail机制确保数据都得到处理的保证,但是storm只是提供给我们一个接口,而具体的方法得由我们自己来实现。例如在spout下一个拓扑节点的bolt上,我们定义某种情况下为数据处理失败,则调用fail,则我们可以在fail方法中进行数据重发,这样就保证了数据都得到了处理。其实,通过读storm的源码,里面有讲到,有些类(BaseBasicBolt?)是会自动调用ack和fail的,不需要我们程序员去ack和fail,但是其他Bolt就没有这种功能了。

4

Q:IRichBolt与IBasicBolt接口有什么区别?

A:首先从类的组成上进行分析可以看到,IBasicBolt接口只有execute方法和declareOutputFields方法,而IRichBolt接口上除了以上几个方法还有prepare方法和cleanup及map方法。而且其中execute方法是有些不一样的,其参数列表不同。

总体来说Rich方法比较完善,我们可以使用prepare方法进行该Bolt类的初始化工作,例如我们链接数据库时,需要进行一次数据库连接操作,我们就可以把该操作放入prepare中,只需要执行一次就可以了。而cleanup方法能在该类调用结束时进行收尾工作,往往在处理数据的时候用到,例如在写hdfs(hadoop的文件系统)数据的时候,在结束时需要进行数据clear,则需要进行数据收尾。当然,根据官网及实际的测验,该方法往往是执行失败的。

5

Q:发布topologies 到远程集群时,出现Nimbus host is not set 异常,请问是什么问题?

     A:原因是Nimbus 没有被正确启动起来,可能是storm.yaml 文件没有配置,或者配置有问题。解决方法是:打开storm.yaml 文件正确配置:nimbus.host: "xxx.xxx.xxx.xxx",重启nimbus后台程序即可。

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~

福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!

推荐阅读:

  • 上万条数据撕开微博热搜的真相!

  • IT公司老板落水,各部门员工怎么救??

  • HTML 30 年进化史

  • 读了鸿蒙 OS 的代码后,我发现优秀项目都有这个共性!

  • 字节跳动李航:自学机器学习,研究AI三十载,他说AI发展或进入平缓期

  • 主链增幅最高飚至 152%,主流币却惊现回落;以太坊发币速度持续放缓

真香,朕在看了!

Storm精华问答 | storm与Hadoop有什么区别?相关推荐

  1. Storm精华问答 | storm与Hadoop区别?

    戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...

  2. Spark精华问答 | Spark和Hadoop的架构区别解读

    总的来说,Spark采用更先进的架构,使得灵活性.易用性.性能等方面都比Hadoop更有优势,有取代Hadoop的趋势,但其稳定性有待进一步提高.我总结,具体表现在如下几个方面. 1 Q:Spark和 ...

  3. Storm精华问答 | Storm如何连接MySQL?

    Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,大数据实时处理解决方案的应用日趋广泛,目前已 ...

  4. Storm精华问答 | Storm的配置需要注意什么问题?

    戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...

  5. Storm精华问答 | 如何处理常见故障?

    Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧. 1 Q:发布topology到远程 ...

  6. Storm精华问答 | task与executor有什么关系?

    戳蓝字"CSDN云计算"关注我们哦! 归于Apache社区,Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍.而目前已是分 ...

  7. Storm精华问答 | 最火的流式处理框架——Storm

    戳蓝字"CSDN云计算"关注我们哦! Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.  今天就为大家带来Storm诞生到发展再到实践,赶快 ...

  8. Storm精华问答 | 为什么要用Storm?不用Spark?

    戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...

  9. Storm精华问答 | 如何理解spout/bolt的生命周期?

    戳蓝字"CSDN云计算"关注我们哦! Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高 ...

最新文章

  1. hangfire 过期记录_时隔数月后我又有减肥的想法(饮食日记录)
  2. 十年磨一剑!程序员老兵成新将
  3. Eclipse 设置
  4. Tomcat容器、JSP和Servlet
  5. unity 调用 .dll 或 .so时遇到的问题
  6. win7电脑蓝屏没有修复计算机,教你win7开机蓝屏怎么修复
  7. CentOS7.4安装nginx和php5.40
  8. label包裹input,点击label响应两次解决方法
  9. MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key
  10. 用信号量实现进程互斥、同步、前驱关系
  11. 软件绿色联盟开发者大会惊喜不断,今日还有重磅议程!
  12. 怎样阻止电脑开机自动安装大量垃圾软件
  13. 专升本计算机专业是理工类吗,理工类专接本有些专业
  14. SLAM:无人系统和增强现实overview
  15. 最长上升子序列(LIS)和最长公共子序列(LCS) 模板
  16. iOS NSURLSession
  17. Mesos和Marathon下容器无法正常部署可能的原因
  18. [Transformer]SPViT:Pruning Self-attentions into Convolutional Layers in Single Path
  19. c语言 计时 毫秒,c如何获取精确到毫秒的时间
  20. vlog短视频_适用于Vlog或视频网络的20+ WordPress主题

热门文章

  1. java jlist checkbox_JCheckBox检查Java中的JList中的切换逻辑时遇到问题
  2. 不足补0 java_Java Android 开发数字不足位数前面补0
  3. 的使用go_使用 Go 开发 Prometheus Exporter
  4. 调用kmeans_聚类分析—KMeans
  5. 开展批评时的方式与态度
  6. 屠呦呦入选《时代周刊》100位最具影响力女性人物榜
  7. 高数公式大整理 ,伸手党进来——麻麻再也不怕我挂高树了
  8. mongodb 监控权限_MongoDB - 监控
  9. perror()与strerror()的应用及区别 man手册查询
  10. 【使用注意】Jsoup的select方法