storm UI解释

@(STORM)[storm]

1、关于emit与transfer

(转自http://www.reader8.cn/jiaocheng/20120801/2057699.html）storm ui上emit和transferred的区别

最开始对storm ui上展示出来的emit和transferred数量不是很明白, 于是在storm-user上google了一把, 发现有人也有跟我一样的困惑, nathan做了详细的回答:
emitted栏显示的数字表示的是调用OutputCollector的emit方法的次数.
transferred栏显示的数字表示的是实际tuple发送到下一个task的计数.
如果一个bolt A使用all group的方式(每一个bolt都要接收到)向bolt B发射tuple, 此时bolt B启动了5个task, 那么trasferred显示的数量将是emitted的5倍.
如果一个bolt A内部执行了emit操作, 但是没有指定tuple的接受者, 那么transferred将为0.

这里还有关于spout, bolt之间的emitted数量的关系讨论, 也解释了我的一些疑惑:
有的bolt的execture方法中并没有emit tuple, 但是storm ui中依然有显示emitted, 主要是因为它调用了ack方法, 而该方法将emit ack tuple到系统默认的acker bolt. 因此如果anchor方式emit一个tuple, emitted一般会包含向acker bolt发射tuple的数量.

另外collector.emit(new Values(xxx))和collector.emit(tuple, new Values(xxx)) 这两种不同的emit方法也会影响后面bolt的emitted和transferred, 如果是前者, 则后续bolt的这两个值都是0, 因为前一个emit方法是非安全的, 不再使用acker来进行校验.

2、Execute letancy

每个tuple在执行execute方法的平均时长。

3、Process latency

一个tuple从收到到ack的时长。

4、Capacity

如果这个值越接近1，表示一直在调用execute方法，即并行度不足。

storm UI解释相关推荐

屏蔽storm ui的kill功能
今天有个storm的topology被人kill掉了,但是找不到是谁做的,storm的ui有kill topology的功能,但是没有权限验证,这样就导致知道ui地址的任何人都可以kill掉topol ...
访问Storm ui界面，出现Nimbus Summary或Supervisor Summary时有时无的问题解决（图文详解）...
不多说,直接上干货! 前期博客 apache-storm-0.9.6.tar.gz的集群搭建(3节点)(图文详解) apache-storm-1.0.2.tar.gz的集群搭建(3节点)(图文详解)( ...
Storm【配置项】 - 详细解释
2019独角兽企业重金招聘Python工程师标准>>> 配置项配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper ...
Apache Storm 官方文档 —— 消息的可靠性保障
原文链接译者:魏勇 Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理.本文详细解释了 Storm 如何实现这种保障机制,以及作为用户如何使用好 Storm 的可靠性机制 ...
storm源码之storm代码结构【译】
说明:本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase,希望对正在基于Storm进行源码级学习和研究的朋友有所帮助 ...
一脸懵逼学习Storm的搭建--（一个开源的分布式实时计算系统）
Storm的官方网址:http://storm.apache.org/index.html 1:集群部署的基本流程(基本套路):集群部署的流程:下载安装包.解压安装包.修改配置文件.分发安装包.启动集 ...
storm 简介及单机版安装指南
2019独角兽企业重金招聘Python工程师标准>>> 转载:http://www.open-open.com/lib/view/open1374979211233.html 本文翻 ...
storm集群操作指南
storm集群操作指南 @(STORM)[storm, 大数据] storm集群操作指南一storm伪分布式安装一环境准备二安装zookeeper 三安装storm 四运行程序二storm集群 ...
Storm概念学习系列之Topology拓扑
不多说,直接上干货! Hadoop 上运行的是 MapReduce 作业,而在 Storm 上运行的是拓扑 Topology,这两者之间是非常不同的.一个关键的区别是:一个MapReduce 作业 ...

storm UI解释

storm UI解释

1、关于emit与transfer

2、Execute letancy

3、Process latency

4、Capacity

storm UI解释相关推荐

最新文章

热门文章