Storm入门之附录A
本文翻译自《Getting Started With Storm》译者:吴京润 编辑:郭蕾 方腾飞
安装Storm客户端
Storm客户端能让我们使用命令管理集群中的拓扑。按照以下步骤安装Storm客户端:
- 从Storm站点下载最新的稳定版本(https://github.com/nathanmarz/storm/downloads)当前最新版本是storm-0.8.1。(译者注:原文是storm-0.6.2,不过翻译的时候已经是storm-0.8.1了)
- 把下载的文件解压缩到/usr/local/bin/storm的Storm共享目录。
- 把Storm目录加入PATH环境变量,这样就不用每次都输入全路径执行Storm了。如果我们使用了/usr/local/bin/storm,执行export PATH=$PATH:/usr/local/bin/storm。
- 最后,创建Storm本地配置文件:~/.storm/storm.yaml,在配置文件中按如下格式加入nimbus主机:
nimbus.host:"我们的nimbus主机"
现在,你可以管理你的Storm集群中的拓扑了。
NOTE:Storm客户端包含运行一个Storm集群所需的所有Storm命令,但是要运行它你需要安装一些其它的工具并做一些配置。详见附录B。
有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。
jar命令负责把拓扑提交到集群,并执行它,通过StormSubmitter执行主类。
1
|
storm jar path-to-topology-jar class-with-the-main arg1 arg2 argN
|
path-to-topology-jar是拓扑jar文件的全路径,它包含拓扑代码和依赖的库。 class-with-the-main是包含main方法的类,这个类将由StormSubmitter执行,其余的参数作为main方法的参数。
我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。
停用拓扑:
1
|
storm deactivte topology-name
|
启动一个停用的拓扑:
1
|
storm activate topology-name
|
销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
杀死一个拓扑:
1
|
storm kill topology-name
|
NOTE:执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间。
再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。
再平衡拓扑:
1
|
storm rebalance topology-name
|
NOTE:执行不带参数的Storm客户端可以列出所有的Storm命令。完整的命令描述请见:https://github.com/nathanmarz/storm/wiki/Command-line-client。
原创文章,转载请注明: 转载自并发编程网 – ifeve.com
Storm入门之附录A相关推荐
- 《Storm入门》中文版
本文翻译自<Getting Started With Storm>译者:吴京润 编辑:郭蕾 方腾飞 本书的译文仅限于学习和研究之用,没有原作者和译者的授权不能用于商业用途. 译者序 ...
- Storm入门之第一章
原书下载地址 译者:吴京润 编辑:方腾飞 译者注:本文翻译自<Getting Started With Storm>,本书中所有Storm相关术语都用斜体英文表示. 这些术语的字面意义 ...
- Storm入门-Storm与Spark对比
作为一名程序员通病就是不安分,对业界的技术总要折腾一番,哪怕在最终实际工作中应用到的就那么一点.最近自己准备入门Storm学习,关于流式大数据框架目前比较流行的有Spark和Storm等,在入门之前, ...
- Storm入门与实践(3)通过WordCount展开Storm的编程之旅
介绍 貌似WordCount已经成了大数据,分布式计算的入门标配程序,其实仔细想一下WordCount的例子,它还有很用应用的场景,例如统计过去一段时间网站中各个商品的浏览量,最近一段时间相同查询的数 ...
- storm入门教程 第一章 前言[转]
1.1 实时流计算 互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率.正因为大家对信息实时响应.实时交互的需求,软件行业除了个人操作系统之外,数据库 ...
- Storm入门(九)Storm常见模式之流聚合
流聚合(stream join)是指将具有共同元组(tuple)字段的数据流(两个或者多个)聚合形成一个新的数据流的过程. 从定义上看,流聚合和SQL中表的聚合(table join)很像,但是二者有 ...
- Storm入门(一)原理介绍
问题导读: 1.hadoop有master与slave,Storm与之对应的节点是什么? 2.Storm控制节点上面运行一个后台程序被称之为什么? 3.Supervisor的作用是什么? 4.Topo ...
- storm入门——本地模式helloworld
创建maven项目,在pom.xml中加入以下配置: <dependency><groupId>org.apache.storm</groupId><arti ...
- Storm入门教程 Storm安装部署步骤
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以"注意事项"的形式给出. 3.1 St ...
最新文章
- tensorflow基础-placeholder
- JavaScript优化基本篇
- 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门](4)
- Halcon|读取3D相机点云数据
- 第四范式:现代存储架构下的系统优化实践
- openstack Nova日志相关
- MySQL之View(视图)
- mysql 大量数据 更改索引_一文看懂ICP原理--MySQL用索引去表里取数据的一种优化...
- 内核网络输出帧的处理
- Mybatis体系结构及工作流程
- 企业级应用与互联网应用的区别?
- PostgreSQL 9.6.6启动
- window location href 手机端无法跳转_JavaScriptBOM__History_location(二十)
- Exchange2003部署与管理体系结构
- java 转义工具_Java字符转换转义的工具类
- kindle我的剪帖文件整理脚本
- PYNQ在PS端进行图片缩放
- WordPress使用邮箱服务功能
- 服务端判断客户端是移动端浏览器还是PC端浏览器
- 华硕天选一代无线网卡断网