storm0.9.0.1安装

storm 0.9.x的好处是引入了netty进行网络传输（需要配置），不用再依赖zeromq和jzmq了

1.下载安装zookeeper

...

2.下载安装storm依赖库

JDK1.6及以上

...

python2.6.6及以上

...

3.下载storm

配置con/storm.yaml

storm.zookeeper.servers:
- "master"
- "slave1"
storm.zookeeper.port: 2181
storm.local.dir: "/data/storm-0.9.0.1/data"
nimbus.host: "master"
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads: 1
storm.messaging.netty.client_worker_threads: 1
storm.messaging.netty.buffer_size: 5242880
storm.messaging.netty.max_retries: 100
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100supervisor.childopts: "-Xms1024m -Xmx1024m"
worker.childopts: "-Xms1024m -Xmx2048m"
nimbus.childopts: "-Xms1024m -Xmx1024m"

4，启动

bin/storm nimbus
bin/storm supervisor
bin/storm ui

5.测试

storm任务的启动

bin/storm jar xxx/xxxx.jar org.admln.xxx.xxxTopology nimbushost

最后一个参数是指定nimbus的主机地址，如果是本地测试运行，则不需要传
storm任务的销毁

执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间

bin/storm kill topology-name

拓扑的停止

storm deactivte topology-name

停止的拓扑的启动

storm activate topology-name

再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。
再平衡拓扑：

storm rebalance topology-name

storm后台进程的停止

kill -9 xxx

-_-!

如果要更新一个任务的话现在唯一的办法就是先把它杀掉，然后重新添加改后的

未来storm打算使用storm swap命令来更新任务

任务的监控就是常见的UI和日志两方面了

storm的配置有系统配置和组件配置两个层面

1.系统配置就是conf/storm.yaml里面的配置

2.组件配置就是给特定的Topology特定的配置，只对此Topology有效

topology的特定配置可以通过

"topology.debug"
"topology.max.spout.pending"
"topology.max.task.parallelism"

这样的行为指定，必须以topology开头

spout和bolt的内部配置可以通过重写getComponentConfiguration方法来指定或者在topologyBuilder的setSpout和setBolt方法的后面加上addConfiguration 或者 addConfigurations方法

转载于:https://www.cnblogs.com/admln/p/storm-install.html

storm0.9.0.1安装相关推荐

【Linux】在VirtualBox-6.0中安装Manjaro18.0
1.参考博客: VMware虚拟机下Manjaro17.1.6安装详细教程 2.在VirtualBox-6.0中安装Manjaro18.0 1)基本步骤和博客中安装17.1.6相同,下面只记录不同的. ...
windows 检查cuda安装_Windows环境CUDA 4.0：安装与验证
[IT168专稿]在之前的文章中,介绍了<Windows环境CUDA 4.0:安装前的准备>,本文介绍CUDA 4.0的安装与验证过程. 安装CUDA软件安装CUDA软件需要以下步骤: ...
Anaconda 环境下 R 包 ggraph_1.0.2 安装小记
由于微信不允许外部链接,你需要点击文章尾部左下角的 "阅读原文",才能访问文中链接. 记录一下今天在 Anaconda3 环境下 R==3.4.3 中安装 ggraph 的一些问题 ...
windows10下 tensorflow2.0 gpu 安装
windows10下 tensorflow2.0 gpu 安装安装显卡驱动. 确定python.cuda和cudnn对应的版本安装cuda 安装cudnn 查看tensorflow的版本 impo ...
mysql8.0卸载出现问题,Windows环境下MySQL 8.0 的安装、配置与卸载
软件版本 Windows:Windows10 MySQL:mysql-8.0.17-winx64.zip 安装步骤 1.配置环境变量 2.新建my.ini文件文件位置:C:\Program File ...
VUE3.0 一.安装node.js、vue3.0脚手架
VUE3.0 一.安装node.js.vue3.0脚手架 1.安装nodejs 首先去官网下载nodejs 查看npm和node版本,出现版本号即安装成功. npm -v # 6.13.4node - ...
PHP5+apache_2.0.50+MySQL4.0+SQLServer安装方法
PHP5+apache_2.0.50+MySQL4.0+SQLServer安装方法 ①安装PHP5 1.解压php-5.0.0-Win32.zip到C:\PHP,重命名php.ini-dist为php ...
CentOs 6.0 下安装cacti的syslog插件
CentOs 6.0 下安装cacti的syslog插件一.软件环境: OS:CentOS 6.0 x86_64 rsyslog rsyslog-mysql syslog-v1.22-2.tgz 监 ...
oracle数据库gold,Oracle数据库之Oracle GoldenGate 12.2.0.1 安装、升级和删除
本文主要向大家介绍了Oracle数据库之Oracle GoldenGate 12.2.0.1 安装.升级和删除,通过具体的内容向大家展现,希望对大家学习Oracle数据库有所帮助. 1.准备工作选择 ...

storm0.9.0.1安装

storm0.9.0.1安装相关推荐

最新文章

热门文章