storm安装笔记以及提交拓扑任务

Storm -- Distributed and fault-tolerant realtime computation

这是一个分布式的、容错的实时计算系统

把Storm依赖组件的版本贴出来供各位参考：

java(1.7.0_45)

python(2.6.6)

zookeeper (zookeeper-3.4.5)

zeromq(zeromq-2.1.7)

jzmq(github trunk)

storm(0.8.1)

java和Python的安装过程不赘述了，说下其他组件的安装过程

安装zookeeper

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar xvf zookeeper-3.4.5.tar.gzcd zookeeper-3.4.5cp conf/zoo_sample.cfg conf/zoo.cfg

设置下环境变量

export ZOOKEEPER_HOME=/root/zookeeper/zookeeper-3.4.5
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

然后就可以启动zookeeper了

zkServer.sh start

可以运行下zkCli.sh，测试下zookeeper是否可用

安装zeromq(安装好后/usr/local/lib下会有相应的库文件)

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar xvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
yum install -y gcc gcc-c++.x86_64 uuid-devel.x86_64 libuuid-devel.x86_64
./configure
make
make install

安装jzmq

git clone https://github.com/nathanmarz/jzmq.git
./autogen.sh
./configure
make
make install

开始安装storm

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
unzip storm-0.8.1.zip
cd storm-0.8.1

修改conf/storm.yaml如下

 storm.zookeeper.servers:- "127.0.0.1"nimbus.host: "192.168.24.57"storm.local.dir: "/root/storm/workdir"java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib"topology.debug: "true"

然后将storm/bin加入环境变量

export STORM_HOME=/root/storm/storm-0.8.1
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$PATH

启动storm

storm nimbus &
storm supervisor &
storm ui &

jps可以看到如下进程，而且日志也没有报错。基本上就ok了，可以提交任务在storm环境中跑了

14157 core
14106 QuorumPeerMain
30978 Jps
14144 supervisor
13995 nimbus

提交拓扑的代码

storm jar stormDemo.jar com.storm.example.SimpleTopology testhui3

杀死拓扑

storm kill testhui3

默认8080端口提供了一个ui dashboard

enjoy~

转载于:https://www.cnblogs.com/yanghuahui/p/3489668.html

storm安装笔记以及提交拓扑任务相关推荐

Storm入门教程 Storm安装部署步骤
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以"注意事项"的形式给出. 3.1 St ...
Storm概念学习系列之Topology拓扑
不多说,直接上干货! Hadoop 上运行的是 MapReduce 作业,而在 Storm 上运行的是拓扑 Topology,这两者之间是非常不同的.一个关键的区别是:一个MapReduce 作业 ...
简述C#中IO的应用 RabbitMQ安装笔记一次线上问题引发的对于C#中相等判断的思考 ef和mysql使用（一） ASP.NET/MVC/Core的HTTP请求流程...
简述C#中IO的应用在．NET Framework 中． System.IO 命名空间主要包含基于文件(和基于内存)的输入输出(I/O)服务的相关基础类库．和其他命名空间一样． System.IO ...
linux gcc 6源码安装教程,CentOS 6.5下源码安装GCC-4.8.2安装笔记整理
经历了两天的虐心,写了两篇不敢发表的gcc4.8.2安装笔记,终于成功用源码安装最新的gcc-4.8.2,虽然最初只是为了试一试c++11的几个性能,但是后来不断遇到的问题和搜索中发现的这些问题在大家 ...
witter Storm 安装实战
实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错.周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测 ...
apache storm视频_Apache Storm安装
Apache Storm安装 ps:mac上有点问题,抽时间看一下单机版安装过程. 现在,让我们来看看如何在你的机器上安装Apache Storm框架.这里有三个步骤 -在系统上安装Java,如果你 ...
【docker安装笔记】
docker安装笔记一.前期准备 1.准备3台虚拟机 2.更改hosts和hostname 3.检查linux的内核 4.非root安装时修改 /etc/sudoers 5.阿里云yum源二.安装 ...
laravel安装笔记 (转)
一.安装composer 安装之前将\php\php.ini文件中的php_openssl.dll扩展库开启,否则composer在安装过程中会出现错误提示. (我在安装过程中发现apache目录下的 ...
前端开发学习笔记 - 1. Node.JS安装笔记
Node.JS安装笔记 Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine. Node.js uses an ...

storm安装笔记以及提交拓扑任务

storm安装笔记以及提交拓扑任务相关推荐

最新文章

热门文章