Storm DRPC环境搭建笔记

By Mickey.Pro

1、安装系统

CentOS 6.3 64bit minimal

http://www.osyunwei.com/archives/4753.html

2、关闭防火墙

查看防火墙规则

iptables -L

删除防火墙全部规则

iptables -F

关闭防火墙

chkconfig iptables off

chkconfig ip6tables off

防火墙-重启后永久性生效：

开启：chkconfigiptables on

关闭：chkconfigiptables off

防火墙-即时生效，重启后失效：

开启：serviceiptables start

关闭：service iptables stop

查看selinux安全系统是否关闭

vi /etc/sysconfig/selinux

查看（SELINUX=disabled是关闭 SELINUX=enforcing是执行）

3、编辑IP地址

编辑网卡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

eg:

DEVICE="eth0"

ONBOOT="yes"

TYPE=Ethernet

BOOTPROTO=static (或dhcp)

IPV4_FAILURE_FATAL=yes

IPADDR=192.168.226.101

NETMASK=255.255.255.0

GATEWAY=192.168.226.2

(HWADDR=00:0C:29:66:18:D7)

编辑主机名、网关

vi /etc/sysconfig/network

GATEWAY=192.168.1.1 (如果没有GATEWAY手动添加一行)

eg:

NETWORKING=yes

HOSTNAME=west13329

GATEWAY=192.168.56.1

编辑DNS

vi /etc/resolv.conf

谷歌公共DNS: nameserver8.8.8.8

可设多个，eg:

nameserver 192.168.226.2

nameserver 8.8.8.8

重启网卡

service network restart(或 /etc/init.d/network restart)

4、修改主机名

修改主机名（临时修改，重启失效）

hostname your-hostname

uname -n （查看主机名）

修改主机名称（永久修改）

vi /etc/sysconfig/network （修改HOSTNAME=你的主机名,eg: HOSTNAME=host001）

vi /etc/hosts （修改127.0.0.1 你的主机名）

reboot

5、上传软件包

jdk-6u45-linux-x64-rpm.bin

Python-2.7.6.tgz

zookeeper-3.4.5.tar.gz

storm-0.9.0.1.tar.gz

zeromq-2.1.7.tar.gz

jzmq-master.zip

6、安装JDK

安装JDK

chmod 777 jdk-6u45-linux-x64-rpm.bin

./jdk-6u45-linux-x64-rpm.bin

（默认安装路径应该是/usr/java/jdk1.6.0_45）

配置JDK

vim /etc/profile

在尾部添加：

export JAVA_HOME=/usr/java/jdk1.6.0_45/

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

使配置生效

source /etc/profile

测试安装的java

java -version

删除JDK安装包

rm –rf sun*.rpm

7、安装Python

查看python版本(默认安装，则不需要安装了)

python –V

安装

tar -zxvf Python-2.7.6.tgz

cd Python-2.7.6

./configure

make

make install

如果没有gcc请安装编译器（没编译器报错：configure:error: no acceptable C compiler found in $PATH）

yuminstall -y gcc

修改链接使用新版本

mv /usr/bin/python /usr/bin/python2.6.6
ln -s /usr/local/bin/python2.7 /usr/bin/python

8、安装Zookeeper

解压缩

tar -zxvf zookeeper-3.4.5.tar.gz

编辑配置文件

cd /home/zookeeper-3.4.5/conf

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

tickTime=2000

initLimit=5

syncLimit=2

dataDir=/home/data/zookeeper/

clientPort=2181

server.2=192.168.226.102:2888:3888

server.3=192.168.226.103:2888:3888

server.4=192.168.226.104:2888:3888

server.5=192.168.226.105:2888:3888

在配置文件中dataDir目录下创建myid，文件内容为server.2中的编号2

mkdir -p /home/data/zookeeper

cd /home/data/zookeeper

echo “2” > myid

启动Zookeeper服务

cd /home/zookeeper-3.4.5/bin

./zkServer.sh start （停止 ./zkServer.sh stop）

查看服务是否运行

jps （显示java进程QuorumPeerMain）

通过Zookeeper客户端测试服务是否可用

cd /home/zookeeper-3.4.5/bin

./zkCli.sh -server 127.0.0.1:2181

9、安装Storm

解压缩

tar -zxvf storm-0.9.0.1.tar.gz

编辑配置文件

vi /home/storm-0.9.0.1/conf/storm.yaml

storm.zookeeper.servers:

- "192.168.226.102"

- "192.168.226.103"

- "192.168.226.104"

- "192.168.226.105"

storm.local.dir:"/home/data/storm/workdir"

nimbus.host: "192.168.226.102"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

drpc.servers:

- "192.168.226.101"

nimbus.childopts: -Xmx256m

worker.childopts: -Xmx100m

supervisor.childopts: -Xmx256m

drpc.childopts: -Xmx256m

创建工作和输出目录并赋予权限

mkdir -p /home/data/storm/workdir

mkdir -p /home/data/storm/out

chmod -R 777 /home/data/storm/

启动服务

cd /home/storm-0.9.0.1/bin

./storm nimbus > /home/data/storm/out/nimbus.out2>&1 &

./storm supervisor > /home/data/storm/out/supervisor.out2>&1 &

./storm ui > /home/data/storm/out/ui.out2>&1 &

./storm logviewer > /home/data/storm/out/logviewer.out2>&1 &

./storm drpc > /home/data/storm/out/drpc.out2>&1 &

查看后台服务

jobs

查看JAVA进程

jps

调回前台运行(2为进程ID)

fg 2

调回后台运行(2为进程ID)

bg 2 或 ctr+z 或在命令后加 &

查看UI的WEB页面(Storm UI必须和Storm Nimbus同一台机器上,否则UI无法正常工作)

http://192.168.226.102:8080

日志文件目录

/home/storm-0.9.0.1/logs

10、安装Zeromq/Jzmq

依赖包安装

yum -y install libtool

yum -y install gcc-c++

yum -y install uuid-devel

yum -y install libuuid-devel

yum -y install make

安装zeromq

tar –xvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./autogen.sh

./configure

make

make install

安装jzmq

unzip jzmq-master.zip

cd jzmq-master

./autogen.sh

./configure

make

make install

11、拷贝到其他服务器

如果没有scp命令请先安装（注：发送和接收主机都需要安装）

yum -y install openssh-clients

cd /home

scp -r zookeeper-3.4.5 192.168.226.102:/home

scp -r storm-0.9.0.1 192.168.226.102:/home

scp -r data 192.168.226.102:/home

scp jdk-6u45-linux-x64-rpm.bin 192.168.226.102:/home

scp zeromq-2.1.7.tar.gz 192.168.226.102:/home

scp jzmq-master.zip 192.168.226.102:/home

12、DPRC各个服务器配置

端口可以不用配置，默认是：3772

vim /home/storm-0.9.0.1/conf/storm.yaml

Nimbus节点的配置：

storm.zookeeper.servers:

- "192.168.226.102"

- "192.168.226.103"

- "192.168.226.104"

- "192.168.226.105"

drpc.servers:

- "192.168.226.101"

Supervisor节点的配置：

storm.zookeeper.servers:

- "192.168.226.102"

- "192.168.226.103"

- "192.168.226.104"

- "192.168.226.105"

nimbus.host:"192.168.226.102"

drpc.servers:

- "192.168.226.101"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

Drpc服务器节点配置:

storm.zookeeper.servers:

- "192.168.226.102"

- "192.168.226.103"

- "192.168.226.104"

- "192.168.226.105"

启动drpc服务：./stormdrpc

13、运行

运行Topplogy

storm jar wordcount.jar com.test.storm.TopologyMain

客户端调用

DRPCClient client = newDRPCClient("10.100.211.232", 3772);

String result =client.execute("exclamation","test");

14、常见错误及注意事项

克隆linux时网卡无法启动报错：Device eth0 doesnot seem to be present,delaying initialization.

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ifcfg-eth0的配置文件里保存了以前的MAC地址，就把这一行删除掉在重启网卡

rm -rf/etc/udev/rules.d/70-persistent-net.rules 删除后重启机器

reboot

注意事项1

在用虚拟机测试环境内存比较小建议将workers和task数据设置为1测试

conf.setNumWorkers(1);

addBolt(xx,1);//addBolt(IBasicBolt bolt, Numberparallelism)

注意事项2

storm.yaml配置文件每一行前最好就一个空格

Storm DRPC环境搭建笔记相关推荐

《Node.js入门》Windows 7下Node.js Web开发环境搭建笔记
最近想尝试一下在IBM Bluemix上使用Node.js创建Web应用程序,所以需要在本地搭建Node.js Web的开发测试环境. 这里讲的是Windows下的搭建方法,使用CentOS 的小伙伴 ...
[云炬python3玩转机器学习笔记] 2-7开发环境搭建笔记
开发环境搭建笔记
Samba平台搭建和用户自行修改密码环境搭建笔记
Samba 平台搭建和用户自行修改密码环境搭建笔记系统:CentOS release 6.5 (Final)x86_64 软件: samba #服务端 sam ...
简单易行的用windows系统虚拟苹果mac操作系统 mac下android环境搭建笔记(android studio)
作者:韩梦飞沙 QQ:313134555 ios模拟器电脑版中文版(iPadian)下载 - 『精品软件区』 - 吾爱破解论坛 - LCG - LSG |安卓破解|病毒分析|破解软件|www.52po ...
记一次docker环境搭建笔记
记一次docker环境搭建笔记 1.docker安装 2.docker卸载 3.docker镜像制作使用 4.docker其他操作命令补充 1.docker安装 1-1.查看当前的系统的版本(确认下支 ...
阿里云服务器搭建python web环境_《Python入门》Linux 下 Python Web开发环境搭建笔记-阿里云开发者社区...
之前写过 Windows 7下Python Web开发环境搭建笔记,今天写一下在Linux系统下搭建Python Web的开发测试环境. 我使用的系统是:ubuntu 14.04 server,根据个 ...
Python入门 Linux 下 Python Web开发环境搭建笔记
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 之前写过 ...
《Python入门》Linux 下 Python Web开发环境搭建笔记
之前写过 Windows 7下Python Web开发环境搭建笔记,今天写一下在Linux系统下搭建Python Web的开发测试环境. 我使用的系统是:ubuntu 14.04 server,Cen ...
Win10开发环境搭建笔记（过审阉割版）
Win10开发环境搭建笔记文章目录 Win10开发环境搭建笔记系统配置: 熄屏与睡眠手动安装 360安全卫士 - 360软件管家激活软件(阉割) 上网软件(阉割) Xshell7 & ...

Storm DRPC环境搭建笔记

1、安装系统

2、关闭防火墙

3、编辑IP地址

4、修改主机名

5、上传软件包

6、安装JDK

7、安装Python

8、安装Zookeeper

9、安装Storm

10、安装Zeromq/Jzmq

11、拷贝到其他服务器

12、DPRC各个服务器配置

13、运行

14、常见错误及注意事项

Storm DRPC环境搭建笔记相关推荐

最新文章

热门文章

Storm DRPC环境搭建笔记

1、 安装系统

2、关闭防火墙

3、编辑IP地址

4、修改主机名

5、上传软件包

6、安装JDK

7、安装Python

8、安装Zookeeper

9、安装Storm

10、安装Zeromq/Jzmq

11、拷贝到其他服务器

12、DPRC各个服务器配置

13、运行

14、常见错误及注意事项

Storm DRPC环境搭建笔记相关推荐

最新文章

热门文章

1、安装系统