Storm集群安装Version1.0.1
Storm集群安装,基于版本1.0.1,
使用apache-storm-1.0.1.tar.gz安装包。
1.安装规划
角色规划 | IP/机器名 | 安装软件 | 运行进程 |
---|---|---|---|
nimbus | zdh-237 | storm | core,nimbus |
supervisor | zdh-238 | storm | supervisor,worker,LogWriter |
supervisor | zdh-239 | storm | supervisor,worker,LogWriter |
2.安装用户
storm/zdh1234
useradd -g hadoop -s /bin/bash -md /home/storm storm
3.安装依赖
1.JDK
2.Python
3.Zookeeper
4.主机名配置
vi /etc/hosts
10.43.159.237 zdh-237
10.43.159.238 zdh-238
10.43.159.239 zdh-239
5.JDK安装
可以使用root用户安装的公共jdk,要求JDK 6+,
为Storm用户下配置jdk环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
6.Python安装
确定系统自带的Python版本,如果是2.6.6+可以不用再安装。
python -V
7.Zookeeper安装
请参考Zookeeper集群安装
这里使用的Zookeeper集群信息:
zdh-237,zdh-238,zdh-239
服务端口为默认的2181。
8.Storm安装
请自行从官网获取安装包:
apache-storm-1.0.1.tar.gz
将安装包拷贝到zdh-237的storm用户下
scp root@10.43.159.41:/home/ling/storm/apache-storm-1.0.1.tar.gz .
解压安装包:
tar -zxvf apache-storm-1.0.1.tar.gz
配置环境变量:
export STORM_HOME=/home/storm/apache-storm-1.0.1
export PATH=$PATH:$STORM_HOME/bin
创建本地数据存放的目录:
mkdir /home/storm/apache-storm-1.0.1/data
9.修改storm.yaml文件
vi conf/storm.yaml
storm.zookeeper.servers:- "zdh-237"- "zdh-238"- "zdh-239"
storm.zookeeper.port: 2181
storm.local.dir: "/home/storm/apache-storm-1.0.1/data"
nimbus.seeds: ["zdh-237", "zdh-238", "zdh-239"]
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
10.拷贝Storm到集群其他机器
zdh-237的stom复制到zdh-238,zdh-239节点的storm用户下:
scp -r storm@zdh-237:/home/storm/apache-storm-1.0.1 .
或者仅仅拷贝配置文件
scp storm@zdh-237:/home/storm/apache-storm-1.0.1/conf/storm.yaml .
11.启动Storm
启动之前请确保ZooKeeper已正常启动
11.1.nimbus节点启动(无日志)
bin/storm nimbus >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &
supervisor节点启动:
bin/storm supervisor >/dev/null 2>&1 &
11.2.nimbus节点启动(保存日志):
storm nimbus >nimbusInit.log 2>&1 &
storm ui >uiCoreInit.log 2>&1 &
supervisor节点启动:
storm supervisor > superInit.log 2>&1 &
11.3.Storm启动后相关进程
nimbus启动后相应会产生如下进程:
core(对应Storm UI)
nimbus
supervisor启动后相应会产生如下进程:
supervisor
提交storm任务后还会生成:
worker,LogWriter
11.4.Storm重启
Storm没有提高停止节点的命令,
需要先使用jps或者ps找到Storm所有进程,
再kill掉相应进程,重新启动。
12.运行自带测试用例
cd /home/storm/apache-storm-1.0.1/examples/storm-starter/
storm jar storm-starter-topologies-1.0.1.jar storm.starter.StatefulWindowingTopology wordcount
storm jar storm-starter-topologies-1.0.1.jar storm.starter.StatefulTopology StatefulTopologyNew3
停止拓扑任务wordcount:
storm deactivate wordcount
查看Storm后台管理界面:
10.43.159.237:18080
查看Storm版本:
storm version
13.Storm OOM 内存溢出问题
需要设置的内存参数,以及增大任务的并行度,spout的获取数据速度。
nimbus.childopts: "-Xmx1024m"
supervisor.childopts: "-Xmx1024m"
worker.childopts: "-Xmx1024m"
14.无法识别主机
提交storm任务时,其他节点supervisor节点无法下载jar包,不能执行任务:
message org.apache.storm.thrift.transport.TTransportException: java.net.UnknownHostException: zdh-237.site
无法识别zdh-237.site主机,删除zdh-237.site的配置
10.43.159.237 zdh-237.site zdh-237
15.日志查看配置
在任务中打印的日志需要修改下面的log4j配置,才能看到结果
-Dlog4j.configurationFile=/home/storm/apache-storm-1.0.1/log4j2/worker.xml
日志查看:
/home/storm/apache-storm-1.0.1/data/workers/2d60e758-3733-481a-a0b1-2e1e054127d8/artifacts/worker.log
-Dlog4j.configurationFile=/home/storm/apache-storm-1.0.1/log4j2/cluster.xml
Storm集群安装Version1.0.1相关推荐
- Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...
- Kafka集群安装Version1.0.1(自带Zookeeper)
1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...
- Storm集群安装部署步骤【详细版】
作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how ...
- Hbase集群安装Version1.1.5
Hbase集群安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用外部Zookeeper集群而非Hbase自带zookeeper, 使用Hadoop文件系统 ...
- Storm集群安装及wordcount案例
Storm集群部署 1.下载安装包 2.解压安装包 #解压到平台 tar -zxvf apache-storm-0.9.5.tar.gz -C /usr/local/apps/platform/ #创 ...
- storm集群 安装笔记
本文主要是参照strom的管网中的document中来进行安装,管网地址 1,首先需要安装zookeeper集群.可参考管网或网络上安装(很简单). 2,在storm的work机器上和nimbus机器 ...
- Storm集群开启HA高可用
Storm开启HA高可用,包括Nimbus和UI开启两个及以上的进程. 基于已经安装好的Storm集群,开启关键节点角色的HA高可用. Storm安装请参考Storm集群安装Version1.0.1 ...
- Storm学习一集群安装
1.Storm集群安装准备: LInux系统:CentOS 7(3台) JDK:jdk-8u162-linux-x64.tar.gz Zookeeper:zookeeper-3.4.11.tar.gz ...
- zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群 一.环境安装前准备: 准备三台机器 操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
最新文章
- OpenGL ES for Windows Mobile
- 【Go语言】【2】Sublime配置GO开发环境
- python 图表_用 Python 让你的数据图表动起来
- hbuilderx设置新建jsx后缀名_TypeScript编写前基本配置操作
- 幅度为a0的载波由峰峰值_【砂石骨料】机制砂亚甲蓝值对混凝土性能的影响研究...
- 廖雪峰python笔记
- 使用Flutter开发一个仿微信飞机大战游戏
- Oracle 12c新特性--ASMFD(ASM Filter Driver)特性
- vue实现动态二维码完成签到功能
- node JS獲取GPS_node学习笔记(三十八)
- 人工智能主要是学什么的?
- 计算机数字媒体计数专业好就业吗,2019数字媒体技术专业就业形势和就业方向分析...
- 明日立秋 autumn begins,天气渐凉
- 简单构建新闻数据对股票的情绪因子(大盘因子)
- Chrome安装Hackbar插件
- Spring Integration-简介
- 展锐camera 调用流程
- 1228: 9002 Niven数
- 服务器部署的参数文档,服务器怎么配置参数
- linux配置互信权限问题,Linux互信及互信失效问题
热门文章
- .netcore部署Linux并结合Nginx反向代理 get started
- John's trip(POJ1041+欧拉回路+打印路径)
- [算法]有趣算法合辑[21-30]
- 将语音搜索集成到Google Now中
- 数据--dp,线段树优化
- php基础_变量和比较符
- Webpack实战(九):实现资源按需加载-资源异步加载
- Opencv3学习(6)---距离变换
- 6-9 统计个位数字 (15 分)
- 7-176 求n以内最大的k个素数以及它们的和 (20 分)