1.1 Storm集群安装部署步骤
安装storm集群,需要依赖以下组件:
- Zookeeper
- Python
- Zeromq
- Storm
- JDK
- JZMQ
故安装过程根据上面的组件分为以下几步:
- 安装JDK
- 安装Zookeeper集群
- 安装Python及依赖
- 安装Storm
另外,操作系统环境为:Centos6.4,安装用户为:root。
1. 安装JDK
安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文。
不管你用什么方法,最后需要配置JAVA_HOME并检测当前jdk版本:
$ java -version
java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)
2. 安装Zookeeper集群
可以参考文博客使用yum安装CDH Hadoop集群中的Zookeeper集群安装步骤。
3. 安装Python及依赖
一般操作系统上都安装了Python,查看当前Python版本:
$ python -V
Python 2.6.6
3.1 下载Zeromq
$ wget http://download.zeromq.org/zeromq-4.0.4.tar.gz
$ tar zxvf zeromq-4.0.4.tar.gz
$ ./configure
$ make & make install
3.2 安装Jzmq
$ git clone git://github.com/nathanmarz/jzmq.git
$ cd jzmq
$ ./autogen.sh
$ ./configure
$ make & make install
4. 安装Storm
下载稳定版本的storm,然后解压将其拷贝到/usr/lib/storm目录:
$ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
$ unzip storm-0.8.1.zip
$ mv storm-0.8.1 /usr/lib/storm
接下来,配置环境变量:
export STORM_HOME=/usr/lib/storm
export PATH=$PATH:$STORM_HOME/bin
建立storm存储目录:
$ mkdir /tmp/storm
修改配置文件/usr/lib/storm/conf/storm.yaml,修改为如下:
storm.zookeeper.servers:- "cdh1"- "cdh2"- "cdh3"ui.port: 8081nimbus.host: "cdh2"storm.local.dir: "/tmp/storm"supervisor.slots.ports:- 6700- 6701- 6702- 6703
其中,配置参数说明:
storm.zookeeper.servers
:Storm集群使用的Zookeeper集群地址,如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port
选项ui.port
:Storm UI的服务端口storm.local.dir
:Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录java.library.path
: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib
下,因此不需要配置即可。nimbus.host
: Storm集群Nimbus机器地址supervisor.slots.ports
: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口
更多配置参数,请参考Storm配置项详解。
最后,启动Storm各个后台进程:
主控节点上启动nimbus:
$ storm nimbus >/dev/null 2>&1 &
在Storm各个工作节点上运行:
$ storm supervisor >/dev/null 2>&1 &
在Storm主控节点上启动ui:
$ storm ui >/dev/null 2>&1 &
然后,你可以访问http://cdh2:8081/查看集群的worker资源使用情况、Topologies的运行状态等信息
转载于:https://www.cnblogs.com/51runsky/p/4572819.html
1.1 Storm集群安装部署步骤相关推荐
- Storm集群安装部署步骤【详细版】
作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how ...
- Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例 一.下载kettle和mysql驱动 二.相关技术博客 三.Kettle分布式集群环境准备 四.解压kettle 五.执行Kit ...
- redis3.0.0 集群安装详细步骤
2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤 博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...
- HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
- redis3.0.2 分布式集群安装详细步骤
redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...
- 企业实战_18_MyCat_ZK集群安装部署
接上一篇:企业实战_17_MyCat水平扩展_跨分片查询_ER分片 https://gblfy.blog.csdn.net/article/details/100066013 文章目录 一.使用ZK记 ...
- 记一次 Centos7.x Hadoop3.x集群安装部署 Pig 0.17.0
基本信息 官网 http://pig.apache.org/ 下载地址 http://www.apache.org/dyn/closer.cgi/pig https://mirror.bit.edu. ...
- tidb集群安装部署
tidb集群安装部署 部署架构图 一.安装tiup curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/inst ...
- SolrCloud 分布式集群安装部署(solr4.8.1 + zookeeper +tomcat)
SolrCloud 分布式集群安装部署 安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...
- zookeeper集群安装部署
zookeeper集群安装部署 1:规划: 集群建议至少在三台服务器上部署 192.168.1.171 192.168.1.172 192.168.1.173 2:去各 ...
最新文章
- python 将列和索引的值变换_【编辑小组成长日记】Python学习第二期
- [Spring MVC起步]我的第一个MVC
- [mmu/cache]-Cache Type Register(CTR)寄存器介绍-InProgress
- Ubuntu Server 上在安装Nginx时执行./confgiure后提示:C compiler cc is not found
- gcc 的visibility
- 使用SAT跟踪监控从浏览器打开的SAP应用的性能和调用栈
- 计算机网络学习笔记-01-概念,组成,功能,分类
- 解决to_hdf() 报错ImportError: Missing optional dependency ‘tables‘. Use pip or conda to install tables.
- 瑞芯微开发工具怎么刷机
- SQL2005企业版详细部署(一)
- 热门开源Web开发框架推荐
- PYTHON2.day14
- linux修改IP地址的命令
- 高德地图api使用过程出现崩溃
- 一元稀疏多项式计算器
- 【第2重磅】王者荣耀「绝悟」升级,全英雄池解禁
- 机器人操作空间轨迹规划 -- 姿态规划
- 计算机网络按照交换方式分,按照数据交换方式分计算机网络分为()
- matlab PTB 学习笔记02——开启PTB设置
- 基于微信小程序的教学评价平台开发