CentOS下Storm 1.0.0集群安装详解
本文环境如下:
操作系统:CentOS 6 32位
ZooKeeper版本:3.4.8
Storm版本:1.0.0
JDK版本:1.8.0_77 32位
python版本:2.6.6
集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2)
1. 搭建Zookeeper集群
安装参考:CentOS下ZooKeeper单机模式、集群模式安装
2. 在Nimbus和worker机器上安装依赖包
Java 6
Python 2.6.6
以上的版本是官方说已经有测试可以和Strom正常运行的版本,本文采用Java 8进行安装。
参考CentOS 6使用rpm方式安装JDK8。
由于CentOS 6已经自带Python 2.6.6,这边就不介绍安装方法了。可以采用python --version
来检查服务器是否安装python,以及对应的版本。
3. 下载解压最新版的Storm
打开官网下载页面:http://storm.apache.org/downloads.html
选择适合的版本进行下载。
wget "http://apache.opencas.org/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz"
tar -xzvf apache-storm-1.0.0.tar.gz
mv apache-storm-1.0.0 /opt
4. 修改配置文件
打开核心配置文件:storm.yaml
cd /opt/apache-storm-1.0.0/conf
vi storm.yaml
至少完成以下3处的配置,笔者的配置文件:
storm.zookeeper.servers:- "master"
- "slave1"
- "slave2"
storm.local.dir: "/opt/apache-storm-1.0.0/data"nimbus.seeds: ["master"]
其中storm.zookeeper.servers
,表示Zookeeper集群地址。如果Zookeeper集群使用的不是默认端口,那么还需要配置storm.zookeeper.port。storm.local.dir
用于配置Storm存储少量文件的路径。nimbus.seeds
用于配置主控节点的地址,可以配置多个。
5. 拷贝文件到其余主控节点和工作节点
scp -r apache-storm-1.0.0 root@slave1:/opt
scp -r apache-storm-1.0.0 root@slave2:/opt
6. 启动Storm
Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:
主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。
每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。
6.1 启动主控节点
/opt/apache-storm-1.0.0/bin/storm nimbus
6.2 启动工作节点
/opt/apache-storm-1.0.0/bin/storm supervisor
6.3 启动管理页面
在主控节点上运行
/opt/apache-storm-1.0.0/bin/storm ui
说明:需要分别到每个节点启动服务。管理界面将运行在启动它的服务器的8080端口,日志文件在程序目录中logs文件夹下。上面的启动方式是在前台运行的,如果需要在后台运行,可以使用类似nohup /opt/apache-storm-1.0.0/bin/storm nimbus &
的方式运行。
CentOS下Storm 1.0.0集群安装详解相关推荐
- HBase 0.98 分布式集群安装详解
概述 HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像Bigtab ...
- k8s实践(3)--k8s集群安装详解
k8s实践系列的相关配置都在github:https://github.com/huangguisu/k8s.git 一.部署架构规划和环境准备 1.安装方式选择 目前有三种安装方式 第一种是yum安 ...
- Linux的企业-Codis 3集群搭建详解
Codis 3集群搭建详解 Codis 3介绍 对于Redis集群方案有好多种,基本常用的就是twemproxy,codis.redis cluster这三种解决方案,本人有幸工作中都大量使用过,各有 ...
- 基于Kubernetes构建Docker集群管理详解
from: 基于Kubernetes构建Docker集群管理详解 Kubernetes是Google开源的容器集群管理系统,基于Docker构建一个容器的调度服务,提供资源调度.均衡容灾.服务注册.动 ...
- Apache + Tomcat集群配置详解(1)
Apache + Tomcat集群配置详解(1) 一.软件准备 Apache 2.2 : http://httpd.apache.org/download.cgi,下载msi安装程序,选择no ssl ...
- Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)...
一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud 分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...
- redis集群模式详解
redis集群模式详解 一,redis集群 1,哨兵集群 2,redis Cluster 二,redis Cluster集群的搭建 1,配置文件 2,redis服务启动 三,springboot连接r ...
- Slurm集群调度策略详解(2)-回填调度
1. slurm集群调度系统简介 作业调度系统其实就是指按一定策略把并行程序的各子任务或者是面向多用户的一组作业按一定的选择策略使之与各计算节点的空闲资源相对应,让其在对应的资源上运行,所以作业调度系 ...
- Elastic search入门到集群实战操作详解(原生API操作、springboot整合操作)-step1
Elastic search入门到集群实战操作详解(原生API操作.springboot整合操作)-step2 https://blog.csdn.net/qq_45441466/article/de ...
最新文章
- 谷歌提出纯 MLP 构成的视觉架构,无需卷积、注意力 !
- 图像调整亮度饱和度 c语言,【C#/WPF】调节图像的HSL(色相、饱和度、明亮度)...
- 徐博 From RankNet to LambdaRank to LambdaMART: An Overview
- 3d建模电脑配置要求_学习3D建模需要什么软件,电脑配置应该如何?新手自学会遇到的问题...
- win7/WIN8.1(x64) 下使用MSDE WIN10不行
- c语言case key pres,C#程序设计B-中国大学mooc-题库零氪
- Struts2学习笔记(五) Action(下)
- Linux中,Tomcat安装
- js获取非行间样式--有bug,忧伤
- notepad linux版本,Notepad++ Linux版
- BoundsChecker使用说明
- linux学习系列-一些知识
- 2202年了,“小样本”还值得卷吗?
- 网页如何防篡改?可以选择快卫士
- html5 无插件视频播放器,多功能流媒体播放器网页无插件直播EasyPlayer.js如何实现播放完自动循环播放...
- 苹果xr如何截屏_iphone敲两下截屏如何操作 苹果手机触控截屏方法【教程步骤】...
- 深度学习~模糊神经网络(FNN)
- 经济学人翻译练习——加拿大自由党政府试图提振经济4.16
- July, 29(R)
- GL.iNet MT1300全千兆mini智能路由 拆解测评 刷机路由器 智能路由器 随身路由器 旅行路由器
热门文章
- qpython怎么添加pip_Q: 在Windows上安装Python 2.7的pyHook和pip
- oracle11g 01031,Oracle11g Data Guard -- ORA-16047 , ORA-16057 ,ORA-01031
- 使用pagination分页插件实现Ajax动态分页
- 1.OD-破解MTS DashBoard
- 【玩转cocos2d-x之三十一】弱联网与服务器的通讯
- Linux 基础I/O :文件描述符,重定向,文件系统,软链接和硬链接,动态库和静态库
- 手写带注册中心的rpc框架(Netty版和Socket版)
- MyBatis(二)MyBatis基本流程源码分析
- Union-find
- 网络编程套接字(三)