zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群
一、环境安装前准备:
准备三台机器
操作系统:centos6.8
jdk:jdk-8u111-linux-x64.gz
zookeeper:zookeeper-3.4.11.tar.gz
kafka: kafka_2.11-1.0.1.tgz
storm:apache-storm-1.2.2.tar.gz
配置/etc/hosts(三台上都操作)
vi /etc/hosts
192.168.1.211 canal01
192.168.1.212 canal02
192.168.1.213 canal03
二、jdk安装(三台)
2.1解压软件
tar zxvf jdk-8u111-linux-x64.gz
mv jdk-8u111-linux-x64 /usr/local/jdk
2.2配置环境变量
vi /etc/profile
#java
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
环境变量生效
source /etc/profile
三、zookeeper集群安装(三台上操作)
3.1解压软件
tar zxvf zookeeper-3.4.11.tar.gz
mv zookeeper-3.4.11 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv mv zoo_sample.cfg zoo.cfg
3.2、配置zoo.cfg
vi zoo.cfg
#修改
dataDir=/usr/local/zookeeper/data
#添加
dataLogDir=/usr/local/zookeeper/logs
server.1=192.168.1.211:2888:3888
server.2=192.168.1.212:2888:3888
server.3=192.168.1.213:2888:3888
3.3、创建目录
mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/logs
在192.168.1.211操作
echo "1" >/usr/local/zookeeper/data/myid
在192.168.1.212操作
echo "2" >/usr/local/zookeeper/data/myid
在192.168.1.213操作
echo "3" >/usr/local/zookeeper/data/myid
3.4、启动zookeeper
cd /usr/local/zookeeper/bin/
./zkServer.sh start
3.5、查看状态
cd /usr/local/zookeeper/bin/
./zkServer.sh status
注意:查看zookeeper集群的状态,出现Mode:follower或是Mode:leader则代表成功
四、kafka集群安装(三台上操作)
4.1解压软件
tar zxvf kafka_2.11-1.0.1.tgz
mv kafka_2.11-1.0.1 /usr/local/kafka
4.2配置kafka(在三台分别操作)
在192.168.1.211操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=0
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.212操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=1
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.213操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=2
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
4.3启动kafka(采用后台启动方式)
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties
查看日志是否成功
cd /usr/local/kafka/logs
tail -200 kafkaServer.out
以上图说明成功,没有报错
五、storm集群安装(三台都操作)
5.1、解压软件
tar zxvf apache-storm-1.2.2.tar.gz
mv apache-storm-1.2.2 /usr/local/storm
5.2、配置storm
cd /usr/local/storm/conf/
vi storm.yaml
##配置
storm.zookeeper.servers:
- "192.168.1.211"
- "192.168.1.212"
- "192.168.1.213"
storm.zookeeper.port: 2181
nimbus.seeds: ["canal01"]
storm.local.dir: "/usr/local/storm/storm-local"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
5.3、配置环境变量
vi /etc/profile
##storm
export STORM_HOME=/usr/local/storm
export PATH=${STORM_HOME}/bin:$PATH
环境变量生效
source /etc/profile
5.4、启动storm
在192.168.1.211操作
storm nimbus >/dev/null 2>&1 &
storm ui &
在192.168.1.212操作
storm supervisor >/dev/null 2>&1 &
在192.168.1.213操作
storm supervisor >/dev/null 2>&1 &
访问strom http://192.168.1.211:8080
转载于:https://blog.51cto.com/jxzhfei/2170208
zookeeper+kafka集群部署+storm集群相关推荐
- 集群-大规模Linux集群部署-MPI集群搭建与MPI编程
一.集群的概念及其相关技术 集群计算机是指利用高速通信网络将一组高档工作站或PC按某种结构连接起来,在并行程序设计甚至可视化人机交互集成开发环境支持下,统一调度,协调处理,实现高效并行处理的系统,利用 ...
- Redis高可用集群部署和集群扩展
文章目录 一.前言 二.集群配置 2.1 说明 2.2 配置 2.3 启动redis 2.4 集群操作 2.5 验证集群 2.5.1 springboot配置文件 2.5.2 代码测试 2.5.3 集 ...
- linux下storm集群配置,Twitter Storm 系统集群搭建
Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析.持续计算.分布式RPC等等. Storm特点(Storm类似手扶电梯,不出故障就会一直运行,h ...
- Storm集群安装部署步骤【详细版】
作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how ...
- Linux服务集群部署实战--MySQL、Redis、ES、RocketMQ、Zookeeper
部署架构 部署计划 MySQL服务部署 架构 规划 部署pxc集群 部署MySQL主从架构 部署mycat集群 创建表以及测试 部署HAProxy redis集群部署 redis集群采用3主3从的架构 ...
- 【部署】Apache DolphinScheduler 伪集群部署
[部署]Apache DolphinScheduler(海豚) 伪集群部署(Pseudo-Cluster) Standalone极速体验版 DolphinScheduler 伪集群部署 前置准备工作 ...
- Nacos集群部署说明
Nacos集群部署说明 集群模式部署 这个快速开始手册是帮忙您快速在你的电脑上,下载安装并使用Nacos,部署生产使用的集群模式. 集群部署架构图 因此开源的时候推荐用户把所有服务列表放到一个vip下 ...
- 二进制安装kubernetes v1.11.2 (第十章 kube-scheduler集群部署)
继续前一章的部署. 十.kube-scheduler集群部署 该集群包含2个节点,启动后通过竞争选举机制产生一个leader节点,其他节点为阻塞状态.当leader节点不可用后,剩余的节点将再次进行选 ...
- citus介绍和centos7安装部署和集群搭建
文章目录 citus 简介 citus主要特性 部署 centos单节点版本部署启动 centos集群部署启动 要在所有节点上执行的步骤 要在协调器节点上执行的步骤 常用语句 遇到的问题 参考 cit ...
最新文章
- Centos中提示You have new mail in /var/spool/mail/root 解决
- CentOS-6.4 minimal - 安装VMware Tools(linux)
- openresty开发系列21--lua的模块
- 数组以及对象遍历方法对比
- Qt安装vsaddin插件失败解决方案(vs、Qt、 vsaddin插件下载地址)
- mysql5.7.16安装版_mysql数据库5.7.16安装版怎么安装图解
- 云端之战:Google Cloud 的多云战略和甲骨文的数据库云
- leetcode题解162-寻找峰值
- webstorm 不识别.config文件_用TypeScript开发手势库 - (2)tsconfigamp; rollup.configamp;npx...
- log4j在web中的使用
- 十分钟,我搞定了一个人物检测模型
- 【STL】List基础
- python 正则表达式 \b 大坑
- Python实现微信小游戏:飞机大战
- my sql实验视图_数据库SQL 视图的创建及使用实验报告(共5篇)
- 6. DICOM图像显示-DCMTK-像素数据获取的三种方式和源码分析
- win10+ubuntu16双系统卸载流程及问题总结
- 你不知道的网站图片存储格式-base64
- OpenCV-Python官方教程-20-分水岭算法图像分割
- 谷歌退出中国为360挑战百度创造了机会
热门文章
- 坐在隔壁的00后同事,让我看到了职场“反内卷”的希望
- 国内首家!携程每周两天可在家“躺平”,76% 的员工主动报名
- 如何成为技术大牛?难也不难
- 为什么优秀的程序员都成了无能的领导?
- 人生第一次:领年终,拿股票!
- 漫画设计模式:什么是 “装饰器模式” ?
- 90% 的人都会!这项能力已成标配,系统学习才能破局!
- Windows Server Update 失败后,怎么恢复
- Can't load IA 32-bit .dll on a AMD 64-bit platform
- IOS block 教程