大数据学习——Storm集群搭建

安装storm之前要安装zookeeper

一.安装storm步骤

1.下载安装包

2.解压安装包

 tar -zxvf apache-storm-0.9.6.tar.gzmv apache-storm-0.9.6  storm

3.修改配置文件

mv /root/apps/storm/conf/storm.yaml  /root/apps/storm/conf/storm.yaml.bakvi /root/apps/storm/conf/storm.yaml

修改环境变量/etc/profile

export STORM_HOME=/root/apps/storm
export PATH=${STORM_HOME}/bin:$PATH

#指定storm使用的zk集群
storm.zookeeper.servers:- "mini1"- "mini2"- "mini3"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "mini1"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
supervisor.slots.ports:- 6700- 6701- 6702- 6703

4.分发安装包

 scp -r $PWD mini2:$PWDscp -r $PWD mini3:$PWD

5.启动集群

storm的集群中的是三个角色

nimbus 主节点，管理节点

supervisor每个机器上的管理者

ui界面

mini1的/root/apps/storm/bin目录下./storm nimbus./storm supervisor./storm uimini2的/root/apps/storm/bin目录下./storm supervisormini3的/root/apps/storm/bin目录下./storm supervisor

6.查看集群

http://mini1:8080/index.html

转载于:https://www.cnblogs.com/feifeicui/p/10415774.html

大数据学习——Storm集群搭建相关推荐

云计算大数据之 Kafka集群搭建
云计算大数据之 Kafka集群搭建版权声明: 本文为博主学习整理原创文章,如有不正之处请多多指教. 未经博主允许不得转载.https://blog.csdn.net/qq_42595261/arti ...
在线实时大数据平台Storm集群组件学习
Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速(轻量级)的大数据处理, Storm常用于在线的实时的大数据处理:这句话一定程度上反应了三套大数据平台的鲜明特征.Storm是一套实 ...
云服务器大数据高可用集群搭建-----hadoop篇
目录一.集群配置二.集群规划三.Hadoop.Zookeeper.Java.Centos版本四.Linux配置 4.1 主机名配置 4.1.1 修改Linux主机名 4.1.2 修改linux ...
大数据(1) - 虚拟机集群搭建
使用工具: 1.VMware12 +, 2.CentOS-6.8 / CentOS-7 +, 3.jdk1.8 一.安装主服务器虚拟机配置完成,点击启动虚拟机! 二.虚拟机网络设置需要静态的方式配 ...
大数据学习——yarn集群启动
启动yarn命令:start-yarn.sh验证是否启动成功1 jps查看进程2 http://192.168.74.100:8088页面关闭stop-yarn.sh 转载于:https://www ...
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
大数据技术之_17_Storm学习一 Storm 概述 1.1 离线计算是什么? 1.2 流式计算是什么? 1.3 Storm 是什么? 1.4 Storm 与 Hadoop 的区别 1.5 Sto ...
大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍文章目录大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...
大数据介绍及集群安装
大数据介绍及集群安装第一部分 <大数据概述> 传统数据如何处理? 什么是大数据? 传统数据与大数据的对比大数据的特点? 大数据前/后服务器系统安装部署区别是什么?. 大数据生态系统以及 ...
使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群【借助向日葵】
使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群[借助向日葵] 前言笔者作为一杆大数据学徒工,工作和学习中都需要有几套属于自己的集群. 双路e5主机:https://lizhiyong.bl ...

大数据学习——Storm集群搭建

大数据学习——Storm集群搭建相关推荐

最新文章

热门文章