storm集群部署和配置过程详解
---恢复内容开始---
- 设置zookeeper集群
- 安装依赖到所有nimbus和worker节点
- 下载并解压storm发布版本到所有nimbus和worker节点
- 配置storm.yaml
- 启动相关后台进程
1 配置zookeeper集群
- 把zookeeper运行在一个监督进程之下是非常关键的,因为zookeeper是一个fail-fast的进程,当它遇到任何错误的时候都会自动退出,具体请参考: here
- 定时的去压缩和转移zookeeper数据也是非常关键的,因为zookeeper不具备压缩和清楚数据机制,如果我们不设置一个cron管理这些数据,zookeeper产生的数据会很快的占满磁盘,具体请参考: here
2 安装依赖到nimbus和worker节点
- Java 6
- Python 2.6.6
3 下载解压storm发布版本到nimbus和worker节点
4 配置storm.yaml文件
- storm.zookeeper.servers:
- - "111.222.333.444"
- - "555.666.777.888"
- storm.local.dir: "/mnt/storm"
- nimbus.host: "111.222.333.44"
- supervisor.slots.ports:
- - 6700
- - 6701
- - 6702
- - 6703
5 通过storm命令运行storm相关的守护进程
- Nimbus:在master节点运行“bin/storm nimbus”
- Supervisor:在每一台worker节点运行“bin/storm supervisor”,supervisor进程负责在worker节点上启动和停止相应的worker进程
- UI:运行“bin/storm ui” ,一个通过页面管理和展示storm集群运行状态的工具,可以通过“http://nimbus host:8080”来访问。
---恢复内容结束---
转载于:https://www.cnblogs.com/daochong/p/7002641.html
storm集群部署和配置过程详解相关推荐
- aproxy配合Nginx搭建Web集群部署实验(图文详解)
文章目录 一.常见的Web集群调度器 二.Haproxy应用分析 三.Haproxy调度算法原理 四.Haproxy搭建 Web 群集 实验所需安装包 环境配置 1.部署haproxy服务器(192. ...
- Linux中级实战专题篇:rabbitmq(消息中间件p2p模式和pub模式,消息队列rabbitmq详解,单机安装,集群部署以及配置实战)
一.消息中间件相关概念 1.简介 消息中间件也可以称消息队列,是指用高效可靠的消息传递机制进行与平台相关 的数据交流,并基于数据通信来进行分布式系统的集成.通过提供消息传递和消息 队列模型,可以在分布 ...
- rabbitmq集群部署及配置
rabbitmq集群部署及配置 文章目录 rabbitmq集群部署及配置 前言 一.原理介绍 二.部署方案 1.环境介绍 2.部署过程 小结 前言 消息中间件rabbitmq,一般以集群方式部署,主要 ...
- 深入剖析Redis系列(三) - Redis集群模式搭建与原理详解
前言 在 Redis 3.0 之前,使用 哨兵(sentinel)机制来监控各个节点之间的状态.Redis Cluster 是 Redis 的 分布式解决方案,在 3.0 版本正式推出,有效地解决了 ...
- 高可用集群技术之corosync应用详解(一)
Corosync概述: Corosync是集群管理套件的一部分,它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等.它是一个新兴的软件,2008年推出,但其实它并不是一个真正意义 ...
- 第二篇supervisor集群管理工具cesi安装详解-如何安装supervisor-cesiwebUI
第二篇supervisor集群管理工具cesi安装详解-如何安装supervisor-cesiwebUI 介绍 安装 解压 安装依赖 修改配置 注册为系统服务 启动 登录一下,发现报错了 解决方法 介 ...
- 第一篇supervisor集群管理工具cesi安装详解-如何安装supervisor
第一篇supervisor集群管理工具cesi安装详解-如何安装supervisor 环境 准备 安装python3.7.4 问题 解决方法 安装supervisor 配置supervisor服务 启 ...
- Apache+PHP配置过程详解
Apache+PHP配置过程详解 经过两晚上的奋斗终于将Apache配置PHP成功,安装配置过程中走了不少弯路,特记录之. 1.Apache配置PHP个人认为首先要注意的是Apache和PHP的版本信 ...
- nagios配置过程详解
一.nagios配置过程详解 1.nagios默认配置文件介绍 nagios安装完毕后,默认的配置文件在/usr/local/nagios/etc目录下,每个文件或目录含义如下表所示: 2.配置文件 ...
最新文章
- GitHub开源:狗屁不通文章生成器
- html使用highcharts绘制饼图,html js highcharts绘制圆饼图表
- 没有在工厂1112中维护 MRP 参数
- Oracle Long类型转换为Clob类型
- java12关键字var_Java 10:“ var”关键字
- linux定时器错误使用,linux下定时器的使用
- 小木棍(信息学奥赛一本通-T1442)
- python初体验-hello world答案_Anaconda上的python3初体验
- mysql数据库undo日志恢复_MySQL的undo/redo日志和binlog日志,以及2PC
- 21个实用便利的PHP代码
- 修改Opera浏览器默认主页搜索引擎
- Unity发布游戏在iOS设备上出现的字体问题
- 怎么把linux装入移动硬盘,把Ubuntu装进你的移动硬盘中
- 全球云服务商排名情况及国内云主机市场占有率份额排名对比
- 【智能商务】海量商品查找利器—苏宁搜索系统
- java将图片存储在数据库(mysql)
- SpringBoot RabbitMQ 整合使用
- 天嵌i.mx6q--2
- Cir 和 IBIS模型的使用
- 小马哥---高仿苹果7 7p已出现市场 图文鉴赏假机面目 警惕购买
热门文章
- 吴恩达深度学习2.1练习_Improving Deep Neural Networks_Gradient Checking
- Processing编程学习指南1.5 颜色透明度
- Error--解决使用Application Loader提交ipa包审核时的报错:ERROR ITMS-90168: The binary you uploaded was invalid....
- [SHELL] LAMP一键安装脚本设计(v2.1)
- Exchange2010 SP1部署边缘服务器
- 程序员疫苗:代码注入
- 限制Nagios报警次数
- 网线接法:交叉线、直通线的网线水晶头图解
- 使用VSCODE开发UE4
- PAT Basic 1012