hadoop学习5 搭建storm集群

参阅：

http://www.cnblogs.com/freeweb/p/5179410.html 非常感谢

注意集群的启动顺序以及概念。

[root@master bin]# ./storm ui >> /dev/null &
[4] 8076
[root@master bin]# jps
7930 nimbus
8076 core
3667 SecondaryNameNode
3480 NameNode
7626 QuorumPeerMain
8207 Jps
3821 ResourceManager

整体比较顺利，出现了下面一个小问题：

 at clojure.lang.RT.load(RT.java:436)at clojure.lang.RT.load(RT.java:412)at clojure.core$load$fn__5448.invoke(core.clj:5866)at clojure.core$load.doInvoke(core.clj:5865)at clojure.lang.RestFn.invoke(RestFn.java:408)at clojure.lang.Var.invoke(Var.java:379)at org.apache.storm.daemon.nimbus.<clinit>(Unknown Source)
Caused by: while scanning a simple keyin 'reader', line 27, column 1: at clojure.lang.RT.load(RT.java:436)
    at clojure.lang.RT.load(RT.java:412)
    at clojure.core$load$fn__5448.invoke(core.clj:5866)
    at clojure.core$load.doInvoke(core.clj:5865)
    at clojure.lang.RestFn.invoke(RestFn.java:408)
    at clojure.lang.Var.invoke(Var.java:379)
    at org.apache.storm.daemon.nimbus.<clinit>(Unknown Source)
Caused by: while scanning a simple keyin 'reader', line 27, column 1:storm.local.dir:"/data/storm"^
could not found expected ':'in 'reader', line 29, column 1:supervisor.slots.ports:^ at org.apache.storm.shade.org.yaml.snakeyaml.scanner.ScannerImpl.stalePossibleSimpleKeys(ScannerImpl.java:460)
    at org.apache.storm.shade.org.yaml.snakeyaml.scanner.ScannerImpl.needMoreTokens(ScannerImpl.java:280)^
could not found expected ':'in 'reader', line 29, column 1:supervisor.slots.ports:^at org.apache.storm.shade.org.yaml.snakeyaml.scanner.ScannerImpl.stalePossibleSimpleKeys(ScannerImpl.java:460)at org.apache.storm.shade.org.yaml.snakeyaml.scanner.ScannerImpl.needMoreTokens(ScannerImpl.java:280)

明显就是格式问题。按照如下修改即可，storm.yaml 注意空格区分

storm.local.dir: "/data/storm"

storm启动的时候所有进程需要后台一直执行，可参考如下命令：

/opt/storm/bin/storm nimbus &

/opt/storm/bin/storm supervisor &

/opt/storm/bin/storm ui &

hadoop学习5 搭建storm集群相关推荐

Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
Hadoop学习笔记-13.分布式集群中节点的动态添加与下架开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如 ...
Storm之——搭建Storm集群
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/78419484 一.机器规划主机名 IP Zookeeper Nimbus Sup ...
hadoop分布式环境搭建二(集群搭建)
安装准备 1.在/opt目录下创建software及modules文件夹,并修改到为mac用户下 sudo mkdir /opt/software [sudo] password for mac: [ ...
centos7环境下搭建storm集群
前提: 使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 并且zookeeper集群已经启动成功:下面将 ...
hadoop hive集群_失眠大数据专家，基于Hadoop不同版本搭建hive集群（附配置文件）
前言本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5 还有一种是主要讲基于hadoop3.x hive的搭建先来第一种一.本地方式(内嵌derby) ...
storm集群部署和配置过程详解
---恢复内容开始--- 先整体介绍一下搭建storm集群的步骤: 设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worke ...
Linux搭建eureka集群,基于dns搭建eureka集群
eureka集群方案: 1.通常我们部署的eureka节点多于两个,根据实际需求,只需要将相邻节点进行相互注册(eureka节点形成环状),就达到了高可用性集群,任何一个eureka节点挂掉不会受到影 ...
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
大数据技术之_17_Storm学习一 Storm 概述 1.1 离线计算是什么? 1.2 流式计算是什么? 1.3 Storm 是什么? 1.4 Storm 与 Hadoop 的区别 1.5 Sto ...
大数据学习——Storm集群搭建
安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 tar -zxvf apache-storm-0.9.6.tar.gzmv apache-storm ...

hadoop学习5 搭建storm集群

hadoop学习5 搭建storm集群相关推荐

最新文章

热门文章