HUE配置文件hue.ini 的zookeeper模块详解(图文详解)(分HA集群)
不多说,直接上干货!
我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)
然后,安装目录是在/home/hadoop/app下。
官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。
Hue版本:hue-3.9.0-cdh5.5.4
需要编译才能使用(联网) 说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。
大数据领域两大最主流集群管理工具Ambari和Cloudera Manger
Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)
Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl
一、以下是默认的配置文件
这里,暂时不说
二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998 # Name of Kerberos principal when using security.## principal_name=zookeeper
三、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)
hadoop-2.6.0.tar.gz的集群搭建(5节点)
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181# The URL of the REST contrib service (required for znode browsing).## rest_url=http://localhost:9998 # Name of Kerberos principal when using security.## principal_name=zookeeper
如果,单独只配置上述的话,就算我们的zookeeper集群进程全都正常启动,但是,还是会无法连接,出现错误 无法正确连接到 Zookeeper!!!!timed out (这里,适用非HA和HA集群)
因为,官网给的步骤,很详细(记住,只要三步就好,一切都要看官网,别跟着别人的博客走)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl
第一步:首先,进入【ZOOKEEPER_HOME】目录下执行编译
[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME [hadoop@bigdatamaster zookeeper]$ ant
看大家的网速吧。我这里是,需将bigdatamaster、bigdataslave1和bigdataslave2里都安装了zookeeper,所以都要进行ant编译。
然后,如下的目录,都会自动建立好
[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes [mkdir] Created dir: /home/hue/Development/zookeeper/build/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib
第二步:开启REST服务
cd src/contrib/rest nohup ant run&
[hadoop@bigdatamaster rest]$ pwd /home/hadoop/app/zookeeper/src/contrib/rest [hadoop@bigdatamaster rest]$ ll total 48 -rw-rw-r--. 1 hadoop hadoop 6630 Apr 26 2016 build.xml drwxr-xr-x. 3 hadoop hadoop 4096 May 4 20:42 conf -rw-rw-r--. 1 hadoop hadoop 2077 Apr 26 2016 ivy.xml -rw-rw-r--. 1 hadoop hadoop 246 Apr 26 2016 NOTICE.txt -rw-rw-r--. 1 hadoop hadoop 2422 Apr 26 2016 README.txt -rwxr-xr-x. 1 hadoop hadoop 2281 Apr 26 2016 rest.sh -rw-rw-r--. 1 hadoop hadoop 12961 Apr 26 2016 SPEC.txt drwxr-xr-x. 5 hadoop hadoop 4096 Apr 26 2016 src [hadoop@bigdatamaster rest]$ ./rest.sh start Starting ZooKeeper REST Gateway ... STARTED [hadoop@bigdatamaster rest]$ jps 2814 SecondaryNameNode 2661 NameNode 2982 ResourceManager 9688 ThriftServer 12134 Jps 3720 QuorumPeerMain 10777 HMaster 4141 RunJar [hadoop@bigdatamaster rest]$
第三步:去Hue配置文件,对应去修改zookeeper模块
########################################################################### # Settings to configure the Zookeeper application. ###########################################################################[zookeeper][[clusters]][[[default]]]# Zookeeper ensemble. Comma separated list of Host/Port.# e.g. localhost:2181,localhost:2182,localhost:2183host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181# The URL of the REST contrib service (required for znode browsing).rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998 # Name of Kerberos principal when using security.principal_name=zookeeper
然后,可以看到
更多的细节,我这里不多赘述,大家自行去自己机器看吧!
成功!
同时,大家可以关注我的个人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/
详情请见:http://www.cnblogs.com/zlslch/p/7473861.html
人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获
对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071)
转载于:https://www.cnblogs.com/zlslch/p/6817538.html
HUE配置文件hue.ini 的zookeeper模块详解(图文详解)(分HA集群)相关推荐
- HUE配置文件hue.ini 的hbase模块详解(图文详解)(分HA集群和非HA集群)
不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10).bigdataslave1(192.168.80.11)和bigdataslave2(192.168 ...
- HUE配置文件hue.ini 的database模块详解(包含qlite、mysql、 psql、和oracle)(图文详解)(分HA集群和非HA集群)...
不多说,直接上干货! Hue配置文件里,提及到,提供有postgresql_psycopg2, mysql, sqlite3 or oracle. 注意:Hue本身用到的是sqlite3. 在哪里呢, ...
- (超详细)基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的Hadoop HA集群的搭建 JunLeon--go big or go home 前言: 高可用(high availability,HA)指的是若当前工作中的机器宕机了,系 ...
- ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)
为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群,可是我只有两天服务器怎么办呢?我试过两台服务器组件集群,但是无法启动,所以这里部署一个[一 ...
- 第8课:彻底实战详解使用IDE开发Spark程序--集群模式运行
第8课:彻底实战详解使用IDE开发Spark程序--集群模式运行 拷贝WordCount.scala生成WordCountCluster.scala. 1. 将object WordCount改为ob ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-8CDH5安装和集群配置
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了. 准备文件 从 http://archive.cloudera.com/cdh5/parcels ...
- Hadoop HA集群部署 - A - 详解
理论简介: HA 概念以及作用 HA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点.通常把正在执行业务 ...
- Redis系列教程(二):详解Redis的存储类型、集群架构、以及应用场景
高并发架构系列 高并发架构系列:数据库主从同步的3种一致性方案实现,及优劣比较 高并发架构系列:Spring Cloud的核心成员.以及架构实现详细介绍 高并发架构系列:服务注册与发现的实现原理.及实 ...
- 阿里P8架构师谈:Quartz调度框架详解、运用场景、与集群部署实践
以下将分别从Quartz架构简介.集群部署实践.Quartz监控.集群原理分析详解Quartz任务调度框架. Quartz简介 Quartz是Java领域最著名的开源任务调度工具,是一个任务调度框架, ...
最新文章
- 网络推广专员敲黑板了,教你网站优化中如何更好地编写网站标题?
- Linux下根据进程ID查看进程文件的路径
- 平时学习中的拙作,希望交更多的朋友,希望得到更多的指导和交流
- 新一代开源Android渠道包生成工具Walle
- iOS Hacker LLDB 和 debugserver 实例调试
- php rmdir 返回值,php通过rmdir删除目录的简单用法
- 全志A10 Bootload加载过程分析
- 深度linux_深度:图文带你走进Linux系统结构
- matlab simplify函数,[求助]Matlab2016b里没有simple函数
- 在eclipse中使用第三方库总结
- 前端大神:如何看待 React Server Components?
- 工程项目成本费用明细表_项目成本费用明细表
- unity 控制人物模型移动
- 带Fn的键盘linux能用吗,实用技巧:如何更有效率的使用Linux键盘
- docker-ce 的安装与镜像加速
- java实现excel转pdf_java实现excel转pdf(poi+itext)
- 微信小程序支付 退款 订单查询 退款查询
- C语言URL解析器(代码分享)
- 工作中常用工具推荐及资源分享
- 教你一招更改视频竖版与横版的技巧