5个节点hadoop安装(zookeeper)
转http://www.cnblogs.com/zlslch/p/5854669.html
步骤流程(本博文):
1、 搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 分配1G及以上的状况)
2 、搭建一个5节点的hadoop分布式小集群--预备工作(djt11、djt12、djt13、djt14、djt15的网络连接、ip地址静态、拍照)
3、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 远程)
4、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 主机规划、软件规划、目录规划)
补充: 若是用户规划和目录规划,执行反了,则出现什么结果呢?请看---强烈建议不要这样干
5、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的环境检查 )
6 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的SSH免密码通信配置)
7 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的jdk安装)
8 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的djt11脚本工具的使用)
9 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的Zookeeper安装)
10、 搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的hadoop集群环境搭建)继续
1 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 分配1G及以上的状况)
对于这步,基础得看,
3
主机名称表(拷贝到所有的机器中)以及修改主机名
[hadoop@centos65-template ~]$ sudo vi /etc/hosts
[hadoop@centos65-template ~]$ sudo vi /etc/sysconfig/network
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.0.11 djt11 192.168.0.12 djt12 192.168.0.13 djt13 192.168.0.14 djt14 192.168.0.15 djt15
所以,记住,先是用户规划,再目录规划!!!
用户规划
每个节点的hadoop用户组和用户需要大家自己创建,单节点已经讲过,这里就不耽误大家时间。
依次,对djt11、djt12、djt13、djt14、 djt15进行用户规划,hadoop用户组,hadoop用户。
目录规划
所有软件目录: /home/hadoop/app
所有数据和日志目录:/home/hadoop/data
4、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 主机规划、软件规划、目录规划)
若是条件有限。则就只搭建3个吧。最开始啊,namenode是存在单点故障问题。从hadoop2.0之后,就设置了热备,防止宕机。
这里我们使用5 台主机来配置Hadoop集群。
Journalnode和ZooKeeper保持奇数个,这点大家要有个概念,最少不少于 3 个节点。
软件规划
这里啊,我们实现namenode热备和resourcemanger热备。在hadoop2.0之前啊,是没有实现这个功能。hadoop2.2.0只实现namenode热备。在hadoop2.4.0实现了namenode热备和resourcemanger热备,但是不是很稳定,所以,我们这里啊,就使用hadoop2.6.0。
用户规划
依次,对djt11、djt12、djt13、djt14、 djt15进行用户规划,hadoop用户组,hadoop用户。
5、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的环境检查 )
集群安装前的环境检查
在集群安装之前,我们需要一个对其环境的一个检查。
时钟同步
所有节点的系统时间要与当前时间保持一致,查看当前系统时间。
如果系统时间与当前时间不一致,进行以下操作。
设置时间格式
[hadoop@djt12 ~]$ date [hadoop@djt12 ~]$ cd /usr/share/zoneinfo/Asia [hadoop@djt12 Asia]$ sudo cp Shanghai /etc/localtime
安装ntp
[hadoop@djt12 Asia]$ sudo yum install -y ntp
[hadoop@djt12 Asia]$ sudo ntpdate pool.ntp.org
禁用防火墙
所有节点的防火墙都要关闭。
依次,对djt11、djt12、djt13、djt14、 djt15进行禁用防火墙。
创建脚本文件
djt11,all,namenode,zookeeper,resourcemanager, djt12,all,slave,namenode,zookeeper,resourcemanager, djt13,all,slave,datanode,zookeeper, djt14,all,slave,datanode,zookeeper, djt15,all,slave,datanode,zookeeper,
deploy.sh脚本
#!/bin/bash if [ $# -lt 3 ] thenecho "Usage: ./deploy.sh srcFile(or dir) descfile(or dest) MacheineTag"echo "Usage: ./deploy.sh srcFile(or dir) descfile(or dest) MacheineTag confFile"exit fisrc=$1 dest=$2 echo $dest tag=$3 if [ 'a'$4'a' == 'aa' ] thenconfFile=/home/hadoop/tools/deploy.conf elseconfFile=$4 fiif [ -f $confFile ] thenif [ -f $src ]thenfor server in `cat $confFile | grep -v '^#' | grep ','$tag',' | awk -F ',' '{print $1}'`doscp -r $src "hadoop"@$server":"${dest}doneelseecho 'Error: No source file exist'fi elseecho "error: please assign config file or run deploy.sh"fi
runCommandLine
#!/bin/bash if [ $# -lt 2 ] thenecho "Usage:./runRemoteCmd.sh Command MachineTag"echo "Usage:./runRemoteCmd.sh Command MachineTag confFile"exit fi cmd=$1 tag=$2 if [ 'a'$3'a' == 'aa' ] thenconfFile=/home/hadoop/tools/deploy.conf elseconfFile=$3 fiif [ -f $confFile ] thenfor server in `cat $confFile| grep -v '^#'|grep ','$tag','|awk -F ',' '{print $1}'`doecho "**********$server*******"ssh $server "source /etc/profile; $cmd"done fi
安装文件上传下载lrzsz包
[hadoop@djt11 src]$ sudo yum install -y lrzsz
上传jdk-8u121-linux-x64.tar.gz到所有的服务器中
[hadoop@djt11 tools]$ ./deploy.sh deploy.conf /home/hadoop/app/src/ all
[hadoop@djt11 tools]$ ./runRemoteCmd.sh 'mv /home/hadoop/app/src/jdk1.8.0_121/ /home/hadoop/app/java8' all
[hadoop@djt11 tools]$ ./runRemoteCmd.sh "echo JAVA_HOME=/home/hadoop/app/java8 >> ~/.bash_profile; echo 'PATH=\$JAVA_HOME/bin:\$PATH' >> ~/.bash_profile;echo 'CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> ~/.bash_profile;echo export CLASSPATH JAVA_HOME PATH >> ~/.bash_profile" all
[hadoop@djt11 tools]$ ./runRemoteCmd.sh "source ~/.bash_profile" all
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
9 、搭建一个5节点的hadoop分布式小集群--预备工作(对djt11、djt12、djt13、djt14、djt15 集群安装前的Zookeeper安装)
Zookeeper安装
1、将本地下载好的zookeeper-3.4.6.tar.gz安装包,上传至djt11节点下的/home/hadoop/app目录下。
[hadoop@djt11 tools]$ ./deploy.sh ~/app/src/hadoop-2.6.5.tar.gz ~/app/src/hadoop-2.6.5.tar.gz slave [hadoop@djt11 tools]$ ./runRemoteCmd.sh 'cd ~/app/src;tar -zxvf hadoop-2.6.5.tar.gz' all[hadoop@djt11 tools]$ ./runRemoteCmd.sh 'cd ~/app/src;mv hadoop-2.6.5 ../hadoop' all[hadoop@djt11 tools]$ ./deploy.sh ~/.bash_profile ~/.bash_profile slave[hadoop@djt11 tools]$ ./runRemoteCmd.sh "source ~/.bash_profile" all
转载于:https://www.cnblogs.com/heavenhome/p/6772948.html
5个节点hadoop安装(zookeeper)相关推荐
- hadoop+HBase+ZooKeeper+Hive完全分布式集群部署安装
本文源自:https://www.cnblogs.com/linxizhifeng/p/7207655.html 1. 系统环境 1.1. 软件版本 下表为本系统环境所安装的软件的版 ...
- Docker安装zookeeper 单节点安装
基于Docker安装zookeeper 一.单节点安装 拉取最新版本 docker pull zookeeper 启动zookeeper并添加映射 语法:docker run --privileged ...
- linux jdk,hadoop,zookeeper, hive , zeppelin ,sqoop ,hbase,scala,spark,flume,kafka 安装终极脚本全家桶安装
shellz只需要在opt准备两个文件夹,一个install存放压缩包,soft存放解压后的文件就行 接着就开始运行脚本,脚本随便创建一个文件吧脚本拷贝进去,赋权运行就行 赋权:chmod -R 77 ...
- 自动安装JDK、HADOOP、ZOOKEEPER、HIVE的shell脚本
看脚本需要注意的地方是用[" "]双引号括起来的字段一般是带有$某个东西的,例如$hostname,需要 取值的一般都用""不然会出错,如果不想取值,直接保留$ ...
- hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置 图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
- hadoop +hbase +zookeeper 完全分布搭建 (版本一)
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等.最新的hadoop-2.6.0又增加了YARN HA 注意:apache提供的hadoop-2.6.0的安装包是 ...
- 五节点HadoopHA安装教程
五节点HadoopHA安装教程: Master1 namenode,resourcemanager,nodemanager,datanode,journalnode, DFSZKFailoverCon ...
- Hadoop生态圈-zookeeper本地搭建以及常用命令介绍
Hadoop生态圈-zookeeper本地搭建以及常用命令介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载zookeeper软件 下载地址:https://www.ap ...
- Hadoop学习---Zookeeper+Hbase配置学习
软件版本号: JDK:jdk-8u45-linux-i586.tar.gz Zookeeper:zookeeper-3.4.6 Hbase:hbase-1.0.0-bin 一.JDK版本更换 由于之前 ...
最新文章
- H3C 思科华为 等网络设备配置文档自动备份思路及实现方法
- html并排放多张图片时出现分割的白条
- Java中继承thread类与实现Runnable接口的区别
- no [query] registered for [filtered] in es7 的解决方法
- mysql学习笔记14 多表查询初步
- VisualStudio 的 Spy++ —— 窗口、消息 的 查看分析利器
- asp.net DataGridTree表格树控件 下拉树 DropTree c# .net
- c语言变量名s_i使其随i变化,动态规划I(含细c语言代码).ppt
- 硬件电子c语言笔试,电子类常见笔试试题
- steam第三方授权登录不稳定(openid4java)
- 对象转json忽略空参
- 惠普m1216硒鼓清零步骤_显示耗材余量错误怎么解决呢,一招搞定
- 计算机程序有哪些性质,程序的特性有哪些
- SLAM 中evo的使用(二) (evaluation of odometry) evo_traj/ape rpe/evo_ape说明与示例
- 人工智能——自然演绎推理
- 实践练习二(必选):手动部署 OceanBase 单副本集群
- h0131. 钞票 (15 分)
- 2、Terraform-安装
- 将数字上调至8的倍数
- 阿里“无影” | 未来每个人在云上都会有自己的主机
热门文章
- Python随机梯度下降法(一)
- Python出入库简洁系统
- boost.asio学习-----reslover 域名解析
- 分享一个.NET(C#)按指定字母个数截断英文字符串的方法–提供枚举选项,可保留完整单词...
- nginx https 配置
- 使用C#: 自动切换鼠标的左右手习惯
- 关于tomcat不能启动的问题(NB:JAVA_HOME should point to a JDK not a JRE)
- jQuery插件开发全解析(转)
- 面试题 04.04. 检查平衡性
- 在Simulink中设计多工位的系列PID控制器Design Family of PID Controllers for Multiple Operating Points