Hadoop2.8集群安装详细教程
https://mp.weixin.qq.com/s/WsSP9oeis0uFcDhBp3r0Vg
一、网络及主机名配置
1.修改主机名
[root@master /]# vi /etc/hostname
#主机名
master.hadoop
[root@master ~]# hostname master.hadoop
[root@master ~]# hostname
master.hadoop
其余结点一样的操作
[root@master ~]# cd /etc/hosts192.168.1.2 master.hadoop
192.168.1.3 slave1.hadoop
192.168.1.4 slave2.hadoop[root@master ~]# scp /etc/hosts 192.168.1.3:/etc
[root@master ~]# scp /etc/hosts 192.168.1.4:/etc
2.修改网卡配置
硬件配置:取消动态ip地址,使用固定的
[root@master network-scripts]# cd /etc/sysconfig/network-scripts/
[root@master network-scripts]# ll
总用量 244
-rw-r--r--. 1 root root 363 7月 6 08:09 ifcfg-ens33
-rw-r--r--. 1 root root 254 5月 3 2017 ifcfg-lo
lrwxrwxrwx. 1 root root 24 4月 27 06:30 ifdown -> ../../../usr/sbin/ifdown
-rwxr-xr-x. 1 root root 654 5月 3 2017 ifdown-bnep
-rwxr-xr-x. 1 root root 6571 5月 3 2017 ifdown-eth
-rwxr-xr-x. 1 root root 6190 8月 4 2017 ifdown-ib
[root@master network-scripts]# vi ifcfg-ens33
[root@master network-scripts]#
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=f090a391-d137-4d93-8594-03baeada0d1f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.1.2
PREFIX=24
GATEWAY=192.168.1.1
IPV6_PRIVACY=no
DNS1=192.168.1.1
3.重启网卡
[root@master network-scripts]# service network restart
#查看网络配置
[root@master network-scripts]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.1.2 netmask 255.255.255.0 broadcast 192.168.1.255
inet6 fe80::5d8a:5d86:d69a:1d54 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:be:6c:d6 txqueuelen 1000 (Ethernet)
RX packets 2787 bytes 199847 (195.1 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1488 bytes 96410 (94.1 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1 (Local Loopback)
RX packets 1477 bytes 143901 (140.5 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1477 bytes 143901 (140.5 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0virbr0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255
ether 52:54:00:a0:aa:ad txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
二、安装JDK
1、下载linux版本的jdk
2、解压配置并环境变量
[root@master apps]# tar -zxvf jdk-8u171-linux-x64.tar.gz
[root@master apps]# vi /etc/profile
在其中添加一下内容:
export JAVA_HOME=/apps/jdk1.8.0_171
export JRE_HOME=/apps/jdk1.8.0_171/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
然后更新配置文件
[root@master apps]# source /etc/profile
3、测试安装
[root@master apps]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)
三、配置SSH免密登录
1、每台机器生成自己的私钥和公钥
[root@master apps]# cd /root/.ssh/
[root@master .ssh]# ssh-keygen -t rsa然后一直回车什么也不输入,直到结束。[root@master .ssh]# touch authorized_keys
[root@master .ssh]# ll
总用量 16
-rw-r--r--. 1 root root 2000 7月 4 20:48 authorized_keys
-rw-------. 1 root root 1679 6月 19 15:17 id_rsa
-rw-r--r--. 1 root root 400 6月 19 15:17 id_rsa.pub
-rw-r--r--. 1 root root 935 7月 4 20:54 known_hosts
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
2、将每个节点的公钥都追加到一个名为(authorized_keys)的文件中
在另外两台机器同样的执行以下操作:
[root@slave apps]# cd /root/.ssh/
[root@salve .ssh]# ssh-keygen -t rsa
[root@slave .ssh]# ll
-rw-------. 1 root root 1679 6月 19 15:17 id_rsa
-rw-r--r--. 1 root root 400 6月 19 15:17 id_rsa.pub
-rw-r--r--. 1 root root 935 7月 4 20:54 known_hosts将自己机器上的id_rsa.pub追加到主节点的authorized_keys文件中。
[root@slave .ssh]# scp id_rsa.pub 192.168.1.2:/
去主节点追加
[root@master .ssh]# cd /
[root@master .ssh]# cat id_rsa.pub >> /root/.ssh/authorized_keys
3、将主节点上的authorized_keys分发给每一个从节点,测试登录
[root@master .ssh]# scp authorized_keys 192.168.1.3:$PWD
[root@master .ssh]# scp authorized_keys 192.168.1.4:$PWD
[root@master .ssh]# ssh 192.168.1.3
Last login: Fri Jul 6 16:02:23 2018
[root@slave1 ~]#
四、hadoop分布式集群安装
1、下载hadoop安装包
2、解压安装包,并修改配置文件
[root@master apps]# tar -zxvf hadoop-2.8.0.tar.gz
[root@master apps]# mkdir hdptmp
在两台从节点上建立相同的目录(hdfs初始化的时候会用到)
1)配置hadoop-env.sh
# set java environment(添加jdk环境变量)
export JAVA_HOME=/apps/jdk1.8.0_171
2)配置core-site.xml文件
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/apps/hdptmp</value><!-- 请先在 /apps 目录下建立 hdptmp 文件夹-->
</property><!-- file system properties -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master.hadoop:9000</value>
</property>
</configuration>
3)配置hdfs-site.xml文件
修改Hadoop中HDFS的配置,配置的备份方式默认为3。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value><!-- replication 是数据副本数量,默认为3-->
</property>
<configuration>
4)配置mapred-site.xml文件
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 配置yran-site.xml文件
<configuration>
<!--制定yarn的老大resourcemanager的地址-->
<property>
<name>yarn.resouremanager.hostname</name>
<value>master.hadoop</value>
</property>
<!--mapreduce执行shuffle(洗牌的意思)获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6)配置slaves文件
[root@master /]# vi slaves
master.hadoop
slave1.hadoop
slave2.hadoop
- 配置hadoop环境变量
[root@master /]# vi /etc/profile
#set hadoop enviroment
export HADOOP_HOME=/apps/hadoop-2.8.0/
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#生效
[root@master /]# source /etc/profile
3、将主节点上的文件复制到从节点上
[root@master /]# scp /apps 192.168.1.3:/
[root@master /]# scp /apps 192.168.1.4:/
[root@master /]# scp /etc/hosts 192.168.1.3:/etc
[root@master /]# scp /etc/hosts 192.168.1.4:/etc
[root@master /]# scp /etc/profile 192.168.1.3:/etc
[root@master /]# scp /etc/profile 192.168.1.4:/etc
4、初始化HDFS
[root@master /]# hadoop namenode -format
5、初始化完毕,启动测试
1)启动HDFS
[root@master /]# start-dfs.sh
Starting namenodes on [master.hadoop slave1.hadoop]
master.hadoop: starting namenode, logging to /apps/hadoop-2.8.0/logs/hadoop-root-namenode-master.hadoop.out
slave1.hadoop: starting namenode, logging to /apps/hadoop-2.8.0/logs/hadoop-root-namenode-slave1.hadoop.out
slave1.hadoop: starting datanode, logging to /apps/hadoop-2.8.0/logs/hadoop-root-datanode-slave1.hadoop.out
master.hadoop: starting datanode, logging to /apps/hadoop-2.8.0/logs/hadoop-root-datanode-master.hadoop.out
slave2.hadoop: starting datanode, logging to /apps/hadoop-2.8.0/logs/hadoop-root-datanode-slave2.hadoop.out
[root@master /]# jps
37984 DataNode
38470 Jps
37871 NameNode
2)启动YARN
[root@master /]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /apps/hadoop-2.8.0/logs/yarn-root-resourcemanager-master.hadoop.out
slave2.hadoop: starting nodemanager, logging to /apps/hadoop-2.8.0/logs/yarn-root-nodemanager-slave2.hadoop.out
slave1.hadoop: starting nodemanager, logging to /apps/hadoop-2.8.0/logs/yarn-root-nodemanager-slave1.hadoop.out
master.hadoop: starting nodemanager, logging to /apps/hadoop-2.8.0/logs/yarn-root-nodemanager-master.hadoop.out
[root@master /]# jps
37984 DataNode
38832 Jps
38625 ResourceManager
38748 NodeManager
Hadoop2.8集群安装详细教程相关推荐
- 二进制安装部署 4 kubernetes集群---超详细教程
二进制安装部署kubernetes集群---超详细教程 前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建完成后整理的个人心得,分享给大家~~~ 本文所需的安装包,都上传在我的网盘中,需要的可以 ...
- Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop ...
- redis3.0.0 集群安装详细步骤
2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤 博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...
- redis3.0.2 分布式集群安装详细步骤
redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...
- 手把手从零开始搭建k8s集群超详细教程
本教程根据B站课程云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps同步所做笔记教程 k8s集群搭建超详细教程 1. 基本环境搭建 1. 创建私有网络 2. 创建服务 ...
- 搭建Hadoop分布式集群的详细教程
目录 写在前面 一.创建虚拟机,安装Centos 二.VMware VMnet8模式共享主机网络配置 三.克隆集群节点HadoopSlave1与HadoopSlave2 四.Linux系统配置 五.H ...
- 【❤️万字长文总结❤️】一篇学会Redis高可用✔集群✔搭建详细教程
大家好,我是Lex 喜欢欺负超人那个Lex 擅长领域:python开发.网络安全渗透.Windows域控Exchange架构 今日重点:今天总结一下Redis集群高可用的搭建流程 [惊喜推荐+优质资源 ...
- 搭建etcd 3.4.15集群(详细教程,包括选举过程、数据备份和恢复)
推荐阅读 Helm3(K8S 资源对象管理工具)视频教程:https://edu.csdn.net/course/detail/32506 Helm3(K8S 资源对象管理工具)博客专栏:https: ...
- k8s双节点集群搭建详细教程
K8S v1.13.0 集群搭建 环境 两台centos主机: Master:192.168.11.112 主机名:k8s-master Node:192.168.11.111 主机名:k8s-nod ...
最新文章
- 唉,面试官这 5 道题,难为我这 3 年经验了
- 设置 webstorm 对 .vue 高亮
- 网站外部链接优化如何进一步提升?
- IDEA中双击两下shift全局搜索怎样取消和修改
- 动态给组件添加背景,一半圆角
- Myeclipse10.7安装git插件并将Java项目上传到码云(github)
- 锁定计算机好在下游戏吗,巧用win7锁定计算机防止孩子沉迷游戏
- python输出大字号汉字_Python中输出ASCII大文字、艺术字、字符字小技巧
- 谈区块链的时候别忘记了“新零售”
- Flash知识点总结
- Nebula3资源子系统
- 137.只出现一次的数字II
- 期刊论文发表有哪些方法
- Python with as用法详解
- 充满哲学命题的科幻巨作—《2001太空漫游》
- 共阴共阳数码管(及74HC595控制)
- 每日一题4.12.1
- java或android国内外手机号码正则表达式
- linux脚本中的gt,shell中’-gt’与’’的区别
- 在职研究生计算机专业好考么,湖南在职研究生计算机专业好考不
热门文章
- java明星游戏_#IT明星不是梦#Java14不得不知的5个新功能
- python中max函数用法_python奇技淫巧——max/min函数的用法
- 计算机教育工作,计算机教育教学工作总结
- 京东动态页面爬虫 scrapy+selenium
- VS 2012 单元测试简单配置
- Ubuntu下 Tomcat + JSF + Ant + eclipse 开发环境搭建
- Windows 8 Directx 开发学习笔记(十四)使用几何着色器实现三角形细分
- Ubuntu配置maven
- go语言学习笔记(5)数组与切片
- JavaScript:画廊案例