1 在虚拟机安装centos7

2 安装网络工具

centos7最小化安装没有 ifconfig命令
yum -y install net-tools

3 centos7 修改网卡名字为eth0

修改网卡名字为eth0

4 修改主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node1

最后还要分别修改 /etc/hostname

5 修改 IP 地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="eth0"
UUID="41203fac-73cf-4b2d-bd9d-d7c5f72d7aa8"
DEVICE="eth0"
ONBOOT="yes"
IPADDR="192.168.73.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.73.2"

6 设置 DNS 解析

vi /etc/resolv.conf

# Generated by NetworkManager
nameserver 192.168.73.2

7 修改 hosts 文件

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.73.101 node1
192.168.73.102 node2
192.168.73.103 node3
192.168.73.104 node4

8 将yum源改为阿里云

改变yum源为阿里云

9 安装配置JDK

9.1 检查是否已经安装

rpm -qa | grep jdk

9.2 安装JDK 包

rpm -i /PATH/TO/PACKAGE_FILE
-h: 以#显示进度；每个#表示2%;
-v: 显示详细过程
-vv: 更详细的过程
rpm -ivh /PATH/TO/PACKAGE_FILE
–nodeps: 忽略依赖关系；
–replacepkgs: 重新安装，替rpm换原有安装；
–force: 强行安装，可以实现重装或降级；

rpm -ivh --prefix=/usr/apps jdk-8u181-linux-x64.rpm

9.3 配置环境变量

配置环境变量：编辑/etc/profile 或者 ~/.bash_profile
export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

9.4 让 vim 显示行号

10 克隆节点

10.1 修改新节点的IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0
删掉HWADDR（物理地址）和UUID，重启系统会自动创建，根据个人情况修改成如下配置

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="eth0"
DEVICE="eth0"
ONBOOT="yes"
IPADDR="192.168.73.102"
NETMASK="255.255.255.0"
GATEWAY="192.168.73.2"

10.2 修改主机名

vim /etc/sysconfig/network

# Created by anaconda
NETWORKING=yes
HOSTNAME=node2

10.3 其他节点进行类似的操作

11 配置免密登录

11.1 生成密钥对

ssh-keygen

11.2 将密钥对配置到node1,node2,node3,node4

12 添加hadoop 用户

四个节点同时操作

useradd hadoop
passwd hadoop

12.1 为 Hadoop 用户添加sudo 权限

vim /etc/sudoers

13 配置hadoop

13.1 安装文件上传工具

yum -y install lrzsz

13.2 在 /home/hadoop 目录下新建apps 文件夹，将源码压缩包上传

13.3 解压

tar -zxvf hadoop-2.7.6.tar.gz

13.4 配置 hadoop 环境变量

sudo vim /etc/profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将配置文件拷贝到node2,node3,node4
sudo scp /etc/profile node2:/etc/

同时操作所有节点，重新加载配置文件
source /etc/profile

13.5 配置各类 xml 文件

配置文件所在目录 /home/hadoop/apps/hadoop-2.7.6/etc/hadoop

13.5.1 配置 `hadoop-env.sh`

13.5.2 配置 `core-site.xml`

<configuration><property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property><property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property></configuration>

13.5.3 配置 `hdfs-site.xml`


<configuration><property>
<name>dfs.replication</name>
<value>2</value>
</property></configuration>

13.5.4 配置 `mapred-site.xml.template`

<configuration><property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property></configuration>

重命名 mv mapred-site.xml.template mapred-site.xml

13.5.5 配置 `yarn-site.xml`

<configuration><!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property><property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property></configuration>

13.6 一键启动配置

/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/slaves

node2
node3
node4

13.7 把配置文件分发到各个节点

scp -r apps node2:/home/hadoop/

13.8 格式化 NameNode

hadoop namenode -format

13.9 测试安装

13.9.1 启动HDFS `start-dfs.sh`

发现报错：

[hadoop@node1 ~]$ start-dfs.sh
Starting namenodes on [node1]
node1: chown: changing ownership of ‘/home/hadoop/apps/hadoop-2.7.6/logs’: Operation not permitted
node1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.out
node1: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: line 159: /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.out: Permission denied

解决方法：将hadoop主目录授权给当前用户(各节点都操作一次)
sudo chown -R hadoop /home/hadoop
再次启动hdfs

13.9.2 启动YARN

13.9.3 网页管理界面

将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
前提要关闭节点上的防火墙，关闭防火墙开机启动 centos7关闭防火墙

启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld
开机禁用  ： systemctl disable firewalld
开机启用  ： systemctl enable firewalld

HDFS管理界面 http://node1:50070

Mapreduce 管理界面 http://node1:8088

win10虚拟机搭建 Hadoop集群相关推荐

微信棋牌源码虚拟机搭建Hadoop集群
虚拟机搭建Hadoop集群安装包准备操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk ...
利用闲置电脑安装虚拟机搭建hadoop集群
文章目录前言一.虚拟机环境的准备二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接总结前言本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
三台Ubuntu虚拟机搭建 Hadoop集群（第一次搭）
最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭.但我最终确实成功了,留了一点点小问题在里面.(当Hadoop集群start-al ...
虚拟机搭建hadoop集群步骤
内存4G,硬盘50G 安装好linux /boot 200M /swap 2g / 剩余 *安装VMTools 关闭防火墙 sudo service iptables stop sudo chkcon ...
虚拟机搭建Hadoop集群学习笔记（1）
1.首先下载安装虚拟机,具体步骤.(提供一个我下载的5.1.26版本,度盘链接没失效的话可以戳这里,key:t6wp) 2.下载系统镜像文件,CentOS-7-x86_64-Minimal-1511. ...
CentOS7搭建Hadoop集群环境
本文章为云计算课程实验总结. 前言 CentOS7虚拟机搭建hadoop集群,共3个节点:master.slave1.slave2 软件:java1.8 hadoop2.6.0 3台虚拟机都装有Cen ...
linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤实验介绍下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令集群安装完成实验需要以下相关知识解压命令 tar -zxvf XX.tar. ...
Docker学习七：使用docker搭建Hadoop集群
本博客简单分享了如何在Docker上搭建Hadoop集群,我的电脑是Ubuntu20,听同学说wsl2有些命令不对,所以建议在虚拟机里按照Ubuntu或者直接安装双系统吧 Docker学习一:Dock ...
hadoop搭建_阿里云搭建Hadoop集群
1 前言在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...

win10虚拟机搭建 Hadoop集群