适合小白的 Hadoop 集群配置搭建,非常详细
准备工作:
1。VMware Workstation 14 中安装虚拟机 ,版本为 CentOS7(我搭建的集群为三台,安装一台克隆两台,这里不做解释,可自行百度)
2。JDK1.8 ,下载地址为 https://pan.baidu.com/s/15YA23CYnT3L-9f6Ao-gzrw
3。hadoop2.7.5 下载地址为 https://pan.baidu.com/s/1Fyfb77R6Tl1ct3pm_yaLdA
新建用户
每个虚拟机创建一个hadoop用户并加入到root组中
#添加用户hadoop到root组中
useradd -m hadoop -G root -s /bin/bash
#修改用户密码--输入密码,再次输入密码 (建议密码也设置为hadoop)
passwd hadoop
修改ip为静态ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
注意: 最后末尾处添加的ip地址网段要和虚拟机中的网段保持一致,(Ip自定义但是不能超过255)
其中这两个中的第三位数字要和VMware Workstation中的网段一致,查看网段看第二张图
打开的位置是 :编辑 ->虚拟网络编辑器IPADDR=192.168.255.131
GATEWAY=192.168.255.2
修改完成后 ,重启网管
[root@dnn1 ~]systemctl restart network
然后修改主机名方便以后访问(不需要在输入ip那么麻烦了以后)
[root@dnn1 ~]# echo nnn > /etc/hostname
修改映射
vim /etc/hosts
向这个hosts文件追加三行 ,格式为 Ip地址 主机名 ,一会方便linux 系统之间进行通信
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.255.130 nn
192.168.255.131 dn1
192.168.255.132 dn2
完成之后重启
[root@dnn1 ~]# reboot
安装上述的方法将其他两台虚拟机也修改了,保证ip不一样就可以
root 是超级管理员用户,所做操作无法更改,我们集群的搭建是在hadoop 用户上搭建的,标题即使以后有什么问题也不会影响到整个系统
用hadoop用户登录到每台机器上
[root@dnn1 ~]# sudo hadoop
在用户根目录下面配置 SSH 无密码登录
[hadop@nnn ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [hadop@nnn ~]$ ssh-copy-id dnn1 [hadop@nnn ~]$ ssh-copy-id dnn2
##然后测试是否主机之间登录是否需要密码[hadop@nnn ~]$ ssh dnn1#查看主机名,打印的是dnn1 ,无密码登录成功,然后退出[hadop@dnn1 ~]$ hostnamednn1[hadop@dnn1 ~]$ exit[hadop@nnn ~]$ ssh dnn2 #查看主机名,打印的是dnn2 ,无密码登录成功,然后退出[hadop@dnn2 ~]$ hostnamednn2[hadop@dnn1 ~]$ exit
配置Java和Hadoop 的环境变量
新建opt文件夹(用于存放安装Linux软件的)
将下载的 jdk 1.8 和hadoop2.7.5的安装包解压到opt 文件夹中,然后解压配置环境变量
[hadop@nnn ~]$ mkdir opt
[hadop@nnn ~]$ vi ~/.bashrc
###向文件中添加如下代码(jdk8文件夹和hadoop2 是jdk 和hadoop文件解压后更改的名字)
#JAVA_JDK1.8
export JAVA_HOME=/home/hadoop/opt/jdk8
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP
export HADOOP_HOME=/home/hadoop/opt/hadoop2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
使环境变量生效(每台机子)
[hadop@nnn ~]$ source ~/.bashrc
集群搭建开始了
搭建hadoop全分布式集群
进入hadoop解压目录
在/home/hadoop/opt/hadoop2/etc/hadoop/文件夹下面修改以下 5个文件1 core-site.xml2 hdfs-site.xml3 mapred-site.xml4 yarn-site.xml5 slaves
1.core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://nnn:9000</value><!-- nnn是master 的 主机名, 9000不固定,只要端口没有被占用就可以 --></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/opt/hadoop2/tmp</value></property>
</configuration>2.hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>2</value><!-- 这个数字2 代表你有几台子节点,这个不要错 --></property><property><name>dfs.namenode.secondary.http-address</name><value>nnn:50090</value><!-- nnn是master 的 主机名 --></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/opt/hadoop2/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/opt/hadoop2/tmp/dfs/data</value></property>
</configuration>3.mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<property><name>mapreduce.app-submission.cross-platform</name><value>true</value>
</property>
</configuration>4.yarn-site.xml 配置yarn的主机地址洗牌的默认框架<property><name>yarn.resourcemanager.hostname</name><value>nnn</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
5.slaves #配置所有dn的主机名称
dn1
dn2
进入hadoop的安装目录,远程分发到服务器上
[hadop@dnn1 ~]$ cd /home/hadoop/opt/
#将整个hadoop2 复制到 其他两台机器上 $PWD 是当前的目录,意思是将 hadoop2 整个文件夹复制到dnn1和dnn2 的这个相同路径下
scp -r hadoop2/ dnn1:$PWD
scp -r hadoop2/ dnn2:$PWD
启动集群
一、格式化hdfs 文件系统(只需要这第一次,以后启动不需要了,只在nnn(master节点上启动,其他的节点不需要启动) )
[hadop@nnn ~]$ hadoop namenode -format二、启动dfs 服务和yarn 服务
[hadop@nnn ~]$ start-dfs.sh
[hadop@nnn ~]$ start-yarn.sh
三、验证是否有开启的服务,在nnn(master 机器上) 输入jps 查看有进程没有
然后分别在 dnn1 和dnn2 (slaves 节点) 输入jps 查看是否有进程
四、验证是否能够在web 端浏览页面,在浏览器中输入 nnn:50070
注意: 如果你的页面打不开,有两种可能,
1.你在windows 上的ip 映射没有配置,
2 Linux 的防火墙没有关
1修改windows ip 映射
C:\Windows\System32\drivers\etc\hosts
将这个文件拷贝到桌面上,修改后 覆盖(管理员权限,无法直接打开修改,只能替换)
末尾添加
2修改防火墙
`
禁止开机启动
[root@nnn ~]# systemctl disable firewalld
修改里面的参数 SELINUX=disabled
[root@nnn ~]# vim /etc/selinux/config
以后开机就永远都是关闭防火墙了
`
再次测试访问hadoop web 页面
访问nnn:50070
查看活着的子节点是否为2 (即子节点的数量)
因为我的集群有三台,master 一台,slave为两台,所以活着的节点信息是2
到此集群就启动成功了~
哈哈!!! 恭喜你,集群搭建成功,若有什么问题,欢迎留言!我会给大家回复的
适合小白的 Hadoop 集群配置搭建,非常详细相关推荐
- Hadoop集群配置搭建
环境:Centos 6.9,Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言: 1.配置一台master服务器,两台或多台slave服务器. 2.master可 ...
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- Hadoop集群配置(最全面总结)
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
- hadoop集群的搭建(分布式安装)
集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...
- Hadoop集群的搭建,巨详细的过程,一步步来必成
目录 一.注意事项 1.环境背景 2.小小请求 二.Hadoop的搭建 1.安装及配置虚拟机 1)配置网络 2)下载远程链接器(可选) (1)下载Xshell (2)Linux虚拟网络 (3)准备连接 ...
- 大数据讲课笔记3.3 Hadoop集群配置
文章目录 零.学习目标 一.导入新课 二.新课讲解 (一)配置Hadoop集群 1.在master虚拟机上配置hadoop (1)编辑Hadoop环境配置文件 - hadoop-env.sh (2)编 ...
- tigase集群配置搭建官方方法-xmpp通讯协议配备tigase集群开发简单省事-哇谷即时通讯IM源码服务-哇谷即时通讯源码
tigase集群配置搭建官方方法-xmpp通讯协议配备tigase集群开发简单省事-哇谷即时通讯IM源码服务 哇谷即时通讯IM云-即时通讯源码-音视频会议-直播-短视频-企业即时通讯办公-聊天app- ...
- greenplum配置高可用_高可用hadoop集群配置就收藏这一篇,动手搭建Hadoop(5)
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式 完成了前面四步,现在做hadoop的高可用.其实和之前的lvs的高可用差不多的.如果我们有两个nam ...
- 大数据平台分布式搭建-Hadoop集群配置
Section 1: 文件清单 hadoop-2.8.4.tar.gz jdk-8u181-linux-x64.tar xshell 7家庭版 xftp 7家庭版 Section 2: 下载链接 [J ...
最新文章
- android 如何获得activity的view对象,Android的Activity 、 Window 、 View之间的关系
- Springboot使用bean方式详解(附代码)
- linux内存和缓冲区,linux – 内存消失了(不,不是缓冲区或缓存)
- Docker 实战教程之从入门到提高 (四)
- php 变量 换行,php去除换行符的方法小结(PHP_EOL变量的使用)_PHP教程
- Python入门--获取字典视图的三个方法#keys()-->获取字典中所有key#values()-->获取字典中的所有value#items()-->获取字典中所有key-value对
- activereport
- 图解Java 垃圾回收机制
- teechart mysql_TeeChart的X轴为时间,多个Y轴的显示
- 在Mac上Topaz Gigapixel AI作为Photoshop插件未显示在“文件”->“自动”中的解决方法
- 【AIQ合集】人工智能技术学习资料年度整理大合集电子书 PDF下载
- Linux各个版本资源下载
- k开头的英文单词计算机专业,以K开头的英语单词
- 统计相关国际期刊汇总
- 微信小程序实现页面按钮分享,右上角三个点分享禁用分享
- 【学习记录】名词和名词性从句
- 江苏大学正版Windows和Office全家桶--UJS微软正版化服务平台
- 使用数字芯片将5V转3.3V方案电路图
- 最全面的gtest的TEST宏源码解析及自动调度机制
- Octave 安装步骤(仅供记录)
热门文章
- 自制计算机病毒 [不要用于非法用途]
- textarea 的 resize 属性
- IP,子网掩码,默认网关
- 解决IO流读取文件乱码问题
- SpringBoot定时任务 @Scheduled详解
- 计算机能打开软件打不开怎么办,软件打不开,教您解决软件打不开的方法
- linux 命令行下载axel
- 计算机无法创建dota2账号,解决win10运行dota2提示“无法与任何服务器建立连接”的方法...
- Python3 tkinter 简单计算器
- Corn Fields