Hadoop环境搭建
目录
零、码仙励志
一、百度云下载需要的软件
二、安装VM
三、VM网络设置
四、安装CentOS7
五、master网络配置
六、从master克隆slave0和slave1
七、slave0和slave1网络配置
八、同步时间
九、Xshell5的安装与使用
1.Xshell5的作用
2.Xshell5的安装
3.Xshell5的使用
十、Xftp5的安装与使用
1.Xftp5的作用
2.Xftp5的安装
3.Xftp5的使用
十一、关闭防火墙
十二、设置主机名
十三、hosts设置
十四、免密钥登陆配置
十五、安装JDK
十六、Hadoop安装与环境配置
1.配置hadoop-env.sh
2.配置core-site.xml
3.配置hdfs-site.xml
4.配置yarn-site.xml
5.配置mapred-site.xml
6.配置slaves
7.配置Hadoop环境变量
8.新建Hadoop运行时产生文件的储存目录
9.给slave0和slave1复制Hadoop
10.格式化文件系统
11.启动Hadoop
12.关闭Hadoop
零、码仙励志
如果决意去做一件事，就不要问自己和别人值不值得，心甘情愿才能理所当然，理所当然才能义无反顾
一、百度云下载需要的软件
微信搜索公众号码海无际或扫描左侧二维码回复c001获取，
如果不会请给我留言或者加QQ194760901找我索要
下载好以后里面有如下软件
二、安装VM
直接双击就可以
安装位置你开心就好，我这里是默认的
到这里VM就安装完成了
三、VM网络设置
首先打开控制面板
双击下面我选中的内容
给我选中的内容打勾并且双击
然后按照我下面的配置来操作
接下来打开VM虚拟机
按照我标的序号来
到这里VM网络就设置好了
四、安装CentOS7
把虚拟机名称改为master，安装位置你开心就好
按照我的配置来，把多余的移除了，这样可以保证虚拟机运行的速度
然后等待就好了，时间有点长
不要动，继续等待
设置为中文，你要是会其他语言当我没说
你可以从这里选择安装图形用户界面，我没选
这俩个都需要设置，设置完一定要记住
设置好就等待吧，时间有点长，不对，是超级长
然后重启
输入用户名和密码登陆
出来这个就成功了
五、master网络配置
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把里面的内容修改成下面的内容
按键盘i可以修改，修改好以后先按键盘Esc键，然后使用组合键Shift+: 最后输入wq然后回车就修改好了
如果看不清上面的看下面的
然后输入下面的内容重启网路
service network restart
出现上面的内容说明重启成功
然后ping一下自己的ip
ping 192.168.56.110出现下面内容就说明成功了
这时你会发现虚拟机就跟喝了脉动似的，根本停不下来，其实按Ctrl+c就可以停下来了
然后输入shutdown now关机为下一步做准备
六、从master克隆slave0和slave1
把虚拟机名称修改为slave0，位置你开心就好
这样slave0就复制好了，接下来用同样的方法复制slave1，这里我就不在演示了
七、slave0和slave1网络配置
首先打开slave0，然后登陆，密码和master一样
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把红色标记的地方修改成192.168.56.111，其余地方不修改
这样slave0就配置好了，用同样的方法配置slave1，把红色标记的地方修改成192.168.56.112
八、同步时间
首先先把三台虚拟机关机
这样一台的就设置好了，另外俩台类似，我这里就不再演示
九、Xshell5的安装与使用
1.Xshell5的作用
可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行命令操作
2.Xshell5的安装
直接双击
安装位置你开心就好
到这里就安装成功了
3.Xshell5的使用
名称随意，不过最好有意义；主机输入端口号
注意：链接之前记得把虚拟机开机
链接时需要输入用户名和密码，出现下面的内容就成功了
另外俩台操作一样，我这里不在演示
十、Xftp5的安装与使用
1.Xftp5的作用
可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行文件传输操作
2.Xftp5的安装
直接双击
安装位置你开心就好
到这里就安装成功了
3.Xftp5的使用
配置完下面的不要点确定，点选项
出现下面内容就说明成功了
另外俩台操作类似，我这里就不演示了
十一、关闭防火墙
首先打开并登陆master服务器
先查看防火墙状态
systemctl status firewalld.service我标记的内容说明防火墙此时是开启状态
关闭防火墙
systemctl stop firewalld.service该命令输入和执行后，终端不会有输出，要检查是否执行成功，可以再查看一次防火墙状态
出现我标记的内容说明关闭防火墙成功了
但是重启服务器时防火墙还会启动，所以还需要输入下面命令，防止重启服务器防火墙启动
systemctl disable firewalld.service
这样master的防火墙就关闭成功了，另外俩台也一样，我这里不做演示
十二、设置主机名
先在master服务器上操作’，输入下面命令
vi /etc/sysconfig/network修改成下面的内容
如果看不清上面请看下面
记得要把原来的内容删除掉
然后重新启动该主机，就会发现主机名被修改了
十三、hosts设置
十四、免密钥登陆配置
首先在master服务器输入下面命令
ssh-keygen -t rsa然后按四次回车，出现下面内容
然后输入下面命令进入ssh文件夹
cd ~/.ssh输入下面命令可以看文件夹里面的内容
ls -l
然后输入下面命令把公钥文件发送到自己和其它服务器
发送给自己
ssh-copy-id -i id_rsa.pub root@master输入yes
输入密码
成功后出现下面内容
然后再分别发送给slave0和slave1
验证是否成功
在master服务器输入下面的命令，都不需要输入密码，就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条
ssh master
ssh slave0
ssh slave1十五、安装JDK
首先在master服务器的usr/local目录下新建一个java文件夹，用下面命令就可以完成
mkdir /usr/local/java然后用Xftp连接master服务器，打开usr/local/java这个目录，把jdk-8u162-linux-x64.tar复制进去
接着用下面的命令进入到该目录
cd /usr/local/java接着用下面的命令进行解压
tar -zxvf jdk-8u162-linux-x64.tar.gz然后就解压好了
接下来开始配置环境变量，先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile按照我的配置来
看不清上面看下面
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile然后输入java、javac和java -version验证，如果都出现一大堆代码说明配置成功了，如果其中有一个或多个出现不是内部或外部命令，也不是可运行的程序或批处理文件等类似语句，就说明配置失败了，需要重新配置jdk环境
这样就安装好master服务器的jdk了，但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面
scp -r /usr/local/java root@slave0:/usr/local
这时已经把jdk复制到slave0了，但是slave0的环境变量还没有配置，我们同样可以使用下面命令来复制环境变量
scp -r /root/.bash_profile root@slave0:/root
然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profile这样 slave0中的jdk就安装成功了，slave1，与slave0类似，这里不做演示
十六、Hadoop安装与环境配置
先用下面的命令给opt文件夹中新建一个hapoop文件夹
mkdir /opt/hadoop
然后把hadoop-2.7.5复制到hadoop文件夹中
使用下面命令进入到hadoop文件夹
cd /opt/hadoop使用下面命令把hadoop-2.7.5进行解压
tar -zxvf hadoop-2.7.5.tar.gz
使用下面命令把hadoop-2.7.5文件夹重命名成hadoop
mv hadoop-2.7.5 hadoop
1.配置hadoop-env.sh
该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。
先用cd回到主目录
然后输入下面命令进入该文件所在的文件夹
cd /opt/hadoop/hadoop/etc/hadoop
用ls就可以看到该文件
然后输入下面命令打开该文件
vi hadoop-env.sh然后修改成下面的内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
2.配置core-site.xml
core-site.xm所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi core-site.xml
接着把下面命令写入<configuration></configuration>中，注释不用写
<!-- 指定Hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的储存目录，默认是/tmp/hadoop-${user.name} -->
<property><name>hadoop.tmp.dir</name><value>/opt/hadoop/hadoopdata</value>
</property>
3.配置hdfs-site.xml
hdfs-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi hdfs-site.xml
接着把下面命令写入<configuration></configuration>中，注释不用写
<!-- 指定HDFS副本的数量 -->
<property><name>dfs.replication</name><value>1</value>
</property>
4.配置yarn-site.xml
yarn-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi yarn-site.xml
接着把下面命令写入<configuration></configuration>中，里面自带的注释不用删除
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.address</name><value>master:18040</value>
</property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>master:18030</value>
</property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:18025</value>
</property>
<property><name>yarn.resourcemanager.admin.address</name><value>master:18141</value>
</property>
<property><name>yarn.resourcemanager.webapp.address</name><value>master:18088</value>
</property>
5.配置mapred-site.xml
还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录)，有一个叫 mapred-site.xml.template的文件，把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml，命令如下
mv mapred-site.xml.template mapred-site.xml然后用下面命令打开该文件
vi mapred-site.xml
接着把下面命令写入<configuration></configuration>中，注释不用写
<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
6.配置slaves
slaves所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi slaves
先把localhost这行删除，然后把下面代码写进去
master
slave0
slave1
7.配置Hadoop环境变量
先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile
把下面命令输入进去
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile8.新建Hadoop运行时产生文件的储存目录
先用cd命令回到总目录
接着用下面命令新建目录
mkdir /opt/hadoop/hadoopdata9.给slave0和slave1复制Hadoop
用下面命令就可以把master的Hadoop复制到slave0上
scp -r /opt/hadoop root@slave0:/opt用下面命令把master的Hadoop复制到slave1上
scp -r /opt/hadoop root@slave1:/opt接着用下面命令把master的环境变量复制到slave0上
scp -r /root/.bash_profile root@slave0:/root然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profileslave1与slave0类似，这里不做演示
10.格式化文件系统
在master中输入下面命令格式化文件系统，其余俩台服务器不用，注意该命令只能使用一次
hadoop namenode -format11.启动Hadoop
在master服务器上，先用下面命令进入Hadoop的sbin目录
cd /opt/hadoop/hadoop/sbin然后输入下面命令启动
start-all.sh
在三台服务器分别输入jps可以判断是否启动成功，出现下面内容说明成功
12.关闭Hadoop
只需要在master服务器输入下面命令即可
stop-all.shHadoop环境搭建相关推荐
- Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录 安装三台 CentOS 7系统 一.X-Shell的准备工作 二.基本工具安装 三.关闭防火墙 四.修改Host文件 五.3.4.4 ...
- Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录 前言 一.Hadoop的三种运行环境 二.集群规划 三.需要的基本软件安装 下期见 前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
- Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装 与 网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
- GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
- 【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
- hadoop环境搭建（详解）
hadoop 环境搭建 引言: 随着人工智能和大数据的热潮的到来,大数据变得越来越火了,坏蛋哥的信念就是致力于大数据的发展和进步,希望能为大数据的发展和推广尽一份绵薄之力.如果要做大数据,那么大数据相 ...
- Spark Hadoop 环境搭建http://www.jianshu.com/p/5b1eafdf34a9
Spark Hadoop 环境搭建 链接地址:http://www.jianshu.com/p/5b1eafdf34a9 来源:简书 博文内容与结构: 1.介绍了搭建大数据框架的文件和步骤; 2.包括 ...
- Hadoop环境搭建之zookeeper安装
Hadoop环境搭建 一.预备知识 1.大数据导论 1.1 大数据概念 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
- Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
Hadoop+hive+flask+echarts大数据可视化项目(二) --------------系统数据整合和hadoop环境搭建---------------- 关注Hadoop+Hive+F ...
- Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决 零.资源准备 一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...
最新文章
- 学习笔记Flink（一）—— Flink简介(介绍、基本概念、应用场景)
- PMCAFF微课堂 | 运营女神揭秘产品运营推广中的场景思维
- 2d与2.5d坐标转换_Three.js 地理坐标和三维空间坐标的转换
- 哈弗f5i潮配置参数_10万元起售的潮人新玩法，哈弗F5国潮版购车手册
- Android Canvas绘制带箭头的直线
- tablestore列式存储原理_10分钟搞透：技术人必会的MySQL体系结构与存储引擎！
- php 预防循环发短信_php短信接口发送短信失败，罪魁祸首原来在这里
- git多人合作时，恢复误删文件
- SparkSQL高并发：读取存储数据库
- 展示360度全景影像的利器--PanoramaGL
- Android ANR的trace文件基本信息解读
- 大道至简（原标题：少是指数级的多）
- 树莓派cm4安装ax200驱动-wifi6
- 国内一些黑客高手的联系方法
- windows 10专业版 1709 使用curl命令
- ubuntu将cuda卸载干净
- 大数据技术学习推荐书籍（一）
- 西安电子科大版《计算机操作系统》第四版共读——第十一章 多媒体操作系统
- 2016计算机学科夏令营上机考试C:反反复复（字符串处理）
- 心率检测仪的设计与实现