**Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例**

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例

Hadoop搭建教程
一、需要安装的工具：
1.首先确保虚拟机能连上网。
2.更新源列表：
sudo apt-get update
sudo apt-get upgrade
3.安装vm-tool
sudo apt install open-vm-tools-desktop
4.sudo apt install net-tools
5.sudo apt install vim
6.sudo apt install ssh

二、配置虚拟机
1.修改主机名：把主机名ubuntu改为master（在从主机上则改为slave)
sudo gedit /etc/hostname
2.修改hosts文件：sudo gedit /etc/hosts，添加如下内容：
192.168.232.200 master
192.168.232.201 slave
注意：不能放在最下边，从注释行开始往下是配置ipv6的，ip和域名之间必须是一个tab，且域名后不能有空格，否则是ping不通的。
3.重启网络
sudo /etc/init.d/networking restart
4.防火墙设置
查看防火墙状态：
sudo ufw status
关闭虚拟机的防火墙
sudo ufw disable
inactive状态是防火墙关闭状态，active是开启状态。
systemctl stop firewalld.service
systemctl disable firewalld.service

三、安装SSH服务
1.安装ssh
sudo apt-get install ssh
或者
apt-get install openssh-server
2.查看ssh服务是否启动
sudo ps -e |grep ssh
看到sshd则说明服务启动了。如果没有启动，运行下面的指令启动服务。
sudo service ssh start

四、建立ssh免密登录
1、使用rsa算法生成秘钥和公钥：
ssh-keygen -t rsa
运行后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的。
2、进入.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中
cd .ssh
cat id_rsa.pub >>authorized_keys
chmod 600 authorized_keys
3、测试登录本机，及退出登录
ssh localhost
exit
完全分布式才需要下面的步骤4和步骤5
4、克隆出从机slave。
1)需要修改hostname为slave并配置IP地址
2)需要删除.ssh目录并重复上述1~3步骤，实现免密登录本机。
5、配置master免密登陆slave：（需要先在master和slave上都实现本机免密）
1)把master的id_rsa.pub拷到slave的home下:
scp id_rsa.pub lusm@slave:~/
2)slave的home目录下输入命令
cat id_rsa.pub >> .ssh/authorized_keys
3)测试master免密登录slave
ssh slave
exit
6、slave到master的免密。
1)把slave的id_rsa.pub拷到master的home下:
scp id_rsa.pub lusm@master:~/
2)master的home目录下输入命令
cat id_rsa.pub >> .ssh/authorized_keys

第5步可以用ssh-copy-id实现：
ssh-copy-id -I id_rsa.pub gdsdxy@slave

五、配置环境变量
1、下载jdk和hadoop源文件：
Jdk-11.0.2：https://www.oracle.com/technetwork/java/javase/downloads/index.html
Hadoop-2.7.7：https://hadoop.apache.org/release/2.7.7.html
2、创建hadoop目录（路径：usr/loacl/hadoop），并将下载的源文件提取（解压缩）到新建的hadoop目录中。
sudo mv ./hadoop/ /usr/local # 将文件夹hadoop
cd /usr/local # 定位到/usr/local
sudo chown -R lusm ./hadoop # 修改目录所有者
3、配置jdk和hadoop的环境变量：
sudo gedit /etc/profile
在打开的profile文件中添加下面内容：
export JAVA_HOME=/usr/local/hadoop/jdk-11.0.2
export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export PATH=HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
4、使用以下命令，在不用重启系统的情况下，使修改的内容生效：
source /etc/profile
或者
. /etc/profile
5、测试环境变量
echo $PATH
java -version
hadoop version
修改 .bashrc 文件是在当前用户shell 下生效并且修改这个文件之后同样也需要使用 source 或者是 . 使配置文件生效。

六、配置hadoop
如果用户没有设置，系统默认采用的配置，优先级 *-default.xml < *-site.xml
Hadoop默认配置：https://hadoop.apache.org/docs/r2.7.7/
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml
*-site.Xml配置步骤：
1、在/usr/local/hadoop/hadoop-2.7.7文件夹里面先创建3个文件夹（目录）：
cd /usr/local/hadoop/hadoop-2.7.7
sudo mkdir -p tmp
sudo mkdir -p tmp/dfs/name
sudo mkdir -p tmp/dfs /data
2、先进入配置文件的路径：
cd /usr/local/hadoop/hadoop-2.7.7/etc/hadoop
我们将依次编辑如下6个文件，完成伪分布式hadoop的搭建：
1)core-site.xml
2)hdfs-site.xml
3)hadoop-env.sh
4)mapred-site.xml.template
5)yarn-site.xml
6)yarn-env.sh
1)配置core-site.xml文件
sudo gedit core-site.xml
在中加入以下代码：

2)配置hdfs-site.xml
sudo gedit hdfs-site.xml
在中加入以下代码

3)配置 hadoop-env.sh文件
sudo gedit hadoop-env.sh
export JAVA_HOME=/usr/local/hadoop/jdk-11.0.2
4)配置mapred-site.xml.template
复制mapred-site.xml.template文件，并命名为mapred-site.xml：
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
在中加入以下代码

5)配置yarn-site.xml
sudo gedit yarn-site.xml
在标签中添加以下代码

6)配置 yarn-env.sh
sudo gedit yarn-env.sh
export JAVA_HOME=/usr/local/hadoop/jdk-11.0.2
3、配置slaves 文件
sudo gedit slaves
把原本的localhost删掉，改为slave
4、如果要搭建完全分布式的hadoop，需要克隆slave。slave克隆出来后需要设置，参看ssh免密第4步骤
5、初始化hadoop
hdfs namenode –format 注意：格式化只能做一次
6、开启hadoop
两种方法：
start-all.sh
先start-dfs.sh,再start-yarn.sh
如果在mater上面键入jps后看到

在slave上键入jps后看到

则说明集群搭建成功

七、最后用自带的样例测试hadoop集群能不能正常跑任务

1、添加新用户t1：
sudo useradd –d /home/t1 –m –g sudo t1
2、设置t1密码：
sudo passswd t1
3、修改主目录所有者：
sudo chown -R t1 /home/t1

sudo /etc/init.d/networking restart
sudo useradd t1
usermod –g sudo t1
sudo passswd t1
sudo chown -R t1 /home/t1

使用命令:hadoop jar /home/t1/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 10 10用来求圆周率，pi是类名，第一个10表示Map次数，第二个10表示随机生成点的次数
最后出现结果

则，恭喜你，hadoop集群搭建完成.

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例相关推荐

万能Ghost全攻略(最详细完整的教程)
万能Ghost全攻略(最详细完整的教程) 一.运行 Sysprep 工具的要求要使用 Sysprep 工具,计算机的硬件和相关设备必须满足下列要求: 1. 参考计算机和目标计算机必须具有兼 ...
php安装依赖于mysql吗_PHP_老司机传授Ubuntu下Apache+PHP+MySQL环境搭建攻略，一、首先安装MySql：对于MySql - phpStudy...
老司机传授Ubuntu下Apache+PHP+MySQL环境搭建攻略一.首先安装MySql:对于MySql来讲在整个过程中是相对独立的安装,并且我的ubuntu在以前做开发的时候就已经安装了MySq ...
博客搭建攻略（一）：平台选择
本系列文章预告博客搭建攻略(一):平台选择博客搭建攻略(二):工具推荐博客搭建攻略(三):创造收益如您对本系列内容感兴趣,就点击标题下方的程序猿DD关注我吧~ 前言虽然在大学生涯就有开始写技 ...
失落世界服务器国庆宝箱位置,失落的斯菲尔图文攻略全剧情任务流程全宝箱收集...
原标题:失落的斯菲尔图文攻略全剧情任务流程全宝箱收集 <失落的斯菲尔>剧情流程图文攻略游戏介绍: <失落的斯菲尔(Lost Sphear)>是由Tokyo RPG Fac ...
WebGoat通关攻略与详细解析——SQL Injection(intro)篇
写在前面: 目前WebGoat通关攻略与详细解析处于持续更新中,若大家在阅读的过程中发现什么问题或者有什么建议,都可以在发布在评论区或私信我,我们一起共同探讨! 由于所有通关攻略写在一起导致篇幅太长, ...
博客搭建攻略（三）：创造收益
在前两篇博客搭建攻略中,主要介绍了博客平台的选择以及写博的常用工具.作为本系列的最后一篇,可能也是大家最感兴趣的一篇,我将给大家介绍一下在博客编写过程中,是如何创造收益的. 下面,以我个人为例,总结一 ...
博客搭建攻略（二）：工具推荐
回顾:博客搭建攻略(一):平台选择预告:博客搭建攻略(三):创造收益,如果兴趣就关注我吧~ 通过上一篇的教程,根据自己的需求选择一款博客平台,就能完成博客的搭建.在这之后,我们的主要任务就是创作内容 ...
支付宝牵头，近30亿红包等你领，攻略全在这里了！
支付宝牵头,近30亿红包等你领,攻略全在这里了! 过了腊八就是年!抢红包也就成了很多小伙伴过年的必备仪式!细数今年的红包战场可为是热闹异常,不仅多了几员实力大将,就连金额也让人瞠目. 支付宝坚持老路子 ...
七日杀unity报错_七日杀游戏闪退及各种游戏报错解决攻略全解
七日杀是一款人称的丧尸生存类游戏,现在有非常多的游戏都是丧尸生存题材的,但是要找到比较精品的游戏,我还是推荐大家玩这款,这里跟大家分享一下七日杀游戏闪退及各种游戏报错解决攻略全解,大家如果有遇到问题可 ...

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例相关推荐

最新文章

热门文章

**Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例**

**Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例**相关推荐

最新文章

热门文章

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例

Hadoop Ubuntu系统搭建攻略全详细！！！附带Hadoop搭建成功后测试案例相关推荐