Hadoop的伪分布式安装

===================主机环境配置开始===============================

step1：安装VMware Workstation Pro

step2：安装Ctenos7

step3：在VMware中更改虚拟机网络类型为NAT方式（虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到）

step4：修改网卡信息

#找到对应网卡cd /etc/sysconfig/network-scripts/
vi ifcfg-ens32#修改为staticBOOTPROTO=static#修改为yesONBOOT=yes#追加以下信息（NAT设置中可以找到IP填入）GATEWAY=192.168.163.2IPADDR=192.168.163.128NETMASK=255.255.255.0DNS1=114.114.114.114DNS2=8.8.8.8ARPCHECK=no

step5：重启网络服务 service network restart （重启之后可以ping一下是否通）

step6：修改主机名 vi /etc/sysconfig/network 添加一列 HOSTNAME=cMaster

step7：修改主机名与IP映射，在root身份下 vi /etc/hosts 添加一行 192.168.2.100 cMaster

step8：关闭防火墙；

#查看防火墙状态
service iptables status
#临时关闭防火墙
service iptables stop
#关闭防火墙自动启动
chkconfig iptables off

======================主机环境完成================================

======================JDK安装开始================================

step1：下载jdk

step2：解压

step3：配置环境变量 vi /etc/profile （配置完成后执行 source /etc/profile 使其生效）

#配置环境变量
export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191
export HADOOP_HOME=/home/ws/hadoopApp/hadoop-3.0.2
export CLASSPATH=.:${JAVA_HOME}/lib.dt.jar:${JAVA_HOME}/lib/tools.jar

=====================JDK安装完成================================

====================Hadoop安装配置开始==========================

step1：下载Hadoop

step2：解压

step3：配置hadoop-env.sh（其配置文件均在hadoop-3.0.2/etc/hadoop下）

#修改JAVA_HOME为自定义安装的路径 export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191

step4：配置 core-site.xml

#添加如下代码<configuration><property><name>hadoop.tmp.dir</name><value>/home/ws/hadoopApp/cloudData</value></property><property><name>fs.defaultFS</name><value>hdfs://cMaster:9000/</value></property></configuration>

step5：配置hdfs-site.xml

#添加如下代码<configuration>
<property><name>dfs.replication</name><value>1</value>
</property><property><name>dfs.http.address</name><value>192.168.163.128:50070</value>
</property></configuration>

step6：配置mapred-site.xml（若文件名为mapred-site.xml.template，则先修改 mv mapred-site.xml.template mapred-site.xml ）

#添加如下代码
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

step7：配置yarn-site.xml

#添加如下代码
<configuration><!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cMaster</value>
</property><property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property></configuration>

step8：配置Hadoop环境变量（ vi /etc/profile 同java配置）

step9：创建公钥 / 私钥

#生成秘钥
ssh-keygen -t rsa
#创建authorized_keys文件并修改权限为600
cd .ssh
touch authorized_keys
chmod 600 authorized_keys
#将公钥追加到authorized_keys文件中去
cat id_rsa.pub >> authorized_keys
#尝试能否成功免密登录
ssh cMaster

step10：初始化（格式化）

hadoop namenode -format

step11：启动

start-dfs.sh

start-yarn.sh

step12：查看

jps

step13：访问web管理页面

#输入IP地址+端口号（50070）如： 192.168.163.128:5007

step14：window下修改主机和IP映射

文件地址： C:\Windows\System32\drivers\etc\hosts

====================Hadoop安装配置j结束==========================

====================MapReduce测试==============================

使用MapReduce自带的统计词汇程序进行测试

step1：在hdfs下建立一个文件夹用于装输入文本

hadoop fs -mkdir hdfs://cmaster:9000/wordcount/input

step2：将测试文件上传

 hadoop fs -put test.txt /wordcount/input

step3：找到测试jar包

#hadoop-mapreduce-examples-3.0.2.jar测试jar包所在路径
cd /home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/

step4：测试并将结果输入到指定文件夹

hadoop jar hadoop-mapreduce-examples-3.0.2.jar wordcount /wordcount/input /wordcount/output

注：测试时若报下列错误

[2018-11-18 20:57:15.662]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决办法：

①输入 hadoop classpath 得到classpath

②在yarn-site.xml 中添加下列代码其中value就是classpath输出结果

<property>
<name>yarn.application.classpath</name>
<value>/home/ws/hadoopApp/hadoop-3.0.2/etc/hadoop:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/*</value>
</property>

step5：查看结果

#查看目录hadoop fs -ls /wordcount/output
#查看结果文件hadoop fs -cat /wordcount/output/part-r-00000

或者在web端查看。

====================MapReduce测试结束==============================

几篇安装参考网页

https://blog.csdn.net/hliq5399/article/details/78193113

https://blog.csdn.net/boom_man/article/details/78192385

https://www.cnblogs.com/thousfeet/p/8618696.html

https://www.cnblogs.com/zhangyinhua/p/7647686.html#_lab2_0_1

转载于:https://www.cnblogs.com/ws410/p/9979082.html

Hadoop的伪分布式安装相关推荐

Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
Hadoop单机伪分布式安装详解
文章目录写在开头的话前提环境准备配置JAVA环境将jdk安装包传输至你的Linux宿主机中操作jdk安装包,然后配置java环境配置ssh免密登录安装Hadoop,及其hadoop配置 ...
hadoop 单机伪分布式安装步骤
文章目录 1. 安装 Java 2. 配置SSH无密码登录 3. 下载 hadoop 4. 配置环境变量 5. 报错处理参考环境 Centos7 参考: https://hadoop.apache. ...
【Hadoop】伪分布式安装---MapReduce程序运行到YARN上，编写MapReduce程序---HDFS yarn
在我的虚拟机(Linux)上安装的Hadoop是2.7.3版本的,安装过程可以参考这个网站,也可以下载. http://hadoop.apache.org/docs/r2.7.6/hadoop-pro ...
linux hadoop namenode_HADOOP_HDFS伪分布式安装步骤
1.网络配置好,关闭iptables防火墙,关闭selinux 2.jdk1.7.0_80 hadoop-2.6.5.tar.gz 上传这两个包 3.安装jdk rpm -ivh jdk-7u80-l ...
hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
hadoop hbase java_Hadoop、Hbase伪分布式安装
环境本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置由于Hbas ...

Hadoop的伪分布式安装

Hadoop的伪分布式安装相关推荐

最新文章

热门文章