win10搭建hadoop环境

前言

学习大数据框架，hadoop是许多其他框架的基础，因此需要掌握如何快速搭建hadoop的应用环境

通常来说，hadoop本地模式，伪分布模式和完全分布式，本篇以伪分布式单节点为例，快速在win10电脑上搭建出单节点的hadoop的运行环境，linux环境下可类似的操作

环境准备

1、前置准备

JDK环境，至少JDK1.8，相信JDK的环境安装就不再多说了吧，安装之后，确认下是否安装成功

2、下载合适版本的hadoop安装包

前往如下链接，https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/，本篇用的是2.10.1版本

3、配置环境变量

下载本地本地的某个目录之后，开始配置hadoop的环境变量

主要是将bin和sbin目录配置到环境变量中，新建环境变量：HADOOP_HOME，值为bin的全路径

然后配置到path路径中，这里需要配置2个，bin和sbin，2个都一起配置到环境变量中

以上配置完毕后，可进入cmd窗口，通过:hadoop -version查看是否配置成功（出现如下提示，表示配置完成）

4、修改核心配置文件

搭建hadoop最关键的一步，就是几个配置文件的参数修改，主要包括4个核心配置文件，
core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，初学者可参考本篇提供的配置样例，在后续的深入学习中，了解各个配置文件和参数的深入含义

进入：E:\bigData-tool\spark1\hadoop-2.10.0\etc\hadoop目录，找到上面的几个配置文件，依次修改，在修改之前，需要创建几个文件目录，用于保存hadoop运行过程中产生的数据文件

我这里在主目录下创建一个workspace目录，在workspace内部分别创建如下几个文件夹

core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/E:/bigData-tool/spark1/hadoop-2.10.0/workspace/tmp</value></property><property><name>dfs.name.dir</name><value>/E:/bigData-tool/spark1/hadoop-2.10.0/workspace/name</value></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property>    <name>dfs.namenode.name.dir</name>    <value>/E:/bigData-tool/spark1/hadoop-2.10.0/workspace/name</value>    </property>    <property>    <name>dfs.datanode.data.dir</name>    <value>/E:/bigData-tool/spark1/hadoop-2.10.0/workspace/data</value>  </property></configuration>

mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property>
</configuration>

yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hahoop.mapred.ShuffleHandler</value></property></configuration>

hadoop-env.cmd

这一步非常重要，通常很多开发的小伙伴安装JDK时候会默认安装在C盘目录下，这里直接将JDK的路径拷贝过来，会报错，导致后续的操作无法进行，本人已经踩过坑了，正确的配置如下：

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_171

5、初始化格式化namenode

进入smd窗口，输入：hdfs namenode -format，出现如下效果，说明初始化成功

6、启动（停止）hadoop

完成上面的操作之后，cmd黑窗口进入hadoop的sbin目录，直接：start-all.cmd开启服务

输入stop-all.cmd关闭服务

开启服务之后，会快速弹出4个黑窗口，然后浏览器访问：

http://localhost:8088/cluster ，出现如下界面表示环境搭建成功

本篇到此结束，最后感谢观看！

win10搭建hadoop环境相关推荐

linux下搭建hadoop环境步骤分享
linux下搭建hadoop环境步骤,需要的朋友可以参考下 1.下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop- ...
Win10配置Hadoop环境变量
Win10配置Hadoop环境变量 Eclipse.IDEA再windows10本地运行Hadoop的MapReduce程序. 解决痛点: 我们在学习hadoop的时候,平时为了运行MapReduce ...
云服务器搭建hadoop环境心得
本文参考博主-寒冰晓撤-的博文,在此基础上搭建hadoop环境,在她的基础上做了一些补充 0.背景网上的教程一般是在自己的电脑上安装一台虚拟机,然后载入CentOS环境,为满足集群化的效果,于是克 ...
win10搭建python环境_win10系统搭建python环境的还原方法
有关win10系统搭建python环境的操作方法想必大家有所耳闻.但是能够对win10系统搭建python环境进行实际操作的人却不多.其实解决win10系统搭建python环境的问题也不是难事,小编这 ...
windows搭建hadoop环境（解决HADOOP_HOME and hadoop.home.dir are unset）
一.软件安装 1.JDK1.8 链接:https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi 提取码:agoi 2.hadoop-3.1.3版 ...
【两次】基于win10搭建mask_rcnn环境，并跑通实验————分享经验
一.环境搭建概括 win10+GPU+python3.6+anaconda3.5+VS2015+CUDA8.0+cudnn6.0+tensorflow1.8.0 [啰嗦一下]:由于实验室服务器暂时用不 ...
超详细单机版搭建hadoop环境图文解析
转自:http://weixiaolu.iteye.com/blog/1401931 安装过程: 一.安装Linux操作系统二.在Ubuntu下创建hadoop用户组和用户三.在Ubuntu下安装 ...
linux hadoop测试,快速搭建Hadoop环境并测试mapreduce
目标: 安装测试本地单机Hadoop. 花费时间:10分钟前提: java环境已经准备好 hadoop有三种运行方式,单机版包括直接本地运行,假多点环境,多点集群环境.本文测试第一种方法,快速部署h ...
SUSE上搭建Hadoop环境（单机模式+伪分布模式）
为什么80%的码农都做不了架构师?>>> [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...

win10搭建hadoop环境

前言

环境准备

win10搭建hadoop环境相关推荐

最新文章

热门文章