hadoop的安装需要java_Hadoop windows本地环境安装

有时候需要调试hadoop的程序，如果都要传到linux上，非常不方便。我们可以搭建一个windows的单机版本hadoop环境，测试我们的代码。

一、下载所需文件

JDK下载地址，jdk1.8下载

Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。

Hadoop windows环境编译工具，winutils下载，下载后解压出来

二、安装文件

jdk安装，省略

hadoop安装，由于下载的hadoop文件是不用安装的，我们只需要解压出来就可以了解压目录 D:\dev-tools\hadoop\hadoop-2.8.3

三、环境变量配置

jdk，省略

在环境变量中建立HADOOP_HOME，并在path中配置 %HADOOP_HOME%\bin

四、配置hadoop文件

配置 core-site.xml文件

hadoop.tmp.dir

/D:/data/hadoop

fs.default.name

hdfs://localhost:9000

2. 配置mapred-site.xml

mapreduce.framework.name

yarn

配置 hdfs-site.xml

dfs.replication

配置 yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

找到 hadoop-env.cmd 文件并打开，添加下面

set JAVA_HOME=%JAVA_HOME%

五、替换文件

解压我们之前下载的 winutils-master 文件，找到符合自己的版本，替换 D:\dev-tools\hadoop\hadoop-2.8.3\bin 的文件

六、运行

1.运行cmd窗口，执行hdfs namenode -format ，格式化hdfs文件系统。

2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd启动hadoop，包括yarn/hdfs

七、测试

打开下面的网页可以查看hdfs状态

http://localhost:50070

打开下面的网页可以查看yarn状态

http://localhost:8088/cluster

配置好的hadoop 2.8.3，已经上传到网盘，可以自行下载后配置环境变量即可使用

链接：https://pan.baidu.com/s/1kfbWDu7MuGuOPAQ1jn0fKw

提取码：0g4u

hadoop的安装需要java_Hadoop windows本地环境安装相关推荐

本地搭建织梦php,dedecms本地安装教程,如何搭建本地环境安装织梦网
如果我们拿到一套dede模板就上传到线上空间再安装,至少有两个弊端,一个是一边修改网站模板搜索引擎一边收录,于后期优化而言,很不友好:另一个就是万一模板有什么缺失不完整等缺点,我们上传才发现,则浪费了 ...
windows Perl环境安装与Hello World
windows Perl环境安装与Hello World Windows环境安装 Hello World Windows环境安装安装包下载地址: https://strawberryperl.com ...
1.1.Perl环境安装-Windows下环境安装
Perl环境安装-Windows下环境安装 B站视频教程: 菜鸟学生信一.Perl软件下载安装下载:https://strawberryperl.com/releases.html 安装:解压即可 ...
自学python需要安装什么-Python自学之环境安装
原标题:Python自学之环境安装网上有各种Python环境安装的教程,看似简单但只有自己亲身实践才知有好多坑.作者在Windows 7 32位操作系统下部署Python环境(这里遇到的一个坑是Wi ...
Appium自动化测试1：Windows Appium环境安装
请注意,如果电脑是64位,则都下载64位的软件,以免环境不同. 一.适用操作系统 Win7 旗舰版Sp1 64位操作系统或 32位操作系统二.安装步骤: 1)安装JDK 下载地址:链接: http ...
django本地安装mysql_django使用mysql(本地环境下)_MySQL
事例使用的django版本是1.4.0(最近在使用sae,没办法,只好从1.7.1撤了回来).不过原理大概都是相仿的吧. django支持多种数据库管理工具,如mysql, postgresql, s ...
texlive安装需要多久_LaTex编译环境安装与使用
由于公众号改版不再按照作者的发布时间进行推送,为防止各位朋友错过月来客栈推送的最新文章,大家可以手动将公众号设置为"星标⭐"以第一时间获得推送内容,感谢各位~ 1 前言各位朋友大 ...
yum安装ruby_centos 6.5 ruby环境安装
redis3.0以上支持集群,自带集群管理工具redis-trib.rb:在搭建集群前,安装ruby环境安装开发工具 1.命令:yum groupinstall "Development ...
三、安装cmake，安装resin ，tars服务，mysql 安装介绍，安装jdk，安装maven，c++ 开发环境安装...
三.安装cmake,安装resin 2018年07月01日 21:32:05 youz1976 阅读数:308 开发环境说明: centos7.2 ,最低配置:1核cpu,2G内存,1M带宽 1.安装 ...

hadoop的安装需要java_Hadoop windows本地环境安装

hadoop的安装需要java_Hadoop windows本地环境安装相关推荐

最新文章

热门文章