Windows下hadoop配置

第一步：安装JDK，点击一下链接下载JDK，并安装。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安装过程中，第一小步安装jdk，第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。（不能都安装在java文件夹的根目录下，jdk和jre安装在同一文件夹会出错）

第二步：配置环境变量，找到计算机→属性→高级系统设置→高级→环境变量

系统变量→新建 JAVA_HOME 变量。

变量值填写jdk的安装目录（本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系统变量→寻找 Path 变量→编辑
在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

（注意原来Path的变量值末尾有没有;号，如果没有，先输入；号再输入上面的代码）

系统变量→新建 CLASSPATH 变量
变量值填写 .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一点）
系统变量配置完毕

检验是否配置成功运行cmd 输入 java -version （java 和 -version 之间有空格）

若如图所示显示版本信息则说明安装和配置成功。

注意，在这个地方有一个Java的环境变量配置中不能出现空格，否则hadoop配置不会成功，跑不起来。我这里JDK安装的目录就有空格，如下图，本来是C盘program files下Java文件夹，在JAVA_HOME配置那个地方直接用PROGRA~1代替program files

第三步：下载hadoop并安装

hadoop安装步骤可以参考https://blog.csdn.net/xrui_java7/article/details/70231221

或者https://www.cnblogs.com/wuxun1997/p/6847950.html 这两篇就OK啦，很简单的。

需要注意的是在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件时注意要根据自己的hadoop安装路径做相应的调整，改成自己的安装路径

其他就没什么了，配好之后cmd打开控制台，运行

hadoop namenode -format

可以看到如下图的效果就配好了。

接着使用 start-all.cmd 命令启动服务

启动这四个服务：

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager

如果有服务没启动起来，看下报啥错。这里我本来也没启动起来，打开Hadoop/etc/hadoop 下的hadoop-env.cmd文件把Java_home值改成jdk安装的绝对路径。

HDFS应用

在浏览器输入 http://127.0.0.1:8088/cluster 就能看到集群所有节点的状态

2、访问http://localhost:9870/即可查看文件管理页面：

进入文件管理页面：如果这里打不开不对的话，重新用 hdfs namenode -format命令建一下namenode，然后去D:\hadoop\data\dfs\namenode 里头(hdfs-site.xml里配的namenode和datanode保存的路径，自己建下文件夹)看下有没有东西，如果有东西了就是已经成功。这样才能访问文件管理页面。

第四步安装Spark

点击链接可下载Spark：http://spark.apache.org/downloads.html，可根据自己安装的hadoop版本在箭头位置选择自己对应的版本。

下载完之后直接，解压安装就可以了，很简单的。

然后cmd 在DOS下输入：

spark-shell

酱紫就安装成功了。

但这个时候每次运行spark-shell（spark的命令行交互窗口）的时候，都需要先cd到Spark的安装目录下，比较麻烦，因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\spark-2.3.0-bin-hadoop2.7\bin，那么就把这个路径名添加到系统变量的PATH中即可，方法和JDK安装过程中的环境变量设置一致，设置完系统变量后，在任意目录下的cmd命令行中，直接执行spark-shell命令，即可开启Spark的交互式命令行模式。

Windows下hadoop配置相关推荐

windows下apache配置虚拟主机的两个方法
windows下apache配置虚拟主机方法一: 对httpd.conf进行设置: 1.注释以下三行 #ServerAdmin #ServerName #DocumentRoot 2．去掉mod_pr ...
windows下VS2015配置caffe
Windows下VS2015配置caffe,是一件其实挺简单但是坑特别多的事情,稍有不慎就爬不出来,写博客来记录最后在老师帮助下才配置成功的经验(严格按照老师的教程一步也不能错才行),当然我写得也详细 ...
Redis在windows下的配置
原文:Redis在windows下的配置 Redis在windows下的配置(在windows-64下安装redis,请参考微软redis的github:https://github.com/MSOp ...
Windows下安装配置SubVersion的简明步骤
Windows下安装配置SubVersion的简明步骤 [使用的安装程序和文档说明] svn-1.4.0-setup.exe:Subversion服务端1.4.0安装程序: SubService.ra ...
Windows下安装配置ant
1.ant安装请从官网下载ant的*.zip格式的安装包, Windows建议下载*.zip版本, Linux建议下载*.gz版本. 2.配置环境变量解压之后,在Windows中配置环境变量, 在 ...
在windows下安装配置Ulipad
在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad,用来写一些小的Python脚本非常方便. Ulipad下载地址: https://github.com/limodou ...
WINDOWS下VIM配置
Windows下gvim配置原作地:http://hi.baidu.com/leemoncc/blog/item/a6be15cf40d7ab31b600c806.html 0.准备软件及插件. (a ...
windows下hadoop安装时出现error Couldn‘t find a package.json file in “D:\\hadoop\hadoop-2.7.7\\sbin“问题
windows下hadoop安装时启动yarn时出现error Couldn't find a package.json file问题 yarn run v1.22.0 error Couldn't ...
tflearn教程_环境部署——Windows下安装配置tensorflow和tflearn
原标题:环境部署--Windows下安装配置tensorflow和tflearn 本例依赖Windows 7 x64位系统,由于Tensorflow依赖于Python,以及大量的相关依赖包,为了免除大 ...
windows下hadoop对lzo的支持
windows下hadoop对lzo的支持背景下半年学习大数据,首当其冲,先学习了hadoop 学习hadoop的过程可谓是艰难重重其中最麻烦的就是本地调式,写代码总会有bug,在网上也找到一些 ...

Windows下hadoop配置

Windows下hadoop配置相关推荐

最新文章

热门文章