windows下hadoop的部署和使用

本教程在windows10环境下安装配置hadoop+hbase+spark。

一、下载压缩包：

1、JavaJDK，1.8以上。

2、Hadoop2.8.3，下载地址：http://archive.apache.org/dist/hadoop/core/

Hadoop2.8.3windows环境下的第三方包：winutils，

https://github.com/steveloughran/winutils，如果报nativeio异常，可以将此包解压至hadoop的bin目录下。

3、Spark2.2.0，下载地址：http://archive.apache.org/dist/spark/spark-2.2.0/

4、选择spark-2.2.0-bin-hadoop2.7点击下载。

二、安装配置

1、安装jdk并配置环境变量。

2、解压缩hadoop，配置环境变量。

右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME，如下图

3、修改hadoop配置文件

1）修改core-site.xml配置文件，位置在hadoop目录下etc/hadoop/core-site.xml，添加如下配置：

fs.defaultFS

hdfs://localhost:9000

2）修改hdfs-site.xml配置文件，位置在hadoop目录下etc/hadoop/hdfs-site.xml，添加如下配置：

dfs.replication

dfs.namenode.name.dir

/E:/geotrellis/hadoop-2.8.3/data/dfs/namenode

dfs.datanode.data.dir

/E:/geotrellis/hadoop-2.8.3/data/dfs/datanode

注意value里的目录，我这里使用全路径配置。

根据上面的配置，在hadoop目录下创建namenode、datanode节点存储目录。如下：

3）重命名mapred-site.xml.template为mapred-site.xml，位置同上添加配置：

mapreduce.framework.name

yarn

4）配置yarn-site.xml，位置同上

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

至此，hadoop配置完成，hdfs负责分布式存储，mapreduce负责分布式计算,yarn负责资源调度，基本的（伪）分布式环境初步建立。

三、测试使用

1、格式化namenode的hdfs目录

cmd命令下输入执行:hdfs namenode –format

2、启动hadoop，定位到sbin目录，如下输入

3、启动所有hadoop服务，输入start-all

这时候会弹出4个窗口，输入jps查看进程情况，如下：

输入：http://localhost:8088/ 查看hadoop的启动情况

4、测试和使用

1）创建hdfs的目录，如下：

Hadoop fs –mkdir /user

Hadoop fs –mkdir /user/input

2）上传文件

Hadoop fs –put e:/test.txt /user/input

Txt文本内容如下，输入：

Hadoop fs –cat /user/input/test.txt

3）词频计算

hadoop jar E:/geotrellis/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount/user/input/ /user/output

4）查看运行结果，如下：

windows下hadoop的部署和使用相关推荐

windows下hadoop安装时出现error Couldn‘t find a package.json file in “D:\\hadoop\hadoop-2.7.7\\sbin“问题
windows下hadoop安装时启动yarn时出现error Couldn't find a package.json file问题 yarn run v1.22.0 error Couldn't ...
windows下hadoop对lzo的支持
windows下hadoop对lzo的支持背景下半年学习大数据,首当其冲,先学习了hadoop 学习hadoop的过程可谓是艰难重重其中最麻烦的就是本地调式,写代码总会有bug,在网上也找到一些 ...
Windows下安装自动化部署工具Fabric
Windows下安装自动化部署工具Fabric 部署应用程序用FTP还是SCP还是rsync复制文件?如果你需要手动复制,用一次两次还行,一天如果部署50次不但慢.效率低,而且容易出错. 正确的部署方 ...
Windows下Hadoop eclipse开发平台搭建
搞了一个下午,在Linux和Windows下都成功了,步骤相差不大.一些小问题,google一下就能解决.但还是推荐在linux下搭建,很容易切稳定. 1.必要条件 Cygwin :我的版本是目前最新 ...
IDEA ：windows下Hadoop报错null\bin\winutils.exe
1.美图 2.背景在windows环境下hadoop或flink时,可能会出现如下异常: 2018-09-30 17:45:59,517 ERROR org.apache.hadoop.util.S ...
windows下hadoop的单机伪分布式部署（3）
下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hado ...
Windows下Hadoop的环境安装[转]
1.下载并安装Cygwin,记得cygwin安装中要把SSH选择上,因为后面Hadoop会用到,不详述cygwin的安装过程.我是安装在D:\cygwin下 2.配置系统环境变量在windows命令 ...
Windows下的Nginx部署React项目及解决反向代理跨域问题等-20.8.1更新
文章目录 1. 概述 2. 优点 3. 为什么选择Nginx 4. 下载 5. 安装 6. 配置参数详细说明 7. 命令行参数 7.1 启动nginx 7.2 重启nginx--重新加载配置 7.3 ...
基于Windows下使用Docker 部署Redis
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 1 去官网下载指定的版本 https:/ ...

windows下hadoop的部署和使用

windows下hadoop的部署和使用相关推荐

最新文章

热门文章