hadoop入门-在windows上安装，测试hadoop

上一篇简单叙述了怎么样在windows上编译hadoop，接着上一篇，这篇叙述怎么样安装hadoop并进行简单的验证安装是否正确。编译的机器与安装的机器分开。

我编译的机器是windows7，安装的机器是windows 2008 r2.

第一步：编译完之后，会在target目录下生成hadoop-2.2.0.tar.gz文件，将该文件解压到一个目录下面，然后将整个目录拷贝到目标机器上，尽量选择简单的目录，比如e:\hd

第二步：添加HADOOP_HOME到系统环境变量里，值为e:\hd.并将%HADOOP_HOME%\bin 添加到path里面。

第三步：配置hadoop

1.修改core_site.xml文件

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2.修改hdfs-site.xml文件

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/hdp/data/dfs/namenode</value>
   </property>
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/hdp/data/dfs/datanode</value>
   </property>
</configuration>
3.修改yarn-site.xml文件

<configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>
      yarn.nodemanager.aux-services.mapreduce_shuffle.class
   </name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>
第四步：准备hadoop cluster

执行

cd c:/%HADOOP_HOME%/bin
hdfs namenode -format

说明：如果提示JAVA_HOME没有设置或者设置不对，请安装jdk，最好将jdk安装在没有空格的路径里，然后设置JAVA_HOME系统变量。

第五步：启动HDFS

执行

cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步：启动yarn

执行命令：

cd c:/%HADOOP_HOME%/sbin
start-yarn

第七步：验证hadoop cluster是否工作

访问http://localhost:8042和http://localhost:50070

第八步：测试cluster

执行

hadoop dfs -mkdir /test

以及

hadoop dfs -ls /

hadoop入门-在windows上安装，测试hadoop相关推荐

ros2与windows入门教程-windows上安装ROS2 foxy
系列文章目录 ros2与windows入门教程-windows上安装ROS2 foxy ros2与windows入门教程-控制小乌龟 ros2与windows入门教程-监听和发布话题 ros2与win ...
hadoop入门-在windows上编译x64位hadoop
环境 Windows 7 x64位,visual studio 2010 professional hadoop 源码版本2.2.0 步骤(来源于书<Pro Apache Hadoop, Sec ...
[Hadoop]在Windows上安装Hadoop
详细步骤请下载附件:在Windows上安装Hadoop ,以下是主要章节: 1.引言本示例主要介绍如何在windows下安装/启动hadoop,本示示例中在以下环境测试通过: ★ 操作系统:wind ...
如何在Windows上安装Angular：Angular CLI，Node.js和构建工具指南
In this tutorial, we'll learn how to install Angular CLI in Windows and use it to create an Angular ...
在 Windows 上安装 TensorFlow（转载）
在 Windows 上安装 TensorFlow windows下配置安装Anaconda+tensorflow Spyder--科学的Python开发环境 Windows7 安装TensorFlow ...
【吐血经验】在 windows 上安装 spark 遇到的一些坑 | 避坑指南
在 windows 上安装 spark 遇到的一些坑 | 避坑指南最近有个活:给了我一个阿里云桌面(windows 10系统),让我在上面用 scala + spark 写一些东西. 总是报错不断, ...
polybase配置 sql_在 Windows 上安装 PolyBase
在 Windows 上安装 PolyBaseInstall PolyBase on Windows 09/24/2018 本文内容适用于:Applies to:SQL ServerSQL Serve ...
在Windows上安装Elasticsearch 5.x
自己想学习Elasticsearch,但是又不懂Linux,按照同事给的Linux安装教程,也是搞不明白,于是想先在Windows上安装一下入门.可是百度的大部分都是ES 1.x,2.x版本的教程,5 ...
1. windows上安装antlr4（code generation target为Java）
1. 絮絮叨叨读研时,需要基于不同的应用(大数据组件)比较HDFS改造后的性能,当时有使用到Impala 当时,导师给我推荐了ANTLR(ANother Tool for Language Reco ...

hadoop入门-在windows上安装，测试hadoop

hadoop入门-在windows上安装，测试hadoop相关推荐

最新文章

热门文章