1、安装JDK1.6或更高版本

  官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。

2、安装Cygwin

  Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/

  根据操作系统的需要下载32位或64的安装文件。

  1)、双击下载好的安装文件,点击下一步,选择install from internet

  
  2)、选择安装路径

  3)、选择local Package Directory

  4)、选择您的Internet连接方式

  5)、选择合适的安装源,点击下一步

  

  6)、在Select Packages界面里,Category展开net,选择如下openssh和openssl两项

  

    如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed

  

    如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim

  

  7)、点击“下一步”,等待安装完成。

3、配置环境变量

  在“我的电脑”上点击右键,选择菜单中的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:D:\hadoop\cygwin64\bin

4、安装sshd服务

  双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令

  

  执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功。

  输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

   可能会遇到无法安装和启动sshd服务的问题,可参考此连接http://www.cnblogs.com/kinglau/p/3261886.html。

  另外如果是Win8操作系统,启动Cygwin时,需要以管理员身份运行(右键图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。

5、配置SSH免密码登录

  执行ssh-keygen命令生成密钥文件

  如下图所示,输入:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,注意-t -P -f参数区分大小写。

  ssh-keygen是生成密钥命令

  -t 表示指定生成的密钥类型(dsa,rsa)

  -P表示提供的密语

  -f指定生成的密钥文件。

  注意:~代表当前用户的文件夹,/home/用户名

  

  执行此命令后,在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名  查看,ssh -version命令查看版本。

  执行完ssh-keygen命令后,再执行下面命令,就可以生成authorized_keys文件了。

  cd ~/.ssh/

  cp id_dsa.pub authorized_keys

  如下图所示:

  

  然后执行exit命令,退出Cygwin窗口

6、再次在桌面上双击Cygwin图标,打开Cygwin窗口,执行ssh localhost命令,第一次执行该命令会有提示,输入yes后,回车即可。如下图所示

  

7、安装Hadoop

  hadoop官网下载http://hadoop.apache.org/releases.html。

  把hadoop压缩包解压到/home/用户名 目录下,文件夹名称更改为hadoop,可以不修改,但后边在执行命令时稍显麻烦。

  (1)单机模式配置方式

    单机模式不需要配置,这种方式下,Hadoop被认为是一个单独的Java进程,这种方式经常用来调试。

  (2)伪分布模式

    可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker。

    这种模式下修改几个配置文件即可。

    配置hadoop-env.sh,记事本打开改文件,设置JAVA_HOME的值为你的JDK安装路径,例如:

    JAVA_HOME="D:\hadoop\Java\jdk1.7.0_25"    

    配置core-site.xml

按 Ctrl+C 复制代码

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>mapred.child.tmp</name><value>/home/u/hadoop/tmp</value></property> </configuration>

按 Ctrl+C 复制代码

配置hdfs-site.xml

按 Ctrl+C 复制代码

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration><property><name>dfs.replication</name><value>1</value> </property> </configuration>

按 Ctrl+C 复制代码

配置mapred-site.xml

按 Ctrl+C 复制代码

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --> <configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property><property><name>mapred.child.tmp</name><value>/home/u/hadoop/tmp</value></property> </configuration>

按 Ctrl+C 复制代码

8、启动Hadoop

  打开Cgywin窗口,执行cd ~/hadoop命令,进入hadoop文件夹,如下图:

  

  启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:bin/hadoop namenode -format

  注意namenode要小些,否则如果输入NameNode,会提示错误,找不到或无法加载主类NameNode。执行正确命令后如下图所示:

  

  输入命令 bin/start-all.sh,启动所有进程,如下图:  

接下来,验证是否安装成功

打开浏览器,分别输入下列网址,如果能够正常浏览,说明安装成功。

http://localhost:50030,回车打开MapReduce的web页面,如下图(页面部分截图):

http://localhost:50070,回车打开HDFS的web页面,如下图(页面部分截图):

第一次启动后,如果都不能浏览,或不能浏览某一个,退出Cygwin,重新打开Cygwin,执行bin/start-all.sh命令。

如果只想启动MapReduce,可执行bin/start-mapred.sh命令。

如果只想启动HDFS,可执行bin/start-dfs.sh命令。

参考文献:

本文参考和引用了《Hadoop实战》(作者:陆嘉恒)中的章节“2.3在Windows上安装与配置Hadoop”。

特此声明,如果涉及到版权问题,请告知。

分类: Hadoop
绿色通道: 好文要顶 关注我 收藏该文与我联系

kinglau
关注 - 16
粉丝 - 42

+加关注

5
0
(请您对文章做出评价)

« 上一篇:Windows 平台下安装Cygwin后,sshd服务无法启动
» 下一篇:Hadoop的datanode无法启动

posted @ 2013-08-20 16:15 kinglau 阅读(34107) 评论(29) 编辑 收藏
评论列表
#1楼 2014-03-14 14:52 lovetimi
你好,看过你的文章后,跟着你做到
8、启动Hadoop
小写namenode还是会提示错误,找不到或无法加载主类NameNode。
不知道是怎么回事。。
支持(0)反对(0)

#2楼 2014-03-24 16:32 清清2013
http://localhost:50079,回车打开HDFS的web页面,如下图(页面部分截图)

端口應該是http://localhost:50070

支持(0)反对(0)

#3楼 2014-04-02 15:52 jianshuang
Administrator@wx ~
$ net start sshd
CYGWIN sshd ▒▒▒▒▒▒▒▒▒▒▒▒ .
CYGWIN sshd ▒▒▒▒▒Ѿ▒▒▒▒▒▒ɹ▒▒▒

Administrator@wx ~

这表示启动服务成功了吧。

支持(0)反对(0)

#4楼 2014-04-05 17:50 KiwenLau
@jianshuang
cygwin中文乱码问题解决可以参见我的博客《Cygwin中文乱码》http://www.cnblogs.com/kiwenlau/p/3645752.html
支持(0)反对(0)

http://pic.cnblogs.com/face/569245/20150603225120.png

#5楼 2014-04-05 17:51 KiwenLau
@清清2013
我也发现这个问题了。还以为自己装错了,楼主修改一下吧!
支持(0)反对(0)

http://pic.cnblogs.com/face/569245/20150603225120.png

#6楼[楼主] 2014-05-23 11:22 kinglau
@清清2013
多谢,已修改。
支持(0)反对(0)

#7楼 2014-06-25 20:59 程序猿213
你好,我按照您的步骤做,在执行format的时候./hdfs namenode -format,报错如下:
错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

请问是什么原因呢

支持(0)反对(0)

#8楼 2014-07-02 11:54 364718323
遇到7楼问题 找不到解决方法吖
支持(0)反对(0)

#9楼 2014-08-13 19:36 changanlaosan
administrator@2012-20121224CP /cygdrive/d/hadoop-0.20.2
$ bin/hadoop namenode format
14/08/13 19:27:45 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = 2012-20121224CP/192.168.131.182
STARTUP_MSG: args = [format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = //svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Usage: java NameNode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
14/08/13 19:27:45 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 2012-20121224CP/192.168.131.182
************************************************************/
我崩溃了,到底怎么弄各种错误,求楼主这个问题怎么办,我是新手谢谢了怎么弄都不行了
支持(0)反对(0)

#10楼 2014-08-13 19:38 changanlaosan
最后格式化的时候出现了上边的原因,楼主求解答、、
支持(0)反对(0)

#11楼 2014-08-17 10:10 懂zj你
@lovetimi
请问这个问题你解决了吗?
支持(0)反对(0)

#12楼 2014-08-17 10:10 懂zj你
@changanlaosan
请问这个问题你解决了吗?
支持(0)反对(0)

#13楼 2014-08-17 10:11 懂zj你
@程序猿213
请问这个问题你解决了吗?
支持(0)反对(0)

#14楼[楼主] 2014-08-18 11:00 kinglau
@changanlaosan
$ bin/hadoop namenode -format
支持(0)反对(0)

#15楼 2014-10-31 13:40 孙畅
你好,我遇到问题Administrator@ks-zx-pc-100 ~
$ ssh-host-config -y

*** Info: Generating missing SSH host keys
*** Query: Overwrite existing /etc/ssh_config file? (yes/no) yes
*** Info: Creating default /etc/ssh_config file
*** Query: Overwrite existing /etc/sshd_config file? (yes/no) yes
*** Info: Creating default /etc/sshd_config file

*** Info: StrictModes is set to 'yes' by default.
*** Info: This is the recommended setting, but it requires that the POSIX
*** Info: permissions of the user's home directory, the user's .ssh
*** Info: directory, and the user's ssh key files are tight so that
*** Info: only the user has write permissions.
*** Info: On the other hand, StrictModes don't work well with default
*** Info: Windows permissions of a home directory mounted with the
*** Info: 'noacl' option, and they don't work at all if the home
*** Info: directory is on a FAT or FAT32 partition.
*** Query: Should StrictModes be used? (yes/no) yes

*** Info: Privilege separation is set to 'sandbox' by default since
*** Info: OpenSSH 6.1. This is unsupported by Cygwin and has to be set
*** Info: to 'yes' or 'no'.
*** Info: However, using privilege separation requires a non-privileged account
*** Info: called 'sshd'.
*** Info: For more info on privilege separation read /usr/share/doc/openssh/README.privsep.
*** Query: Should privilege separation be used? (yes/no) yes
*** Info: Updating /etc/sshd_config file

*** Info: Sshd service is already installed.

*** Info: Host configuration finished. Have fun!

Administrator@ks-zx-pc-100 ~
$
输入命令之后,并没有提示我输入密码

支持(0)反对(0)

#16楼 2014-11-03 16:28 孙畅
@changanlaosan
这个问题我也遇到的,现在解决了,之所以出现这样的问题,是因为配置那三个文件出错了,你试下这样的配置方法
修改 core-site.xml 为如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改 hdfs-site.xml 为如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改 mapred-site.xml 为如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

hadoop windows相关推荐

  1. Hadoop For Windows

    Hadoop从一出生就只面向Linux操作系统,且一直未曾考虑支持Windows操作系统.但随着Hadoop的普及,微软不得不开始为Hadoop增加patch以推进Windows成为生产环境.经过各方 ...

  2. hadoop的安装需要java_Hadoop windows本地环境安装

    有时候需要调试hadoop的程序,如果都要传到linux上,非常不方便.我们可以搭建一个windows的单机版本hadoop环境,测试我们的代码. 一.下载所需文件 JDK下载地址,jdk1.8下载 ...

  3. windows下搭建hadoop

    windows下搭建hadoop 下载 环境变量 windows 脚本替换 配置 windows权限 启动 单词统计实例 下载 首先去Apache Hadoop下载hadoop的安装包 选择二进制文件 ...

  4. Hadoop实战 一 WordCount

    Hadoop实战 一 WordCount 准备工作 启动虚拟机Hadoop Windows Hadoop 环境配置 准备数据文本 修改Maven pom文件 Hadoop配置文件 编码环节 Mappe ...

  5. Hadoop实战——MapReduce对英文单词文本进行统计和排序(超详细教学,算法分析)

    B站视频操作过程 Hadoop实战--对单词文本进行统计和排序_哔哩哔哩_bilibili 更多MapReduce设计案例地址 https://github.com/yuanprogrammer/Ma ...

  6. HBase Windows 安装

    一.写在前面   在安装HBase之前,我们需要先安装JDK和Hadoop,具体JDK和Hadoop的安装我前面已经做过了,需要的话,请看我的另一篇博客:Hadoop Windows 安装   还是那 ...

  7. hadoop集群搭建+hive安装

    1.系统环境 VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysq ...

  8. Windows Azure公有云服务相关方案

    http://www.cnblogs.com/sennly/p/4139675.html 1.公有云平台服务简介 Windows Azure 是一个灵活而开放的云平台,通过该平台,您可以在数据中心快速 ...

  9. Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo

    随笔 - 70  文章 - 0  评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...

最新文章

  1. windows版本jenkins部署django项目
  2. python的super方法_Python中“super”是做什么的?
  3. IOS开发基础之单例模式
  4. fpga中wire和reg的区别
  5. java byte json_关于java:当前推荐的将byte []转换为JsonNode并返回的方法
  6. gdal ImportError: DLL load failed
  7. 10. Browser 对象 - Location 对象(2)
  8. 【翻译】MongoDB指南/CRUD操作(二)
  9. linux 性能测试 多线程,sysbench - linux多线程性能测试工具
  10. sql语句多条件查询语句拼接
  11. 基于单片机出租车计价器设计
  12. Mysql 按当天、当月、上月及按日期范围查询 DATE_FORMAT( date, ‘%Y%m‘ )
  13. wireshark密码嗅探侵入后台管理系统
  14. 客户贷款逾期预测[1]-逻辑回归模型
  15. 计算机自动开机关机设置在哪里设置密码,怎样设置开关机密码
  16. Django-应用与分布式路由
  17. PAT(甲级) 1003. Emergency
  18. 无锡做大做强“中国芯” 华虹功不可没
  19. 华科计算机考研复试书目,华中科技大学网络空间安全学院2020考研复试参考书目...
  20. 微软“神秘产品”Windows Surface发布会直播汇总

热门文章

  1. Java LocalDate类| 带示例的getDayOfYear()方法
  2. FreeRTOS任务基础知识
  3. 进程控制 (二) Others
  4. LeetCode【5--最长的回文子串】 LeetCode【6--Z字形变换】
  5. 详解list容器(应用+模拟实现)
  6. 【jenkins】jenkins build项目的三种方式
  7. shared_ptr简介以及常见问题
  8. linux安装mysql和使用c语言操作数据库的方法 c语言连接mysql
  9. linux网络编程(四)线程池
  10. 【数据结构】对快速排序原理的理解(图解,通俗易懂)