windows上hadoop安装(cygwin等)
http://cjnetwork.iteye.com/blog/1474745
hadoop运行方式
1、本机方式:不做任何配置
2、伪分布式:pseudo distributed
3、全分布式:full distributed
由于hadoop只能运行于linux(unix类型)操作系统上,因此在windows上做开发、测试,需要安装cygwin来模拟linux环境。
一、cygwin安装
直接到cygwin上下载安装配置程序setup.exe,该程序并不包含实际的安装文件,只是一个外壳,启动之后可以选择1、在线安装,并将需要的文件下载到本地;2、只下载需要安装的文件到本地,并不安装;3、从本地文件中定位已下载好的安装文件,然后进行安装。
这里有一个概念,安装外壳程序(控制安装过程)、需要安装的文件,将安装过程分为不同部分,分别处理,可以根据需求,扩展需要安装的文件,而不需要修改安装的外壳程序。
根据需要选择一种方式,然后需要安装的组件:openssh、vim、rpm,根据提示选择路径,安装好cygwin。
cygwin简单说明
cygwin能够模拟linux语法,在选择安装组件后,能使用已安装的组件,如上例中正确安装了vim,则可以使用vim文件编辑工具,其他的可根据需要自己选择安装。在cygwin中可以像在linux环境下运行一样处理,模拟了linux的文件系统。还有一个特点就是cygwin还可以使用windows中的命令,也就是说cygwin不仅模拟了linux运行环境,而且还能使用windows中自身的脚本或命令。例如:在windows中设置了java的运行环境,则在cygwin中无需安装java运行环境,直接输入java -version就能和在windows中的cmd中的输出一致。又例如,在windows中的环境变量中增加了java_home,那么在windows的cmd中执行echo %java_home%和在cygwin中执行echo %java_home将是一样的。
在cygwin中建立软连接
windows中安装的java环境,可能安装在包含空格的路径中,如e:\program files\java,那么在cygwin模拟的linux环境中,如果是简单执行java程序,那么没有问题,cygwin本身就可以根据windows的环境变量找到java的运行环境,但如果是复杂一点的配置,如hadoop中,需要单独配置java_home的环境变量,那么在配置文件中直接配置e:\program files\java这样的路径,是无法成功的。因此需要建立一个软连接,将windows中的路劲映射到cygwin所模拟的linux系统上,命令 ln -s "E:\Program Files\Java\jdk1.6.0_20" /usr/local/jdk1.6.0_20
如此,就可以在hadoop的环境配置中将java的运行环境java_home设置为/usr/local/jdk1.6.0_20了。
二、安装hadoop
将hadoop的压缩包解压得到hadoop-1.0.1,可以直接将该文件夹copy到
E:/cygwin/usr/local/下,也可以采用软连接的方式将对应的hadoop文件映射到/usr/local/hadoop-1.0.1上(如:ln -s d:/soft/hadoop-1.0.1 /usr/local/hadoop-1.0.1)。
1、配置hadoop
(1)编辑文件/etc/profile增加
export HADOOP_INSTALL=/usr/local/hadoop-1.0.1
export PATH=$PATH:$HADOOP_INSTALL/bin
保存文件并使用命名source /etc/profile重新编译使配置生效
完成之后可以使用命名检查配置是否生效
hadoop -version,如果配置正确,则会正确输出hadoop版本信息。
(2)编辑文件/usr/local/hadoop-1.0.1/conf/hadoop-env.sh增加
export JAVA_HOME=/usr/local/jdk1.6.0_20
(3)配置core-site.xml、hdfs-site.xml、mapred-site.xml文件
修改core-site.xml配置为
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost/</value>
- </property>
- </configuration>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
修改hdfs-site.xml配置为
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改mapred-site.xml配置为
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:8021</value>
- </property>
- </configuration>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
2、格式化namenode
使用命令:hadoop namenode -format
三、配置ssh
(1)创建ssh服务器
使用命令 ssh-host-config
在交互阶段选择
Should privilege separation be used?yes
new local account 'sshd'?yes
Do you want to install sshd as a service?yes
Enter the value of CYGWIN for daemon:[]
当看到Host configuration finished.Have fun!表示安装完成
启动ssh服务,使用命令net start sshd
(2)采用密钥方式登陆,不使用用户/密码方式登陆
使用命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果成功,则执行命名
ssh localhost不会提示输入密码,直接登陆成功
启动hadoop
执行命令:start-all.sh(这相当于执行命名/usr/local/hadoop-1.0.1/bin/start-all.sh,因为在/etc/profile中加hadoop的bin路径加入了环境变量path中)
=============
http://tech.it168.com/a2013/0218/1454/000001454443.shtml
安装过程十分简单,运行即可,程序会自动配置环境变量(在之前的版中还没有这项功能,新版本的JDK中已经可以自动配置环境变量了)。
一、安装Cygwin
Cygwin是在Windows平台下模拟Unix环境的一个工具,只有通过它才可以在Windows环境下安装Hadoop。可以通过这个链接下载Cygwin:
http://www.cygwin.cn/setup.exe
·双击运行安装程序,选择install from internet。
·根据网络状况,选择合适的源下载程序。
·进入 select packages界面,然后进入Net,勾选openssl及openssh(如下图所示)。
▲勾选openssl及openssh
如果打算在Eclipse上编译Hadoop,还必须安装“Base Category”下的“sed”(如下图所示)。
▲勾选sed
另外建议安装“Editors Category”下的“vim”,以便在Cygwin 上直接修改配置文件。
二、配置环境变量
依次点击我的电脑→属性→高级系统设置→环境变量,修改环境变量里的path设置,在其后添加Cygwin的bin目录和Cygwin的usr\bin目录。
三、安装和启动sshd服务
点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config 命令,当要求输入Yes/No时,选择输入No。当看到“Have fun”时,表示sshd 服务安装成功。
在桌面上的“我的电脑”图标上右击,点击“管理”菜单,启动CYGWIN sshd 服务。
四、配置SSH免密码登录
执行ssh-keygen 命令生成密钥文件。按如下命令生成authorized_keys文件:
windows上hadoop安装(cygwin等)相关推荐
- Windows上PostgreSQL安装配置教程
这篇文章主要为大家详细介绍了Windows上PostgreSQL安装配置教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 PostgreSQL的扩展PostGIS是最著名的开源GIS数据库. ...
- Git 在 Linux 上和 windows 上的安装
1. 在 Linux 上安装 // Centos 上安装 $ yum -y install https://repo.ius.io/ius-release-el7.rpm $ yum -y insta ...
- windows下hadoop安装时出现error Couldn‘t find a package.json file in “D:\\hadoop\hadoop-2.7.7\\sbin“问题
windows下hadoop安装时启动yarn时出现error Couldn't find a package.json file问题 yarn run v1.22.0 error Couldn't ...
- 物联网平台thingsboard在Windows上的安装和部署
物联网平台thingsboard在Windows上的安装和部署 前言 安装环境 部署和安装 测试 http测试 测试MQTT 前言 thingsboard是一个完全开源的物联网应用平台,个人感觉如果不 ...
- windows上mosquitto安装及简单使用
windows上mosquitto安装及简单使用 1.从官网上下载 https://mosquitto.org/download/ 2.安装 3.配置文件&启动mosquitto Broker ...
- 实战:windows上如何安装kubectl并连接我们的k8s集群(测试成功-博客输出)-2022.1.3
实战:windows上如何安装kubectl并连接我们的k8s集群-2022.1.3 目录 文章目录 实战:windows上如何安装kubectl并连接我们的k8s集群-2022.1.3 目录 实验环 ...
- Mongodb在Windows上的安装
Mongodb在Windows上的安装 首先,我们到Mongodb的官方网站http://www.mongodb.org/downloads下载,下载的版本目前是1.8.1,下载后,解压到文件夹,比如 ...
- 在 Windows 上手动安装 PHP
在 Windows 上手动安装 PHP 选择 Web 服务器 阿帕奇 选择编译版本 选择 Web 服务器 IIS 是 Windows 内置的服务.在 Windows 服务器版本上,请使用服务器管理(S ...
- 安装flarum的php扩展,在 Windows 上快速安装 Flarum 指南
在 Windows 上快速安装 Flarum 指南 由 学院君 创建于5年前, 最后更新于 10个月前 版本号 #2 17639 views 6 likes 0 collects 1.下载安装包 去下 ...
最新文章
- wxWidgets:wxWidgets 辅助功能示例
- 【mysql的编程专题⑥】视图
- opencv Mat常用操作
- Android安全之应用签名验证
- 【spingboot基础知识】相关问题汇总
- Unreal Engine 4切换默认Camera实现
- 微信支付宝是如何赚钱的?
- Python字符串translate()
- InfiniBand -- 无限带宽技术(简称IB) 基于 Ubuntu 16.04 安装 IB 驱动
- 云服务器如何链接本地打印机_如何在服务器上安装网络打印机
- 搭建本地服务器中遇到无法启动FTP站点问题
- [转]《间架结构92法》
- 基于TCP的在线聊天室
- python编辑器geany_另外一款编辑器 Geany
- Gitlab在线安装、离线安装、搭建、使用等详细介绍,不能再详细了……
- 【拓扑学知识】2.连续同胚映射
- 【转】ArcGIS server如何将自己的小地图叠加到Google maps或者Virtual Earth上
- 山河盟:人类为大地母亲准备的一份礼物
- simp服务器协议,Redis协议(RESP)规范
- 说说宾得机身的十大人性化设定和功能[转]
热门文章
- iOS之深入解析GCD的底层原理
- setdefaultencoding函数使用详解
- 30秒实现Vue吸顶效果
- 1001:Hello,World!
- 《算法竞赛入门经典》 习题4-1(象棋 Xiangqi ACM ICPC Fuzhou 2011,UVa1589)——仅提供大体方法
- Ubuntu16.04 卸载Gazebo7 安装 Gazebo9
- 【Qt】Qt下载教程
- 【Linux】一步一步学Linux——chage命令(92)
- java内存图解_图解JAVA内存模型(JMM:JAVA Memory Model)
- 微信小程序封装的Promise工具类 ES6语法