apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作须要。要開始搞hadoop了,又是大数据,自己感觉大数据、云。仅仅是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。
只是Apache是个奇妙的组织。Java假设没有它也不会如今如火中天。言归正传:
首先须要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。
否则你配置文件中须要用windows 8.3格式的路径!
第二确保操作系统是64bit。已安装.netframework4.0以上版本号,这个你懂的,微软的天下,没有这个怎么混!
第三确保安装了64 bit 版本号的JDK1.7,笔者使用的就是JDK1.7.
第四请到github下载hadoop-commin-2.2.zip,官方下载的Apache hadoop 2.4.0的压缩包里,缺少windows下执行的链接库(hadoop.dll,winutils.exe。libwinutils.lib等),这个github的是大佬们编译好的64bit版的链接库包。
下载直接解压缩。覆盖掉官方hadoop文件夹下的bin文件夹就可以。
假设你想在windows下编译安装hadoop,则请直接參考官方原版文档:Hadoop2.X Windows安装指南
接下来进行配置(大部分摘抄自官方文档):
我的Hadoop解压缩文件夹是D:\Hadoop_2_4_0,下面简称h_home
首先,改动%h_home%\etc\hadoop的hadoop-env.cmd脚本文件,在文件末尾添加环境变量定义。注意找到文件最初的JAVA_HOME设置,改成你的64位JDK路径,这一点一定要注意!
比方我的:“set JAVA_HOME=D:\OLD_JDK\jdk1.7.0_51”
set HADOOP_PREFIX=c:\deploy
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
之后在该路径下找到或创建core-site.xml文件,改动内容例如以下:
<configuration><property><name>fs.default.name</name><value>hdfs://0.0.0.0:19000</value></property>
</configuration>
接下来是 hdfs-site.xml 文件。一样的改动内容例如以下。
配置文件默认使用\tmp文件夹作为hdfs文件的存储位置。比方我解压hadoop在D:\下,则它就会创建D:\tmp来存放HDFS文件系统。
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
基本配置ok。
接下来我们配置一个YARN演示样例:
还是在该配置文件路径下,改动或者创建一个mapred-site.xml文件,路径下有个同名的模板文件,能够直接复制,然后改动当中的内容。
注意替换配置文件里%USERNAME% 为你windows的username。
<configuration><property><name>mapreduce.job.user.name</name><value>%USERNAME%</value></property><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.apps.stagingDir</name><value>/user/%USERNAME%/staging</value></property><property><name>mapreduce.jobtracker.address</name><value>local</value></property></configuration>
最后,创建yarn-site.xml文件,变更内容例如以下:
<configuration><property><name>yarn.server.resourcemanager.address</name><value>0.0.0.0:8020</value></property><property><name>yarn.server.resourcemanager.application.expiry.interval</name><value>60000</value></property><property><name>yarn.server.nodemanager.address</name><value>0.0.0.0:45454</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.server.nodemanager.remote-app-log-dir</name><value>/app-logs</value></property><property><name>yarn.nodemanager.log-dirs</name><value>/dep/logs/userlogs</value></property><property><name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name><value>0.0.0.0</value></property><property><name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name><value>0.0.0.0</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>-1</value></property><property><name>yarn.application.classpath</name><value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value></property>
</configuration>
ok。所有配置都改完了。
点击命令提示符(管理员)执行命令提示符,切换到hadoop的安装文件夹。进行下面操作
1、切换到etc/hadoop文件夹,执行hadoop-env.cmd脚本,设置当前命令窗体执行环境变量。
2、格式化HDFS文件系统(建议切换到bin文件夹然后运行命令):
%HADOOP_PREFIX%\bin\hdfs namenode -format
3、执行HDFS演示样例:
%HADOOP_PREFIX%\sbin\start-dfs.cmd
不报错的话。部署就ok了!
!
!
apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)相关推荐
- 适用于Apache Hadoop 2.0 M5的Spring
Spring高兴地宣布了Spring for Apache Hadoop 2.0 M5里程碑版本,同时它们也越来越接近候选版本. 在Spring博客中 ,新版本2.0与1.0版本之间有很好的比较. 根 ...
- hadoop 2.2.0 终于编译ok了
下载的tar.gz包中某个组件是32位下编译的,要在64位下安装必须要自己从源代码编译. 解决了n个缺少库的问题,熬过了龟速网络. 终于OK了! [INFO] Reactor Summary: [IN ...
- hadoop漏洞_【漏洞公告】CVE-2017-7669:Apache Hadoop远程权限提升漏洞
Apache Hadoop是支持数据密集型分布式应用,并以Apache 2.0许可协议发布的软件框架.近期,国外安全研究人员发现,在Apache Hadoop 2.8.0版本.3.0.0-alpha1 ...
- mac下hadoop 2.6.0编译native library
本文中的所有路径请根据个人情况修改. 编译好的native library见个人资源:[http://download.csdn.net/detail/tterminator/9565597] 一.为 ...
- Apache Hadoop
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 大数据(Big Data) 随着信息化互联网|物联网发展要求,万物互联趋势势在必行. ...
- 官网教程:什么是Apache Hadoop?
英文原文地址:http://hadoop.apache.org/ Apache™Hadoop®项目为可靠的,可扩展的分布式计算开发开源软件. Apache Hadoop软件库是一个框架,它允许使用简单 ...
- Submarine:在 Apache Hadoop 中运行深度学习框架
\u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...
- at org.apache.hadoop.util.RunJar.main(RunJar.java:153)
关于手动编译hadoop入门例子WordCount并执行 之前做的例子都是用hadoop中已经编译好jar包来运行示例的 但是这次想要手动编译个实例,练下手 没想到还是遇到点了小困难 [root@ce ...
- Apache Spark学习:将Spark部署到Hadoop 2.2.0上
本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上,如果你们的Hadoop是其他版本,比如CDH4,可直接参考官方说明操作. 需要注意两点:(1)使用的Hadoop必须是2.0 ...
最新文章
- PowerEdge M915 – 戴尔打出的又一记虚拟化重拳
- 【Android 热修复】热修复原理 ( 修复包 Dex 文件准备 | Dex 优化为 Odex | Dex 文件拷贝 | 源码资源 )
- 时间日期类JAVA包含地区属性_Java常用类 | 时间和日期类
- Ubuntu/Fedora高版本安装海思SDK的方法
- C#中配置文件的使用
- log4j/slf4j
- monodevelp注释显示中文
- 技术实践如何支持演进式架构和持续集成
- Ubuntu 下截图工具 [转]
- 软件测试用什么cpu,给你的CPU做体检!主流CPU测试软件使用宝典
- mysql生成随机中文名_MySQL-随机中文名
- 一、Java11安装
- 01_excel基础知识1
- 上周AI热点回顾:AI“模拟”出暗物质、AI挖掘毕加索秘密、CPU在大型神经网络超越V100 GPU...
- BOL简单分析(一)
- DevOps 3355
- Eclipse使用JUnit4和Ant工具进行自动化测试的环境配置
- 12popup.exe
- 短视频去水印工具,无限次数免费使用,还有这些实用功能!
- 读写EEE、FLASH关键点<1>(MC9S12XEP100RMV1)