工作须要。要開始搞hadoop了,又是大数据,自己感觉大数据、云。仅仅是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。

只是Apache是个奇妙的组织。Java假设没有它也不会如今如火中天。言归正传:

首先须要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。

否则你配置文件中须要用windows 8.3格式的路径!

第二确保操作系统是64bit。已安装.netframework4.0以上版本号,这个你懂的,微软的天下,没有这个怎么混!

第三确保安装了64 bit 版本号的JDK1.7,笔者使用的就是JDK1.7.

第四请到github下载hadoop-commin-2.2.zip,官方下载的Apache hadoop 2.4.0的压缩包里,缺少windows下执行的链接库(hadoop.dll,winutils.exe。libwinutils.lib等),这个github的是大佬们编译好的64bit版的链接库包。

下载直接解压缩。覆盖掉官方hadoop文件夹下的bin文件夹就可以。

假设你想在windows下编译安装hadoop,则请直接參考官方原版文档:Hadoop2.X Windows安装指南

接下来进行配置(大部分摘抄自官方文档):

我的Hadoop解压缩文件夹是D:\Hadoop_2_4_0,下面简称h_home

首先,改动%h_home%\etc\hadoop的hadoop-env.cmd脚本文件,在文件末尾添加环境变量定义。注意找到文件最初的JAVA_HOME设置,改成你的64位JDK路径,这一点一定要注意!

比方我的:“set  JAVA_HOME=D:\OLD_JDK\jdk1.7.0_51”

set HADOOP_PREFIX=c:\deploy
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

之后在该路径下找到或创建core-site.xml文件,改动内容例如以下:

<configuration><property><name>fs.default.name</name><value>hdfs://0.0.0.0:19000</value></property>
</configuration>

接下来是 hdfs-site.xml 文件。一样的改动内容例如以下。

配置文件默认使用\tmp文件夹作为hdfs文件的存储位置。比方我解压hadoop在D:\下,则它就会创建D:\tmp来存放HDFS文件系统。

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

基本配置ok。

接下来我们配置一个YARN演示样例:

还是在该配置文件路径下,改动或者创建一个mapred-site.xml文件,路径下有个同名的模板文件,能够直接复制,然后改动当中的内容。

注意替换配置文件里%USERNAME% 为你windows的username。

<configuration><property><name>mapreduce.job.user.name</name><value>%USERNAME%</value></property><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.apps.stagingDir</name><value>/user/%USERNAME%/staging</value></property><property><name>mapreduce.jobtracker.address</name><value>local</value></property></configuration>

最后,创建yarn-site.xml文件,变更内容例如以下:

<configuration><property><name>yarn.server.resourcemanager.address</name><value>0.0.0.0:8020</value></property><property><name>yarn.server.resourcemanager.application.expiry.interval</name><value>60000</value></property><property><name>yarn.server.nodemanager.address</name><value>0.0.0.0:45454</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.server.nodemanager.remote-app-log-dir</name><value>/app-logs</value></property><property><name>yarn.nodemanager.log-dirs</name><value>/dep/logs/userlogs</value></property><property><name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name><value>0.0.0.0</value></property><property><name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name><value>0.0.0.0</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>-1</value></property><property><name>yarn.application.classpath</name><value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value></property>
</configuration>

ok。所有配置都改完了。

点击命令提示符(管理员)执行命令提示符,切换到hadoop的安装文件夹。进行下面操作

1、切换到etc/hadoop文件夹,执行hadoop-env.cmd脚本,设置当前命令窗体执行环境变量。

2、格式化HDFS文件系统(建议切换到bin文件夹然后运行命令):

%HADOOP_PREFIX%\bin\hdfs namenode -format
3、执行HDFS演示样例:
%HADOOP_PREFIX%\sbin\start-dfs.cmd

不报错的话。部署就ok了!

apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)相关推荐

  1. 适用于Apache Hadoop 2.0 M5的Spring

    Spring高兴地宣布了Spring for Apache Hadoop 2.0 M5里程碑版本,同时它们也越来越接近候选版本. 在Spring博客中 ,新版本2.0与1.0版本之间有很好的比较. 根 ...

  2. hadoop 2.2.0 终于编译ok了

    下载的tar.gz包中某个组件是32位下编译的,要在64位下安装必须要自己从源代码编译. 解决了n个缺少库的问题,熬过了龟速网络. 终于OK了! [INFO] Reactor Summary: [IN ...

  3. hadoop漏洞_【漏洞公告】CVE-2017-7669:Apache Hadoop远程权限提升漏洞

    Apache Hadoop是支持数据密集型分布式应用,并以Apache 2.0许可协议发布的软件框架.近期,国外安全研究人员发现,在Apache Hadoop 2.8.0版本.3.0.0-alpha1 ...

  4. mac下hadoop 2.6.0编译native library

    本文中的所有路径请根据个人情况修改. 编译好的native library见个人资源:[http://download.csdn.net/detail/tterminator/9565597] 一.为 ...

  5. Apache Hadoop

    作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 大数据(Big Data) 随着信息化互联网|物联网发展要求,万物互联趋势势在必行. ...

  6. 官网教程:什么是Apache Hadoop?

    英文原文地址:http://hadoop.apache.org/ Apache™Hadoop®项目为可靠的,可扩展的分布式计算开发开源软件. Apache Hadoop软件库是一个框架,它允许使用简单 ...

  7. Submarine:在 Apache Hadoop 中运行深度学习框架

    \u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...

  8. at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

    关于手动编译hadoop入门例子WordCount并执行 之前做的例子都是用hadoop中已经编译好jar包来运行示例的 但是这次想要手动编译个实例,练下手 没想到还是遇到点了小困难 [root@ce ...

  9. Apache Spark学习:将Spark部署到Hadoop 2.2.0上

    本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上,如果你们的Hadoop是其他版本,比如CDH4,可直接参考官方说明操作. 需要注意两点:(1)使用的Hadoop必须是2.0 ...

最新文章

  1. PowerEdge M915 – 戴尔打出的又一记虚拟化重拳
  2. 【Android 热修复】热修复原理 ( 修复包 Dex 文件准备 | Dex 优化为 Odex | Dex 文件拷贝 | 源码资源 )
  3. 时间日期类JAVA包含地区属性_Java常用类 | 时间和日期类
  4. Ubuntu/Fedora高版本安装海思SDK的方法
  5. C#中配置文件的使用
  6. log4j/slf4j
  7. monodevelp注释显示中文
  8. 技术实践如何支持演进式架构和持续集成
  9. Ubuntu 下截图工具 [转]
  10. 软件测试用什么cpu,给你的CPU做体检!主流CPU测试软件使用宝典
  11. mysql生成随机中文名_MySQL-随机中文名
  12. 一、Java11安装
  13. 01_excel基础知识1
  14. 上周AI热点回顾:AI“模拟”出暗物质、AI挖掘毕加索秘密、CPU在大型神经网络超越V100 GPU...
  15. BOL简单分析(一)
  16. DevOps 3355
  17. Eclipse使用JUnit4和Ant工具进行自动化测试的环境配置
  18. 12popup.exe
  19. 短视频去水印工具,无限次数免费使用,还有这些实用功能!
  20. 读写EEE、FLASH关键点<1>(MC9S12XEP100RMV1)

热门文章

  1. 2019年上半年收集到的人工智能迁移学习干货文章
  2. 机器学习系列19:将核函数应用于支持向量机
  3. 机器学习面试题集-图解准确率,精确率,召回率
  4. 游戏的「隐藏身份」:AI与现实世界的「王牌训练师」
  5. 多少血的教训,才能换来对自动驾驶的严格限定、真实了解和正确使用?
  6. 第八篇!95后天才少年曹原再发Nature!
  7. PNAS “深度学习的科学”论文合集导读
  8. Quanta杂志长文翻译:通过信息论判定个体的边界
  9. 2019年大数据发展将走向何方
  10. 肠里细菌“肚里蛔虫”:肠脑研究缘何越来越热