Windows 10下编译安装Hadoop2.6
转自:https://www.linuxidc.com/Linux/2016-08/134131.htm
Windows 10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。
不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。
Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件。
Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。
总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。
以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。
1. 自行编译Windows环境的二进制包
Requirements:
* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
1. 配置编译环境
1.1. 设置JDK环境
JAVA_HOME设置
jdk设置path
1.2. 安装编译工具maven
下载maven的zip包 将maven的根目录放置系统变量path中
测试mvn -v
1.3. 安装ProtocolBuffer
下载 先切换到带有pom文件路径中
cd E:\IDE\protobuf-3.0.0-beta-3\java
通过mvn 安装 mvn test 测试 mvn install
1.4. 安装CMake
下载 安装即可。
1.5. 安装visual studio 2010之后(直接下载安装,不再赘述) 或者安装Windows SDK
下面关于Hadoop的文章您也可能喜欢,不妨看看:
CentOS7.2下Hadoop2.7.2集群搭建 http://www.linuxidc.com/Linux/2016-07/133644.htm
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
2. 编译安装
设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将ZLIB_HOME至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn编译命令
mvn package -Pdist,native-win -DskipTests -Dtar
Windows 10下编译安装Hadoop2.6相关推荐
- Open Inventor: Windows系统下编译安装Quater
Windows系统下编译安装Quater 济南友泉软件有限公司 一.工具安装 1.1 CMake CMake是一个用于生成不同平台下构建项目的工具.建议使用3.0版本之后的CMake.下载链接 1.2 ...
- Caffe 在Windows 10下的安装
参考信息: How to install Caffe in windows in 5 min (https://www.youtube.com/watch?v=nrzAF2sxHHM) http:// ...
- python pypcap 安装失败_解决Windows 10下python安装pypcap失败的问题
先说结论,直接使用pcap-ct. 因为项目需求需要在windows下抓包,用python编程.所以就找相关的轮子.找到了三个: 1.pypcap(pip install pypcap) 2.libp ...
- python源码编译 mingw_使用mingw32 在windows python26 下编译安装4suite-xml
最近在研究python下xml处理技术,需要在windows python26平台下安装4suite-xml. 但是4suite-xml在官网上只提供的最新安装包只支持到python25,也就是说只能 ...
- mysql 5.6.23 源码包安装报错_Ubuntu 14.10下编译安装MySQL 5.6.23
1. 安装环境: Ubuntu Server 14.10 MySQL-5.6.23.tar.gz 2. 安装必备的工具 sudo apt-get install make bison g++ buil ...
- linux14.10硬盘安装,Windows 10下硬盘安装Ubuntu 14.10图文教程
著名的Linux发行版 Ubuntu 系统已经释出最新的 14.10 版,同时大家也可能不知道其实它已经十岁了.与半年前的14.10相比,这次Ubuntu 14.10系统升级的修改幅度很小,外观界面几 ...
- 如何在64位Windows 10下完美安装pygame
相信能看到这篇文章意味着你已经安装好了某一版本的python以及pip 那么当你访问pygame官方网站http://www.pygame.org/download.shtml发现并没有提供64位的p ...
- Ubuntu 10.10下编译安装无线网卡
Linux系统版本:Ubuntu 10.10 无线网卡:LB-LINK 54Mbps WIRELESS USB ADAPTER 一.编译网卡驱动 网卡驱动:2009_1106_RT3070_Linux ...
- tomcat最新版本是多少_Tomcat在Windows 10下的安装配置教程
1. 下载JDK安装包,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm ...
最新文章
- 第二部分:S5PV210_关看门狗_1
- 全排列算法的全面解析
- MySQL之mysql客户端工作的批处理一些使用手法
- 【Python】 更棒的Excel操作模块xlwings
- 各大银行对应的字段(仅做参考)
- ios 计算两个时间相差秒数_Ios中时间差的计算,NSData与NSCalendar(日历)对象
- 使用delegate类型设计自定义事件
- IDEA eclipse快捷键大全
- JAVA知识点(尚硅谷宋红康老师的b站授课自我整理)
- matlab 声明gpu,使用MATLAB轻松享受GPU的强大功能
- 耐得寂寞,拥得繁华 (转)
- 乐富支付:互联网金融下的民企新生态
- 阿里云ECS服务器安装AMH5.3面板并搭建WordPress站点详细教程(卞懂的学习笔记)...
- 硬盘活动分区(将磁盘分区标为活动或取消活动的方法)(转)
- import express from 'express'; ^^^^^^^ SyntaxError: Unexpected identifier at Module._com
- 读书笔记(SRE:Google运维解密):第22章 处理连锁故障
- asp毕业设计——基于asp+access的学生成绩查询系统设计与实现(毕业论文+程序源码)——成绩查询系统
- win+python实现离线语音识别
- Direct3D 初始化
- 月入千万的卖家,都是这样制造爆款的
热门文章
- @Transactional注解最容易忽视的三个失效场景!
- RPC 笔记(01)— RPC概念、调用流程、RPC 与 Restful API 区别
- Python 标准库之 Queue
- centos7httpd服务的搭建
- eclipse运行maven web项目
- Python错误:AttributeError: 'generator' object has no attribute 'next'解决办法
- 在NVIDIA A100 GPU中使用DALI和新的硬件JPEG解码器快速加载数据
- BEP 7:CUDA外部内存管理插件(下)
- HarmonyOS 设置图标在Text 旁边
- java.lang.ArithmeticException: divide by zero