window 开发hadoop
1、安装eclipse 插件
下载hadoop2x-eclipse-plugin-master 进行编译
ant jar -Dversion=2.8.0 -Dhadoop.version=2.8.0 -Declipse.home=D:\software\eclipse-jee-kepler-SR2-win32-x86_64\eclipse -Dhadoop.home=D:\bigdata\hadoop-2.8.0
其中会遇到各种问题大部分都是由于build.xml或者hadoop-common中的core-default.xml。
core-default.xml 增加：
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>
build.xml
<copy file="${hadoop.home}/share/hadoop/common/lib/protobuf-java-${protobuf.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/log4j-${log4j.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-configuration-${commons-configuration.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-lang-${commons-lang.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-collections-${commons-collections.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/jackson-core-asl-${jackson.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/jackson-mapper-asl-${jackson.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-log4j12-${slf4j-log4j12.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-api-${slf4j-api.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/guava-${guava.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/hadoop-auth-${hadoop.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/netty-${netty.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core4-${htrace.version}-incubating.jar" todir="${build.dir}/lib" verbose="true"/>
<jar
jarfile="${build.dir}/hadoop-${name}-${hadoop.version}.jar"
manifest="${root}/META-INF/MANIFEST.MF">
<manifest>
<attribute name="Bundle-ClassPath"
value="classes/,
lib/hadoop-mapreduce-client-core-${hadoop.version}.jar,
lib/hadoop-mapreduce-client-common-${hadoop.version}.jar,
lib/hadoop-mapreduce-client-jobclient-${hadoop.version}.jar,
lib/hadoop-auth-${hadoop.version}.jar,
lib/hadoop-common-${hadoop.version}.jar,
lib/hadoop-hdfs-${hadoop.version}.jar,
lib/hadoop-hdfs-client-${hadoop.version}.jar,
lib/protobuf-java-${protobuf.version}.jar,
lib/log4j-${log4j.version}.jar,
lib/commons-cli-${commons-cli.version}.jar,
lib/commons-configuration-${commons-configuration.version}.jar,
lib/commons-httpclient-${commons-httpclient.version}.jar,
lib/commons-lang-${commons-lang.version}.jar,
lib/commons-collections-${commons-collections.version}.jar,
lib/jackson-core-asl-${jackson.version}.jar,
lib/jackson-mapper-asl-${jackson.version}.jar,
lib/slf4j-log4j12-${slf4j-log4j12.version}.jar,
lib/slf4j-api-${slf4j-api.version}.jar,
lib/guava-${guava.version}.jar,
lib/netty-${netty.version}.jar,
lib/htrace-core4-${htrace.version}-incubating.jar"/>
2、下载hadoop-2.8.0-src编译winutils和native ，编译winuntils.中时修改下libwinuntils.c
//const WCHAR* wsceConfigRelativePath = WIDEN_STRING(STRINGIFY(WSCE_CONFIG_DIR)) L"\\" WIDEN_STRING(STRINGIFY(WSCE_CONFIG_FILE));
const WCHAR* wsceConfigRelativePath = STRINGIFY(WSCE_CONFIG_DIR) "\\" STRINGIFY(WSCE_CONFIG_FILE);
3复制文件hadoop.lib、winutils.exe 到hadoop 的安装目录的bin
4 复制hadoop.dll到syetm/win32下面
window 开发hadoop相关推荐
- window下hadoop、hbase的安装和eclipse开发环境配置
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程 hadoop下载 这里下载的hadoop-2.7.5.tar.gz http://mirror.bit.edu.cn/apache/h ...
- win7系统开发hadoop时遇到的问题总结
eclipse访问不了hadoop集群文件 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security ...
- 大数据开发hadoop核心的分布式消息系统：Apache Kafka 你知道吗
简介 Apache Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一种快速.可扩展的.设计内在就是分布式的,分区的和可复制的提交 ...
- Hadoop开发 Hadoop视频教程 段海涛老师Hadoop完全攻克Hadoop视频教程 Hadoop开发
最新在学习hadoop .storm大数据相关技术,发现网上hadoop .storm 相关学习视频少之又少,更可恶的是不少机构使用段海涛老师Hadoop视频进行商业买卖,气愤至急,我这里整理了传智播 ...
- 记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be
使用docker快速开发了一个单节点的hadoop 首先去docker hub上搜索hadoop 使用hadoop3.1.3的TAG即可,分别拉去datanode和namenode的镜像到本地 官方提 ...
- Java+大数据开发——Hadoop集群环境搭建(二)
1. MAPREDUCE使用 mapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序 2. Demo开发--wo ...
- Windows平台下安装Eclipse插件，开发Hadoop应用
安装插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下 ...
- 用python 写hadoop 需要怎么配置环境 python开发hadoop教程
hadoop和python能搭配在一起做一个项目么 Hadoop 的HDFS做,数据处面可以用python的hadoop框架做,用Mrjob .pydoop .Luigi等 (还有些其架如Dumbo. ...
- 用C++开发Hadoop应用程序
最近做项目,用到了Hadoop架构,本身对C++比较熟悉,虽然接触过JAVA(3年前嵌入式..).决定用C++开发相关,以下为转载不错文章. ----------------------------- ...
最新文章
- objective-c 方法加号（+） 减号（-）
- 深度学习的三种硬件方案：ASIC，FPGA，GPU；你更看好？
- Just enough（刚刚好）的软件开发文档什么样？
- 台达plc控制伺服电机编程实例_PLC控制伺服电机：控制脉冲的相关计算
- BlockChain：区块链入门课程 -- 区块链之类型 、应用程序、技术挑战和潜力
- mysql charactersetdatabase_Mysql5.7.22 坑爹的 `character_set_database`
- java解析json字符串数据
- 超简单教程——Linux下自制OCR文字识别
- 基于nodejs的excel表格合并工具
- HEKA.FitMaster.v2.15(用来分析和测试那些通过Patchmaster或Pulse得
- 爱快iKuai 安装成功后运行提示程序运行中解决办法
- 【对讲机的那点事】玩对讲机，你必须要了解的技术指标（下）
- C语言平面几何11-点关于直线的对称点
- 1896-2021历届奥运会奖牌榜动态排序（Matplotlib图表动画）
- JS/ES6-var、let、const用法与区别
- 字节跳动确认将自研芯片；美国国土安全部被曝大量购买和使用手机定位数据；谷歌被俄罗斯罚款3.6亿美元 | 每日大事件...
- 【日常训练】2019-10-24am_xjoi结界[生与死的境界]/codeforces878E_贪心
- 为什么要购买阿里云服务器？云服务器用途有哪些？
- 海外博友链接集合(陆续更新中)
- 2018 年，程序员要具备哪些核心竞争力？