【hadoop2.6.0】利用Hadoop的 Java API

Hadoop2.6.0的所有Java API都在 http://hadoop.apache.org/docs/r2.6.0/api/overview-summary.html 里。

下面实现一个利用Java API创建HDFS文件的例子。参照《实践Hadoop》(刘鹏) 书中的第50页。

利用FileSystem.create(Path f)实现

第一步，先写java代码，命名为MyCreateFile.java 注意，一定要放在hadoop的根目录下

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class MyCreateFile{public static void main(String[] args)throws Exception{Configuration conf=new Configuration();byte[] buff="hello wordl!".getBytes();FileSystem hdfs=FileSystem.get(conf);Path dfs=new Path("/user/kzy/new_file");FSDataOutputStream outputStream=hdfs.create(dfs);outputStream.write(buff,0,buff.length);}
}

第二步，编译打包在命令行中输入下面两个指令，打包为mcf.jar

bin/hadoop com.sun.tools.javac.Main MyCreateFile.java
jar cf mcf.jar MyCreateFile*.class

第三步，执行在命令行中输入

bin/hadoop jar mcf.jar MyCreateFile

到http://localhost:50070 中查看结果在/user/kzy 目录下出现了新文件new_file

【hadoop2.6.0】利用Hadoop的 Java API相关推荐

Linux下Hadoop hdfs Java API使用
0 前言搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了.做个笔记方便以后参考.环境如下所示 Hadoop:2.5.1 Linux:Ubuntu kylin eclipse:lu ...
hadoop hdfs (java api)
简单介绍使用java控制hdfs文件系统一.注意namenode端访问权限,修改hdfs-site.xml文件或修改文件目录权限本次采用修改hdfs-site.xml用于测试,在configura ...
Elasticsearch8.0版本中Elasticsearch Java API Client客户端的基本使用方法
关于Elasticsearch Java API Client客户端如何连接以及如何对索引和文档进行基本的增删改查操作请查看我的上一篇博文:Elasticsearch RestHighLevelCli ...
java mapreduce api_Hadoop实战-初级部分之 Hadoop MapReduce JAVA API
精品视频课程推荐 Java数据结构和算法精讲版本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上. 从零开始.全面系统.成体系的讲解数据 ...
Hadoop详解（四）：HDFS shell操作和Java API操作
1. HDFS环境准备 1.1 HDFS的格式化与启动 HDFS配置完之后就可以对其进行格式化操作.在NameNode所在机器上执行如下命令进行HDFS的格式化操作: hadoop namenode ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
hadoop学习笔记（二）：centos7三节点安装hadoop2.7.0
环境win7+vamvare10+centos7 一.新建三台centos7 64位的虚拟机 master 192.168.137.100 root/123456 node1 192.168.137. ...
Hadoop之——Hadoop2.2.0分布式集群安装
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45748111 一.安装系统虚拟软件 : VMware workstation ...
使用GlassFish 4.0测试驱动Java API以处理JSON
编写规范并为其做出贡献是一回事. 如果您想提供宝贵的反馈意见,请使用它并研究真实的示例. 最新推广的GlassFish构建包含重命名为4.0,我认为现在是对Java处理JSON(JSON-P)API进 ...

【hadoop2.6.0】利用Hadoop的 Java API

【hadoop2.6.0】利用Hadoop的 Java API相关推荐

最新文章

热门文章