java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取

3.5 Java接口

在本小节，我们要深入探索Hadoop的Filesystem类：与Hadoop的文件系统交互的API。虽然我们主要关注的是HDFS的实现DistributedFileSystem，但总体来说，还是应该努力编写不同于FileSsytem抽象类的代码，以保持其在不同文件系统中的可移植性。这是考验编程能力的最佳手段，因为我们很快就可以使用存储在本地文件系统中的数据来运行测试了。

3.5.1 从Hadoop URL中读取数据

要从Hadoop文件系统中读取文件，一个最简单的方法是使用java.net.URL对象来打开一个数据流，从而从中读取数据。一般的格式如下：

InputStream in = null;

try {

in = new URL(“hdfs://host/path”).openStream();

// process in

} finally {

IOUtils.closeStream(in);

}

这里还需要一点工作来让Java识别Hadoop文件系统的URL 方案，就是通过一个FsUrlStreamHandlerFactory实例来调用在URL中的setURLStreamHandler-Factory 方法。这种方法在一个Java虚拟机中只能被调用一次，因此一般都在一个静态块中执行。这个限制意味着如果程序的其他部件(可能是不在你控制中的第三方部件)设置一个URLStreamHandlerFactory，我们便无法再从Hadoop中读取数据。下一节将讨论另一种方法。

例3-1展示了以标准输出显示Hadoop文件系统的文件的程序，它类似于Unix的cat命令。

例3-1：用URLStream

java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取_hadoop读取文件相关推荐

boot spring 接口接收数据_在 Spring Boot 中使用 Dataway 配置数据查询接口
Dataway介绍 Dataway 是基于 DataQL 服务聚合能力,为应用提供的一个接口配置工具.使得使用者无需开发任何代码就配置一个满足需求的接口. 整个接口配置.测试.冒烟.发布.一站式都通过 ...
xlsx表格怎么筛选重复数据_怎样在excel2010中筛选出重复数据呢？
数据是信息的表现形式和载体,可以是符号.文字.数字.语音.图像.视频等.数据和信息是不可分离的,数据是信息的表达,信息是数据的内涵.在这一篇教程里面,小编主要和大家简单的介绍一下:怎样在Excel20 ...
ppt扇形图怎么显示数据_如何给PPT中自带的数据图表（柱形图，饼图，条形图，折线图等）添加合适、简约的动画...
首先我们从柱形图开始,最终我们希望做出下面的几种效果, 1.插入柱形图. 依次点击"插入"--"图表"--"柱形图", 这里选择第一个(簇状 ...
data类型的Url格式及Base64编码：把小数据直接嵌入到Url中
所谓"data"类型的Url格式,是在RFC2397中提出的,目的对于一些"小"的数据,可以在网页中直接嵌入,而不是从外部文件载入.例如对于img这个Tag, ...
Bootstrap data类型的Url格式--url(data:image/gif;base64,AAAA)：把小数据直接嵌入到Url中
原文链接http://shiyun1013.blog.163.com/blog/static/1077403620111113234714/ 所谓"data"类型的Url格式,是在 ...
data类型的Url格式--url(data:image/gif;base64,AAAA)：把小数据直接嵌入到Url中
所谓"data"类型的Url格式,是在RFC2397中提出的,目的对于一些"小"的数据,可以在网页中直接嵌入,而不是从外部文件载入.例如对于img这个Tag,哪 ...
data类型的Url格式：把小数据直接嵌入到Url中
原文地址: data类型的Url格式:把小数据直接嵌入到Url中所谓"data"类型的Url格式,是在RFC2397中提出的,目的对于一些"小"的数据,可以在 ...
Background中data类型的Url格式url(data:image/gif;base64,AAAA)把小数据直接嵌入到Url中
原文地址:http://blog.csdn.net/zuo_hy/article/details/38866935 所谓"data"类型的Url格式,是在RFC2397中提出的,目 ...
数组x中数据复制到数组y中，重复的数据只存储一次，最后输出y；计算x中数据的平均值ave及大于平均值的元素个数n。c++实现
题目描述编程序,实现如下功能: (1)定义两个一维数组x,y,不超过50个元素. (2)从键盘输入k个整数到数组x中. (3)计算x中数据的平均值ave及大于平均值的元素个数n并输出. (4)将数组 ...
数据逻辑结构在计算机存储器中的表示称为数据的存储结构
数据逻辑结构在计算机存储器中的表示称为数据的存储结构(或存储表示),也称为物理结构.通常情况下,同一种逻辑结构可以设计多种存储结构,在不同的存储结构中,实现同一种运算的算法可能不同. 逻辑结构.存储结 ...

java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取_hadoop读取文件

java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取_hadoop读取文件相关推荐

最新文章

热门文章