Hadoop之HDFS文件操作

摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。

关键词：HDFS文件命令行 Java API

HDFS是一种分布式文件系统，为MapReduce这种框架下的海量数据分布式处理而设计。

Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具；另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。

方式一：命令行方式

Hadoop文件操作命令形式为

hadoop fs -cmd <args>

说明：cmd是具体的文件操作命令，<args>是一组数目可变的参数。

Hadoop最常用的文件操作命令，包括添加文件和目录、获取文件、删除文件等。

1 添加文件和目录

HDFS有一个默认工作目录/usr/$USER，其中$USER是你的登录用户名，作者的用户名是root。该目录不能自动创建，需要执行mkdir命令创建。

hadoop fs -mkdir /usr/root

使用Hadoop的命令put将本地文件README.txt送到HDFS。

hadoop fs -put README.txt .

注意上面这个命令最后一个参数是句点（.），这意味着把本地文件放入到默认的工作目录，该命令等价于：

hadoop fs -put README.txt /user/root

使用Hadoop的ls命令，即

hadoop fs -ls

显示结果如图1所示。

图1 hadoop 中 ls命令Demo

2 获取文件

获取文件包含两层意思，一是HDFS从本地文件中获取文件，即前面介绍的添加文件；二是本地文件从HDFS中获取文件，可以使用Hadoop的get命令。例如若本地文件没有README.txt文件，需要从HDFS中取回，可以执行如下命令。

hadoop fs -get README.txt .

或者

hadoop fs -get README.txt /usr/root/README.txt

3 删除文件

Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt，可以执行如下命令。

hadoop fs -rm README.txt

4 检索文件

检索文件即查阅HDFS中的文件内容，可以使用hadoop中的cat命令。例如要查阅README.txt的内容，可以执行如下命令。

hadoop fs -cat README.txt

部分显示结果如图2所示

图2 hadoop中cat命令Demo

另外，hadoop的cat命令的输出也可以使用管道传递给Unix 命令的head：

hadoop fs -cat README.txt | head

Hadoop也支持tail命令查看最后一千字节。例如要查阅README.txt最后一千个字节，可以执行如下命令。

hadoop fs -tail README.txt

5查阅帮助

查阅Hadoop命令帮助，可以让我们很好地掌握和使用Hadoop的命令。我们可以执行hadoop fs 获取所用版本Hadoop的一个完整命令列别，也可以使用help来显示某个具体命令的用法及简短描述。

例如，要了解ls命令，可执行如下命令。

hadoop fs -help ls

关于hadoop命令ls的描述如图3所示。

图3 Hadoop命令ls的介绍

Resource：

1 http://www.wangluqing.com/2014/03/hadoop-hdfs-fileoperation/

2 Hadoop in Action http://www.manning.com/lam/

Hadoop之HDFS文件操作相关推荐

linux 查看hdfs文件,Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件命令行 Java API HDF ...
hadoop的hdfs文件操作实现上传文件到hdfs
hdfs文件操作操作示例,包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,大家参考使用吧复制代码代码如下: import org.apache.hadoop.conf.Conf ...
大数据上机基础—HDFS文件操作
本文为在校学习大数据课程期间,对厦门大学林子雨老师大数据技术原理与应用第三章分布式文件系统HDFS学习指南一文进行的整理,方便自己学习查看原文地址为大数据技术原理与应用第三章分布式文件系统H ...
Hadoop hdfs文件操作常用命令
hadoop fs -操作命令 -参数 -ls #显示目录信息 -->hadoop fs -ls hdfs://hadoop-server-00:9000/ 这些参数中,所有的hdfs路径都可以 ...
【Hadoop】HDFS文件写入与文件读取过程
HDFS文件写入与文件读取过程 1. 文件读取过程 2. 文件写入过程 1. 文件读取过程详细过程: 客户端通过调用FileSystem对象的open()来读取希望打开的文件. Client向Nam ...
Hadoop HDFS文件操作的Java代码
1.创建目录 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.ha ...
[zz]HDFS文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似.并且支持通配符,如*. 1. 查看文件列表查看hdfs中/user/admin/hdfs目录下的文件. a. 进入HADOOP ...
大数据基础系列 5：Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录前言一.实验目的二.实验平台三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
MapReduce基础开发之八HDFS文件CRUD操作
HDFS文件操作的基础代码. package com.hive;import java.io.BufferedInputStream; import java.io.BufferedOutputStr ...

Hadoop之HDFS文件操作

Hadoop之HDFS文件操作相关推荐

最新文章

热门文章