linux 查看hdfs文件,Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。
关键词:HDFS文件 命令行 Java API
HDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。
Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具;另一种是JavaAPI,即利用Hadoop的Java库,采用编程的方式操作HDFS的文件。
--------------------------------------分割线 --------------------------------------
--------------------------------------分割线 --------------------------------------
方式一:命令行方式
Hadoop文件操作命令形式为
hadoop fs -cmd
说明:cmd是具体的文件操作命令,是一组数目可变的参数。
Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。
1 添加文件和目录
HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root。该目录不能自动创建,需要执行mkdir命令创建。
hadoop fs -mkdir /usr/root
使用Hadoop的命令put将本地文件README.txt送到HDFS。
hadoop fs -put README.txt .
注意上面这个命令最后一个参数是句点(.),这意味着把本地文件放入到默认的工作目录,该命令等价于:
hadoop fs -put README.txt /user/root
使用Hadoop的ls命令,即
hadoop fs -ls
显示结果如图1所示。
图1 hadoop 中 ls命令Demo
2 获取文件
获取文件包含两层意思,一是HDFS从本地文件中获取文件,即前面介绍的添加文件;二是本地文件从HDFS中获取文件,可以使用Hadoop的get命令。例如若本地文件没有README.txt文件,需要从HDFS中取回,可以执行如下命令。
hadoop fs -get README.txt .
或者
hadoop fs -get README.txt /usr/root/README.txt
3 删除文件
Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt,可以执行如下命令。
hadoop fs -rm README.txt
4 检索文件
检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令。
hadoop fs -cat README.txt
部分显示结果如图2所示
图2 hadoop中cat命令Demo
另外,hadoop的cat命令的输出也可以使用管道传递给Unix 命令的head:
hadoop fs -cat README.txt | head
Hadoop也支持tail命令查看最后一千字节。例如要查阅README.txt最后一千个字节,可以执行如下命令。
hadoop fs -tail README.txt
5查阅帮助
查阅Hadoop命令帮助,可以让我们很好地掌握和使用Hadoop的 命令。我们可以执行hadoop fs 获取所用版本Hadoop的一个完整命令列别,也可以使用help来显示某个具体命令的用法及简短描述。
例如,要了解ls命令,可执行如下命令。
hadoop fs -help ls
关于hadoop命令ls的描述如图3所示。
图3 Hadoop命令ls的介绍
linux 查看hdfs文件,Hadoop之HDFS文件操作相关推荐
- Linux 查看磁盘容量、查找大文件、查找大目录
Linux 查看磁盘容量.查找大文件.查找大目录 磁盘统计 查看磁盘使用情况 df -h 文件统计 查找/home 目录下大于800M的文件 find /home -type f -size +800 ...
- 常见的Linux查看检索归档文件及vi文本编辑器操作大全
常见的Linux查看检索归档文件及vi文本编辑器操作大全 一.Linux目录结构 1.1 树形目录结构 1.2 根目录 1.3 常见的子目录 二.查看及检索文件 2.1 查看文件内容 -- cat命令 ...
- linux查看msg内容,如何打开MSG文件,如何转换MSG文件
具有.MSG文件扩展名的文件很可能是Outlook邮件消息文件. Microsoft Outlook程序可以生成与电子邮件,约会,联系人或任务相关的MSG文件. 如果是电子邮件,MSG文件可能包含消息 ...
- Linux——查看系统的日志的一些实用操作
last -a 把从何处登入系统的主机名称或ip地址,显示在最后一行. -d 指定记录文件.指定记录文件.将IP地址转换成主机名称. -f <记录文件> 指定记录文件. -n <显示 ...
- linux查看硬链接的对应文件,linux查看硬链接对应的所有文件
在linux中,链接文件分为硬链接和软链接文件两种,其中硬链接通过ln source_file dist_file建立,软链接通过ln -s source_file dist_file建立. 软硬链接 ...
- windows和linux允许分片,请问hadoop的hdfs文件系统和本地windows文件系统或linux文件系统是什么关系啊,谢谢...
虚拟文件系统 Virtual File Systems(VFS) Linux 是近年来发展起来的一种新型的操作系统,其最重要的特征之一就是支持多种文件系统,使其更加灵活,从而与许多其它的操作系统共存. ...
- linux目录硬链接,linux查看硬链接对应的所有文件
在linux中,链接文件分为硬链接和软链接文件两种,其中硬链接通过ln source_file dist_file建立,软链接通过ln -s source_file dist_file建立. 软硬链接 ...
- linux查看系统的日志的一些实用操作
last last,lastb [options][username...][tty...] -a---- 登录主机名显示在最后一列 -d----将IP地址转换成主机名称 -f---- 文件 -F-- ...
- 03 Hadoop(HDFS)
Haddop之HDFS 03 Hadoop(HDFS) 第 1 章 HDFS 概述 **1.1 HDFS 产出背景及定义** **1.2 HDFS 优缺点** **1.3 HDFS 组成架构** ** ...
最新文章
- OpenCV求逆(伪逆)矩阵函数
- 致女儿人生中第一个儿童节快乐(2018-06-01)
- 分片表怎么建表_经验放送!后端开发实战笔记之如何设计大数据量表结构
- java数组数据结构_Java数据结构之数组
- css overflow: scroll 去滚动条后,低端手机有兼容问题,可以这样
- Vue自定义组件——非单文件组件
- 浅谈,JavaScript 运行机制和Event Loop
- c#(.net)对dbf(arcgis shp属性表)的操作 (验证版)
- java文件名命名的规则,Java文件名及其他命名规则
- 董付国老师6本Python系列图书阅读指南
- python split()方法_聊聊 Python 的单元测试框架(一):unittest
- FPGA学习记录(7)<巴特沃斯低通IIR滤波器FPGA实现>
- [算法]LeetCode每日一题--9回文数(Java)
- 快速识别图中文字的操作方法
- 怎么将WPS转换成WORD?看完你就学会了
- 通过puppet hiera配置bigtop大数据集群
- 用友t3服务器不稳定怎么处理,用友T3常见问题解决方法
- 英国AI研究员揭开真相,中国人工智能为何能发展迅速?
- android app 仿小米全面屏手势返回UI样式
- 【纪中受难记】——Day15:今晚吃烧烤(最后吃了火锅)
热门文章
- Java语言基本元素
- 计算机组成原理 中央处理器(CPU) 指令系统
- oracle 9i手动启动数据库,Oracle9iAS (之五): 手工起动,关闭系统
- UE4 美术学习笔记和经验
- python-json操作
- 关于UNIX功能测试宏
- CISCO无线AP配置手册
- c语言的point函数,C语言中friend友元函数详细解析
- pyplot 画多个图时搅合到了一起_这些认数字游戏,宝宝最喜欢,家长可以和宝宝一起玩...
- encoder decoder模型_3分钟|聊一聊 Decoder 模块