Hadoop大象之旅009-通过Shell操作hdfs

老帅

调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式。

1.查看hdfs都有哪些Shell命令

参照前面章节中所述方法，使用SecureCRTPortable.exe登录CentOS;

使用命令“hadoopfs”查看hdfs的命令列表，如下图所示：

hdfs的所有命令的格式，都为：hadoop fs –xx，具体使用方法，可参考官方文档：

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

全部命令清单如下

cat 使用方法：hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。 示例： ·         hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 ·         hadoop fs -cat file:///file3 /user/hadoop/file4 返回值： 成功返回0，失败返回-1。 chgrp 使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. --> 改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。 chmod 使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …] 改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。 chown 使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ] 改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见HDFS权限用户指南。 copyFromLocal 使用方法：hadoop fs -copyFromLocal <localsrc> URI 除了限定源路径是一个本地文件外，和put命令相似。 copyToLocal 使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst> 除了限定目标路径是一个本地文件外，和get命令类似。 cp 使用方法：hadoop fs -cp URI [URI …] <dest> 将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。  示例： ·         hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 ·         hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir 返回值： 成功返回0，失败返回-1。 du 使用方法：hadoop fs -du URI [URI …] 显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。 示例： hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1  返回值： 成功返回0，失败返回-1。 dus 使用方法：hadoop fs -dus <args> 显示文件的大小。 expunge 使用方法：hadoop fs -expunge 清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。 get 使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst> 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例： ·         hadoop fs -get /user/hadoop/file localfile ·         hadoop fs -get hdfs://host:port/user/hadoop/file localfile 返回值： 成功返回0，失败返回-1。 getmerge 使用方法：hadoop fs -getmerge <src> <localdst> [addnl] 接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。 ls 使用方法：hadoop fs -ls <args> 如果是文件，则按照如下格式返回文件信息： 文件名 <副本数> 文件大小修改日期修改时间权限用户ID 组ID  如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下： 目录名 <dir> 修改日期修改时间权限用户ID 组ID  示例： hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile  返回值： 成功返回0，失败返回-1。 lsr 使用方法：hadoop fs -lsr <args>  ls命令的递归版本。类似于Unix中的ls -R。 mkdir 使用方法：hadoop fs -mkdir <paths> 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例： ·         hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 ·         hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir 返回值： 成功返回0，失败返回-1。 movefromLocal 使用方法：dfs -moveFromLocal <src> <dst> 输出一个”not implemented“信息。 mv 使用方法：hadoop fs -mv URI [URI …] <dest> 将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。  示例： ·         hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2 ·         hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1 返回值： 成功返回0，失败返回-1。 put 使用方法：hadoop fs -put <localsrc> ... <dst> 从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。 ·         hadoop fs -put localfile /user/hadoop/hadoopfile ·         hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir ·         hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile ·         hadoop fs -put - hdfs://host:port/hadoop/hadoopfile  从标准输入中读取输入。 返回值： 成功返回0，失败返回-1。 rm 使用方法：hadoop fs -rm URI [URI …] 删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。 示例： ·         hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir 返回值： 成功返回0，失败返回-1。 rmr 使用方法：hadoop fs -rmr URI [URI …] delete的递归版本。 示例： ·         hadoop fs -rmr /user/hadoop/dir ·         hadoop fs -rmr hdfs://host:port/user/hadoop/dir 返回值： 成功返回0，失败返回-1。 setrep 使用方法：hadoop fs -setrep [-R] <path> 改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。 示例： ·         hadoop fs -setrep -w 3 -R /user/hadoop/dir1 返回值： 成功返回0，失败返回-1。 stat 使用方法：hadoop fs -stat URI [URI …] 返回指定路径的统计信息。 示例： ·         hadoop fs -stat path 返回值： 成功返回0，失败返回-1。 tail 使用方法：hadoop fs -tail [-f] URI 将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。 示例： ·         hadoop fs -tail pathname 返回值： 成功返回0，失败返回-1。 test 使用方法：hadoop fs -test -[ezd] URI 选项： -e 检查文件是否存在。如果存在则返回0。 -z 检查文件是否是0字节。如果是则返回0。  -d 如果路径是个目录，则返回1，否则返回0。 示例： ·         hadoop fs -test -e filename text 使用方法：hadoop fs -text <src> 将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。 touchz 使用方法：hadoop fs -touchz URI [URI …] 创建一个0字节的空文件。 示例： ·         hadoop -touchz pathname 返回值： 成功返回0，失败返回-1。

2.查看hdfs根目录下都有哪些文件

使用命令“hadoopfs –lsr /”递归查看hdfs根目录下的所有文件夹和文件列表，如下图所示：

第一个字符：如果实d开头的表示文件夹，-开头的表示文件

再后面的10个字符是权限控制

再后面表示副本数量，文件夹用-表示，因为文件夹没有副本

再后面的root是创建者

再后面表示该文件属于哪个用户组

再后面的是文件大小，如果是文件夹则没有大小

注意：hdfs管理的文件，在linux下是看不到的。

 

3.在hdfs根目录下创建一个文件夹

使用命令“hadoopfs –mkdir /test”查创建一个文件夹，如下图所示：

 

4.上传文件到hdfs中

我们将linux系统/root目录下的一个68M的big.bin文件上传到hdfs的test文件夹中；

先看一下linux下的这个文件，如下图所示：

执行上传命令“hadoopfs -put /root/big.bin /test”，并查看结果如下图所示：

如果文件在hdfs中已经存在，会提示错误信息，如下图所示：

如果实在想上传，可以改个名字：“hadoopfs -put /root/big.bin /test/big1.bin”

 

5.默认文件夹与默认文件名

在hdfs中所有用户的默认文件夹都是/user/<currentUser>/

如我们执行命令“hadoopfs –ls”，出现如下提示：

这是因为当前用户是root，而在hdfs文件系统的/user/文件夹下没有/user/root/文件夹

如我们先执行命令“hadoopfs –mkdir /user/root”，然后再执行命令“hadoopfs –ls”，就正常了，如下图所示：

不过此时/user/root目录下是空的，所以看不到文件。

如使用命令“hadoopfs –put little.txt abc”

注意：如果不指定hdfs目录，则默认为“/user/<currentUser>/”路径

如果指定的路径abc文件夹不存在，那么abc默认作为文件名使用，将把little.text上传到默认路径下，并且名字为abc

6.访问指定的hdfs服务器

使用命令“hadoopfs –ls hdfs://hadoop001:9000/”可以访问指定的hdfs文件系统，如果访问本机，用“/”即可代替根目录。

使用命令“morecore-site.xml”查看配置文件，如下图所示：

可以看到hdfs的默认名称设置为“hdfs://hadoop001:9000”

 

7.区分htfs在linux中的根目录和hdfs自己的虚拟根目录

使用命令“cd$HADOOP_HOME”访问htfs在linux上的根目录

使用命令“hadoopfs –ls /”访问hdfs系统的虚拟根目录

 

Hadoop大象之旅009-通过Shell操作hdfs相关推荐

1. hadoop shell操作HDFS文件

   一.常用的 hadoop shell 文件路径需要自己有才行,示例中的文件路径是本人自己的文件路径,不是公共文件路径,如何建立自己的数仓,查看本人 大数据单机学习环境搭建 相关文章 1.1查看 创建 ...

2. shell 删除了hdfs 文件_从零开始学大数据（三） Shell操作HDFS文件系统-中

   1.格式化 [root@master sbin]# hdfs namenode -format 2.命令hdfs dfsadmin 查看(hdfs dfsadmin -report) [root@ma ...

3. 大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统

   文章目录 前言 1.HDFS特点 2.命令行和API操作HDFS (1)Shell命令行客户端 (2)API客户端连接HDFS的两种方式 (3)API客户端上传下载文件 (4)API客户端文件详情及文 ...

4. JAVA代码操作HDFS

   1.客户端环境准备 (1)将Hadoop-2.9.2安装包解压到非中文路径(例如:E:\hadoop-2.9.2) (2) 配置HADOOP_HOME环境变量 (3) 配置Path环境变量. (4)  ...

5. Hadoop详解（四）：HDFS shell操作和Java API操作

   1. HDFS环境准备 1.1 HDFS的格式化与启动 HDFS配置完之后就可以对其进行格式化操作.在NameNode所在机器上执行如下命令进行HDFS的格式化操作: hadoop namenode ...

6. 学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理

   四.MapReduce常用Shell操作 4.1.MapReduce常用Shell MapReduce Shell 此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互(这里不 ...

7. 学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作

   三.HDFS常用Shell操作 3.1.HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统(HDFS)进行交互. 使用命令: bin/hado ...

8. Hadoop开发第6期---HDFS的shell操作

   一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等. ...

9. Hadoop HFDS 的 Shell 操作

   调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...

最新文章

1. 写一手好 SQL 很有必要
2. mysql 慢查询_mysql如何捕捉慢日志查询
3. 转载：关于错排的相关知识
4. JavaScript提高：005：ASP.NET使用easyUI TABS标签显示问题
5. Winform中实现FTP客户端并定时扫描指定路径下文件上传到FTP服务端然后删除文件
6. AngularJS双向数据绑定实例
7. editorloop 占用_systemd CPU占用100%，并出现大量僵尸进程
8. 解析邮件归档技术 保护企业邮件安全(三)
9. 无限复活服务器,绝地求生无限复活模式怎么玩 无限复活新手教程
10. oracle asm磁盘回收步骤,【翻译自mos文章】回收 asm磁盘空间的方法
11. python字符串匹配的准确率_说说在 Python 中，如何找出所有字符串匹配
12. webpack和react_使用React和Webpack进行简单的代码拆分
13. js中数组原型Array、自定义原型函数Array.prototype
14. workbench表头可以是中文_超简单：Python 5步去中国式报表表头
15. Vue项目demo汇总
16. python怎么开发服务器_Python服务器开发(1)
17. Excel基础(14)条件格式与公式
18. Makefile中echo和@echo、和的区别
19. Minecraft 从安装到入门
20. 浏览器input自动填充

热门文章

1. html枪战游戏代码大全,3D枪战射击游戏cs简单版源代码
2. 用python给女朋友写了个自动提醒的程序
3. HTML学习-13css3圆角和透明色
4. DRL for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks
5. Android 拦截来电
6. HTML及HTML5学习笔记（心得感悟）
7. 毕业之前要做的20件事
8. 读书笔记感想：清教徒的脚踪
9. 基于DCGAN的动漫头像生成神经网络实现
10. 软件加密技术及实现(转载)