Hadoop---HDFS相关命令

Hadoop中有三种Shell命令方式：
(1)hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
(2)hadoop dfs只能适用于HDFS文件系统
(3)hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

一、hadoop fs - 命令

命令	说明
hadoop fs -mkdir	创建HDFS目录，创建指定的文件夹
hadoop fs -ls	显示指定的文件的详细信息
hadoop fs -copyFromLocal	使用-copyFromLocal复制本地文件（local）到HDFS
hadoop fs -put	使用-put复制本地（local）文件到HDFS
hadoop fs -copyToLocal	将HDFS上的文件复制到本地（local）
hadoop fs -get	将HDFS上的文件复制到本地（local）
hadoop fs -cp	复制HDFS文件
hadoop fs -rm	删除HDFS文件，-rm -R 递归删除目录和文件
hadoop fs -cat	列出HDFS目录下的文件的内容，指定的文件的内容输出到标准输出（stdout）
hadoop fs -test -e	检测目录和文件是否存在，存在返回值为0，不存在返回1
hadoop fs -text	查看文件内容
hadoop fs -du	统计目录下各文件大小，单位字节。-du -s 汇总目录下文件大小，-du -h 显示单位
hadoop fs -tail	显示文件末尾
hadoop fs -cp [src] [dst]	从源目录复制文件到目标目录
hadoop fs -mv [src] [dst]	从源目录移动文件到目标目录

二、hdfs dfs- 命令和hadoop 命令

命令	说明	具体使用
-mkdir	创建目录	hdfs dfs -mkdir [-p] < paths>
-ls	查看目录下内容，包括文件名，权限，所有者，大小和修改时间	hdfs dfs -ls [-R] < args>
-put	将本地文件或目录上传到HDFS中的路径	hdfs dfs -put < localsrc> … < dst>
-get	将文件或目录从HDFS中的路径拷贝到本地文件路径	hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>　　选项：-ignorecrc选项复制CRC校验失败的文件。-crc选项复制文件和CRC。
-du	显示给定目录中包含的文件和目录的大小或文件的长度，用字节大小表示	hdfs dfs -du [-s] [-h] URI [URI …]　　选项：-s选项将显示文件长度的汇总摘要，而不是单个文件。-h选项将以“人可读”的方式格式化文件大小。第一列标示该目录下总文件大小，第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关（第二列内容=文件大小*副本数），第三列标示你查询的目录
-dus	显示文件长度的摘要。	hdfs dfs -dus < args>　　注意：不推荐使用此命令。而是使用hdfs dfs -du -s
-mv	在HDFS文件系统中，将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。	hadoop dfs -mv [src] [dst]
-cp	在HDFS文件系统中，将文件或目录复制到目标路径下	hdfs dfs -cp [-f] [-p
-copyFromLocal	从本地复制文件到hdfs文件系统（与-put命令相似）	hdfs dfs -copyFromLocal < localsrc> URI　　选项：如果目标已存在，则-f选项将覆盖目标。
-copyToLocal	复制hdfs文件系统中的文件到本地（与-get命令相似）	hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>
-rm	删除一个文件或目录	hdfs dfs -rm [-f] [-r
-cat	显示文件内容到标准输出上	hdfs dfs -cat URI [URI …]
-text	获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。	hdfs dfs -text
-touchz	创建一个零长度的文件	hdfs dfs -touchz URI [URI …]
-stat	显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)	hdfs dfs -stat URI [URI …]
-tail	显示文件的最后1kb内容到标准输出	hdfs dfs -tail [-f] URI　　选项：-f选项将在文件增长时输出附加数据，如在Unix中一样。
-count	统计与指定文件模式匹配的路径下的目录，文件和字节数	hdfs dfs -count [-q] [-h] < paths>
-getmerge	将源目录和目标文件作为输入，并将src中的文件连接到目标本地文件（把两个文件的内容合并起来）	hdfs dfs -getmerge < src> < localdst> [addnl] 　　注：合并后的文件位于当前目录，不在hdfs中，是本地文件
-grep	从hdfs上过滤包含某个字符的行内容	hdfs dfs -cat < srcpath>
-chown	hdfs上文件权限修改	hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者
-distcp	最常用在集群之间的拷贝	hadoop distcp

看到这么多hdfs的命令，你是不是心动了，心动不如赶快行动，赶快上手练习一下吧。

Hadoop---HDFS相关命令相关推荐

Hadoop HDFS常用命令
在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作.利用这些命令可以完成HDFS中文档的上传.下载.复制.查看文件信息.格式化名称节点等操作.关于HDFS的Shell命令有一个统 ...
Hadoop hdfs Shell命令 HDFS操作命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...
hadoop hdfs常见命令
hdfs dfs仅针对于hdfs文件系统 1.查看hdfs文件系统根目录文件 hdfs dfs -ls / 2.在hdfs文件系统中创建目录abtest hdfs dfs -mkdir /abtest ...
hadoop安装过程命令汇总
命令汇总网络配置: hostname 查看主机名 vi /etc/sysconfig/network 设置主机名 ifconfig ...
Hadoop HDFS概念学习系列之shell命令使用HDFS的一些其他命令（十九）
其他相关命令还包括以下这些: NameNode -format : 格式化DFS文件系统 secondaryNameNode : 运行DFS的SecndaryNameNode进程 NameNo ...
Hadoop、Yarn相关命令简介
HDFS.MapReduce和Yarn并称为Hadoop的核心三大组件,本文着重介绍Hadoop以及Yarn在命令行操作时的相关命令,文中如有不妥之处,欢迎大家及时提出~ 一.Hadoop相关基础命令 ...
HDFS权限管理、用户身份认证和数据访问授权、UGO权限管理、umask权限掩码、UGO权限相关命令、Web页面修改UGO权限
HDFS权限管理 1.1 总览概述作为分布式文件系统,HDFS也集成了一套兼容POSIX的权限管理系统.客户端在进行每次文件操时,系统会从用户身份认证和数据访问授权两个环节进行验证: 客户端的操作请 ...
安装完Hadoop之后，命令行输入hadoop或hdfs却找不到命令的解决方法
安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法参考文章: (1)安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 (2)https:// ...
Hadoop HDFS分布式文件系统常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
Hadoop/HDFS命令
Hadoop中文手册:http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册:http://hadoop.apache.or ...

Hadoop---HDFS相关命令

Hadoop---HDFS相关命令相关推荐

最新文章

热门文章