hadoop fs命令
FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可 以表示成hdfs://namenode:namenodeport/parent/child ,或者更简单的/parent/child(假 设你配置文件中的默认值是namenode:namenodeport )。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr ,其他信息输出到stdout 。
cat
使用方法:hadoop fs -cat URI [URI …]
- hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
- hadoop fs -cat file:///file3 /user/hadoop/file4
chgrp
改变文件所属的组。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是 文件的所有者或者超级用户。更多的信息请参见HDFS 权限用户指南 。
chmod
使用方法:hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
改变文件的权限。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文 件的所有者或者超级用户。更多的信息请参见HDFS 权限用户指南 。
chown
使用方法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是 超级用户。更多的信息请参见HDFS 权限用户指南 。
copyFromLocal
使用方法:hadoop fs -copyFromLocal <localsrc> URI
copyToLocal
使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
cp
使用方法:hadoop fs -cp URI [URI …] <dest>
将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。
示例:
- hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
- hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
du
使用方法:hadoop fs -du URI [URI …]
dus
expunge
清空回收站。请参考HDFS 设计 文档以获取更多关于回收站特性的信息。
get
使用方法:hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
复制文件到本地文件系统。可用-ignorecrc 选项复制CRC校验失败的文 件。使用-crc 选项复制文件以及CRC信息。
- hadoop fs -get /user/hadoop/file localfile
- hadoop fs -get hdfs://host:port/user/hadoop/file localfile
getmerge
使用方法:hadoop fs -getmerge <src> <localdst> [addnl]
接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addnl 是 可选的,用于指定在每个文件结尾添加一个换行符。
ls
lsr
使用方法:hadoop fs -lsr <args>
ls 命令的递归版本。类似于Unix中的ls -R 。
mkdir
接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。
- hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
- hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
movefromLocal
使用方法:dfs -moveFromLocal <src> <dst>
mv
使用方法:hadoop fs -mv URI [URI …] <dest>
将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
示例:
- hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
- hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
put
使用方法:hadoop fs -put <localsrc> ... <dst>
从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
- hadoop fs -put localfile /user/hadoop/hadoopfile
- hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
- hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
- hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
从标准输入中读取输入。
rm
使用方法:hadoop fs -rm URI [URI …]
删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。
示例:
rmr
使用方法:hadoop fs -rmr URI [URI …]
setrep
使用方法:hadoop fs -setrep [-R] <path>
改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
stat
使用方法:hadoop fs -stat URI [URI …]
tail
将文件尾部1K字节的内容输出到stdout。支持-f选项,行为和Unix中一致。
test
使用方法:hadoop fs -test -[ezd] URI
选项:
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录,则返回1,否则返回0。
text
使用方法:hadoop fs -text <src>
将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
touchz
转载于:https://www.cnblogs.com/cl1024cl/p/6205432.html
hadoop fs命令相关推荐
- Hadoop之hadoop fs命令
一.hadoop fs命令简介 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式. 所有的的FS shell命令使用URI路径作为参数.URI格 ...
- hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
- Hadoop fs命令详解
本文非原创,转载自http://www.superwu.cn/2013/07/31/312 另外参考:http://www.blogjava.net/changedi/archive/2013/08/ ...
- hadoop fs命令无法使用_Hadoop从入门到入土(三)HDFS集群简单维护及JAVA客户端连接HDFS...
集群简单维护 查看日志 上篇我们搭建了集群,并且完成了hdfs的搭建,但在我的linux02和linux03上,发现一个问题,我启动了datanode之后,开始进程还在,一会就自己消失了,这是为什么呢 ...
- Hadoop fs 命令使用手册
HDFS(Hadoop Distributed Filesystem)提供一个类似于Unix Shell的命令接口FSShell,用于client和HDFS进行数据交互. 调用FSShell命令的方式 ...
- hadoop fs 命令大全(解析和例子)
hadoop fs [generic options] hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录 ---------------------- ...
- hadoop fs 命令详解
转载: https://blog.csdn.net/bgk083/article/details/49454209 转载于:https://www.cnblogs.com/water-green/p/ ...
- hadoop fs 与hdfs dfs命令区别
hadoop fs命令可以用于HDFS.本地文件系统等不同的文件系统. hdfs dfs命令只用于HDFS文件系统:
- 【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录 前言 一.hadoop fs常用命令参数列表 二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...
最新文章
- 计算机桌面颜色如何设置标准,电脑调整桌面颜色设置_电脑桌面颜色设置
- 电脑睡眠快捷键_电脑学习:苹果电脑快捷键
- RabbitMQ(五):Exchange交换器--topic
- java 前端页面传过来的值怎么防止篡改_杂谈!了解一些额外知识,让你的前端开发锦上添花...
- android bitmap drawable 互转
- 企业架构-发布在线文档【企业架构框架-TOGAF v0.2.pdf】
- python 特别慢_Python很慢?不一定哦
- 微信小程序开发详解(九)---微信小程序布局基础
- lcs算法 php,使用PHP编写的LCS算法
- 考研英语 - word-list-25
- Android设置默认输入法
- 数据工具sqoop用法之mysql与hive数据导入导出
- 【深度学习】SSD网络原理
- Java是什么?怎么学Java?
- an tu tu html5 test,2016年中考英语试题感叹句专项练习题
- “互联网思维”大起底
- lol服务器位置2017,2017LOL转区系统在哪儿 LOL12月转区系统地址入口
- 给Mi5刷个原生安卓系统
- pb 数据窗口更新mysql_如何在PB数据窗口中修改数据---设置数据窗口的更新属性...
- osgEarth 编译
热门文章
- vs2008 及.netframework3.5 安装问题
- 速度最快250fps!实时、高性能车道线检测算法LaneATT
- 多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
- AAAI 2021 | 商汤提出BSN++: 时序动作提名生成网络
- 不得不服!腾讯优图联合腾讯会议正式上线神奇的眼神接触功能
- CMU黑科技,手机录视频,实现人脸3D建模的高度逼真
- 近期机器学习竞赛汇总~总奖池超千万人民币!
- 快准狠!Intel论文揭示自家车牌识别算法:LPRNet
- 收藏 | 自监督视觉Transformer
- 收藏 | TinaFace:人脸检测新纪录