Hadoop之hdfs操作
HDFS的常见Shell操作
直接在命令行中输入hdfs dfs,可以查看dfs后面可以跟的所有参数
注意:这里面的[]表示是可选项,<>表示是必填项
[root@bigdata01 hadoop-3.3.2]# hdfs dfs
Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum [-v] <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-concat <target path> <src path> <src path> ...][-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] [-q <thread pool queue size>] <localsrc> ... <dst>][-copyToLocal [-f] [-p] [-crc] [-ignoreCrc] [-t <thread count>] [-q <thread pool queue size>] <src> ... <localdst>][-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] [-s] <path> ...][-cp [-f] [-p | -p[topax]] [-d] [-t <thread count>] [-q <thread pool queue size>] <src> ... <dst>][-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-df [-h] [<path> ...]][-du [-s] [-h] [-v] [-x] <path> ...][-expunge [-immediate] [-fs <path>]][-find <path> ... <expression> ...][-get [-f] [-p] [-crc] [-ignoreCrc] [-t <thread count>] [-q <thread pool queue size>] <src> ... <localdst>][-getfacl [-R] <path>][-getfattr [-R] {-n name | -d} [-e en] <path>][-getmerge [-nl] [-skip-empty-file] <src> <localdst>][-head <file>][-help [cmd ...]][-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]][-mkdir [-p] <path> ...][-moveFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>][-moveToLocal <src> <localdst>][-mv <src> ... <dst>][-put [-f] [-p] [-l] [-d] [-t <thread count>] [-q <thread pool queue size>] <localsrc> ... <dst>][-renameSnapshot <snapshotDir> <oldName> <newName>][-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...][-rmdir [--ignore-fail-on-non-empty] <dir> ...][-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]][-setfattr {-n name [-v value] | -x name} <path>][-setrep [-R] [-w] <rep> <path> ...][-stat [format] <path> ...][-tail [-f] [-s <sleep interval>] <file>][-test -[defswrz] <path>][-text [-ignoreCrc] <src> ...][-touch [-a] [-m] [-t TIMESTAMP (yyyyMMdd:HHmmss) ] [-c] <path> ...][-touchz <path> ...][-truncate [-w] <length> <path> ...][-usage [cmd ...]]>Generic options supported are:
-conf <configuration file> specify an application configuration file
-D <property=value> define a value for a given property
-fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
-jt <local|resourcemanager:port> specify a ResourceManager
-files <file1,...> specify a comma-separated list of files to be copied to the map reduce cluster
-libjars <jar1,...> specify a comma-separated list of jar files to be included in the classpath
-archives <archive1,...> specify a comma-separated list of archives to be unarchived on the compute machines
>
>The general command line syntax is:
command [genericOptions] [commandOptions]
-ls:查询指定路径信息
查看hdfs根目录下的内容,默认情况下hdfs中什么都没有
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls hdfs://bigdata01:9000/
Found 23 items
-rw-r--r-- 2 root supergroup 15217 2022-04-04 16:19 hdfs://bigdata01:9000/LICENSE.txt
-rw-r--r-- 3 30329 supergroup 482 2022-04-19 16:47 hdfs://bigdata01:9000/MapFile
-rw-r--r-- 2 root supergroup 1541 2022-04-04 16:19 hdfs://bigdata01:9000/NOTICE.txt
-rw-r--r-- 3 30329 supergroup 482 2022-04-19 16:50 hdfs://bigdata01:9000/SeqFile
-rw-r--r-- 2 root supergroup 1860100000 2022-04-20 13:14 hdfs://bigdata01:9000/hello_10000000.dat
drwxr-xr-x - root supergroup 0 2022-04-10 12:14 hdfs://bigdata01:9000/log
drwxr-xr-x - 30329 supergroup 0 2022-04-19 16:50 hdfs://bigdata01:9000/mapFile
drwxr-xr-x - root supergroup 0 2022-04-12 17:37 hdfs://bigdata01:9000/out
drwxr-xr-x - root supergroup 0 2022-04-12 17:51 hdfs://bigdata01:9000/out1
drwxr-xr-x - root supergroup 0 2022-04-19 17:18 hdfs://bigdata01:9000/out10
drwxr-xr-x - root supergroup 0 2022-04-20 16:32 hdfs://bigdata01:9000/out10000000
drwxr-xr-x - root supergroup 0 2022-04-19 17:28 hdfs://bigdata01:9000/out11
drwxr-xr-x - root supergroup 0 2022-04-19 17:30 hdfs://bigdata01:9000/out12
drwxr-xr-x - root supergroup 0 2022-04-12 18:05 hdfs://bigdata01:9000/out2
drwxr-xr-x - root supergroup 0 2022-04-13 19:31 hdfs://bigdata01:9000/out4
drwxr-xr-x - root supergroup 0 2022-04-13 19:51 hdfs://bigdata01:9000/out5
drwxr-xr-x - root supergroup 0 2022-04-13 20:03 hdfs://bigdata01:9000/out6
drwxr-xr-x - root supergroup 0 2022-04-28 21:25 hdfs://bigdata01:9000/outqueue
-rw-r--r-- 2 root supergroup 161 2022-04-29 08:23 hdfs://bigdata01:9000/relation.dat
drwxr-xr-x - root supergroup 0 2022-04-12 17:30 hdfs://bigdata01:9000/test
drwx------ - root supergroup 0 2022-04-13 19:51 hdfs://bigdata01:9000/tmp
drwx------ - root supergroup 0 2022-04-10 11:04 hdfs://bigdata01:9000/user
-rw-r--r-- 3 30329 supergroup 13 2022-04-05 20:58 hdfs://bigdata01:9000/user1.txt
其实后面hdfs的url这一串内容在使用时默认是可以省略的,因为hdfs在执行的时候会根据HDOOP_HOME自动识别配置文件中的fs.defaultFS属性
所以这样简写也是可以的
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls /
Found 23 items
-rw-r--r-- 2 root supergroup 15217 2022-04-04 16:19 /LICENSE.txt
-rw-r--r-- 3 30329 supergroup 482 2022-04-19 16:47 /MapFile
-rw-r--r-- 2 root supergroup 1541 2022-04-04 16:19 /NOTICE.txt
-rw-r--r-- 3 30329 supergroup 482 2022-04-19 16:50 /SeqFile
-rw-r--r-- 2 root supergroup 1860100000 2022-04-20 13:14 /hello_10000000.dat
drwxr-xr-x - root supergroup 0 2022-04-10 12:14 /log
drwxr-xr-x - 30329 supergroup 0 2022-04-19 16:50 /mapFile
drwxr-xr-x - root supergroup 0 2022-04-12 17:37 /out
drwxr-xr-x - root supergroup 0 2022-04-12 17:51 /out1
drwxr-xr-x - root supergroup 0 2022-04-19 17:18 /out10
drwxr-xr-x - root supergroup 0 2022-04-20 16:32 /out10000000
drwxr-xr-x - root supergroup 0 2022-04-19 17:28 /out11
drwxr-xr-x - root supergroup 0 2022-04-19 17:30 /out12
drwxr-xr-x - root supergroup 0 2022-04-12 18:05 /out2
drwxr-xr-x - root supergroup 0 2022-04-13 19:31 /out4
drwxr-xr-x - root supergroup 0 2022-04-13 19:51 /out5
drwxr-xr-x - root supergroup 0 2022-04-13 20:03 /out6
drwxr-xr-x - root supergroup 0 2022-04-28 21:25 /outqueue
-rw-r--r-- 2 root supergroup 161 2022-04-29 08:23 /relation.dat
drwxr-xr-x - root supergroup 0 2022-04-12 17:30 /test
drwx------ - root supergroup 0 2022-04-13 19:51 /tmp
drwx------ - root supergroup 0 2022-04-10 11:04 /user
-rw-r--r-- 3 30329 supergroup 13 2022-04-05 20:58 /user1.txt
-put: 从本地上传文件
接下来我们向hdfs中上传一个文件,使用Hadoop中的README.txt,直接上传到hdfs的根目录即可
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -put README.txt /
上传成功之后没有任何提示,注意,没有提示就是最好的结果
确认一下刚才上传的文件
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls /
在这里可以发现使用hdfs中的ls查询出来的信息和在linux中执行ll查询出来的信息是类似的
在这里能看到这个文件就说明刚才的上传操作是成功的
-cat: 查看HDFS文件内容
文件上传上去以后,查看一下HDFS中文件的内容,使用cat即可
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -cat /README.txt
-get: 下载文件到本地
如果我们想把hdfs中的文件下载到本地linux文件系统中需要怎么做呢?使用get即可实现
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -get /README.txt
-mkdir[-p]: 创建文件夹
后期我们需要在hdfs中维护很多文件,所以就需要创建文件夹来进行分类管理了
下面我们来创建一个文件夹,hdfs中使用mkdir命令
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -mkdir /test
如果要递归创建多级目录,还需要再指定-p参数
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -mkdir -o /abc/xyz
想要递归显示所有目录的信息,可以在ls后面添加-R参数
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -ls -R /
-rm[-r]: 删除文件/文件夹
如果想要删除hdfs中的目录或者文件,可以使用rm
删除文件
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -rm /README.txt
删除目录,注意,删除目录需要指定-r参数
[root@bigdata01 hadoop-3.3.2]# hdfs dfs -rm -r /abc
Hadoop之hdfs操作相关推荐
- 【Hadoop】HDFS操作、数据上传与下载原理解析、高级特性及底层原理
HDFS操作.数据上传与下载原理解析.高级特性及底层原理 1 HDFS操作 1.1 Web Console网页工具 1.2 命令行 1.2.1 普通的操作命令 1.2.2 管理员命令 1.3 Java ...
- Hadoop集群的基本操作(一:HDFS操作及MapReduce程序练习)
实验 目的 要求 目的: 理解HDFS在Hadoop体系结构中的角色: 熟练使用HDFS操作常用的Shell命令: 了解Hadoop集群MapReduce程序的简单使用: (上传WordCount的j ...
- Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件 命令行 Java API HD ...
- linux 查看hdfs文件,Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件 命令行 Java API HDF ...
- Hadoop安装及hdfs操作
** Hadoop安装及hdfs操作如下 ** 先安装完成了centos7,首先要对宿主机(windows)和虚拟机(centos7)的网络进行测试,保证虚拟机可以与宿主机互通. 在宿主机按下wind ...
- hadooppythonjava_通过jpype实现python调用Hadoop Java Client操作HDFS
通过python操作HDFS有非常好用的模块hdfs3 ,其底层依赖c++模块libhdfs3,起初libhdfs3不支持acl权限校验对于设置了acl权限的目录和文件会报NOTFOUND错误(现已解 ...
- 大数据之-Hadoop之HDFS的API操作_机架感知_副本存储的节点的选择---大数据之hadoop工作笔记0068
然后我们再来看一下,这个,hadoop的hdfs的机架感知,如何为某个上传的文件,这里如果是默认是,3个副本的话, 比如有1000台datanode,那么hadoop如何为这个3个副本选择合适的节点, ...
- 大数据之-Hadoop之HDFS的API操作_判断是文件还是文件夹---大数据之hadoop工作笔记0062
然后我们再来看看,利用hadoop的hdfs的java的api来判断,当前的给出的路径是个 文件夹还是个文件. 我们写一下代码,我们判断根目录下的所有文件,循环判断是文件还是文件并打印 可以看到我们执 ...
- 大数据之-Hadoop之HDFS的API操作_修改文件的名称---大数据之hadoop工作笔记0060
然后我们再去看看文件的名称的修改. 可以看到用的rename的hadoop的hdfs的java的api 执行前可以看到这个文件名称是banzhagn.txt 执行以后可以看到就修改成了yanjing. ...
最新文章
- I am the load of my word
- JVM PrintGCDetails打印GC细节
- 在GWT中序列化/反序列化Json
- SQL SERVER 表分区
- Node.js 线程你理解的可能是错的
- 回顾Gartner 报告:2010年至2017年那些最酷的存储初创公司去哪儿了
- Linux 初始化 init 系统(一)
- EFFECTIVE C++ (万字详解)(一)
- # Codeforces Round #722(div2)D. Kavi on Pairing Duty
- 解析几何:第五章 二次曲线(2)抛物线 一般二次曲线
- 【数据结构】认识赫夫曼树与赫夫曼编码 上手实现压缩文件和解压
- 同元软控助力复杂系统数字孪生落地应用
- 咪咕MGV2000-KL 16G 晶晨S905L3 广东爱家TV 卡刷包
- MySQL实现连表查询
- 计算机毕业设计php公文审批系统-办公系统
- CUMT数据库SQL实验
- 画【Python折线图】的一百个学习报告(三、设置全局 Label 颜色)
- 2018-4-18《给孩子讲量子力学》
- 天基实业要拥有投资理财智慧
- SIMCOM7600CE FTP指令
热门文章
- Apple MFi认证是什么意思?
- template-模板完全特化
- 仿古砖搭配这样做,会有不同的效果
- 码农考驾照之科目二操作点
- QlikView 学习资料
- 如果应用闪退,怎么获取相关日志?
- 二重积分x^2+y^2_计算二重积分∫∫(x+y)dxdy,其中D为x^2+y^2≤2x
- 问题解决:pdf打不开,出现Acrobat failed to connect to a DDE server问题
- 计算机vb里代码里的双引号,在VB中使用字符串中的左双引号
- appium元素定位之元素定位工具 什么是uiautomatorviewer,uiautomatorviewer是干嘛的