HDFS教程(02)- HDFS命令汇总
文章目录
- 01 引言
- 02 HDFS安装
- 03 HDFS命令汇总
- 3.1 新增操作
- 3.1.1 创建文件夹(mkdir命令)
- 3.1.2 文件上传(put命令)
- 3.1.3 文件复制(cp命令)
- 3.1.4 移动文件(mv命令)
- 3.1.5 创建空文件(touchz命令)
- 3.2 删除操作
- 3.2.1 删除文件夹(rmdir命令)
- 3.2.2 删除文件(rm命令)
- 3.2.3 清空回收站(expunge命令)
- 3.3 查看操作
- 3.3.1 获取文件(get 命令)
- 3.3.2 查看文件(ls、du、df、cat、tail 命令)
- 3.3.3 文件检查(test 命令)
- 3.3.4 text文件(text 命令)
- 3.3.5 路径信息统计(stat 命令)
- 3.3.6 文件校验(checksum 命令)
- 3.3.7 统计节点(count 命令)
- 3.3.8 匹配指令(find 命令)
- 3.4 修改操作
- 3.4.1 修改拥有者(chown)
- 3.4.2 修改所属组(chgrp)
- 3.4.3 修改文件权限(chown)
- 3.4.4 修改文件副本系数(setrep)
- 3.4.5 文件追加(appendToFile)
- 05 文末
01 引言
在前面的教程,我们对HDFS
有一个简单的认识了,有兴趣的同学可以参阅:
- 《HDFS教程(01)- 初识HDFS》
本文主要简介HDFS
的安装与命令的汇总。
02 HDFS安装
因为HDFS
是Hadoop
的核心组件,所以安装了Hadoop
就相当于把HDFS
安装了,具体的安装方式可以参考之前写的博客《Mac下安装Hadoop》,因为本人使用的是mac
系统,所以这里只有mac
版的安装教程了,其实原理都差不多的。
03 HDFS命令汇总
3.1 新增操作
3.1.1 创建文件夹(mkdir命令)
# 创建一个abc目录
hdfs dfs -mkdir /user/zhang/abc
3.1.2 文件上传(put命令)
# 将client node中的NOTICE.txt文件 put 到hdfs的/user/zhang文件夹中
hdfs dfs -put NOTICE.txt /user/zhang# 如果文件存在,可以使用-f参数进行覆盖
hdfs dfs -put -f NOTICE.txt /user/zhang
3.1.3 文件复制(cp命令)
copyFromLocal命令:
# 这个命令和put作用相同(如果存在`LCENSE.txt文件`,要进行覆盖,加上`-f`参数,和put命令一样)
hdfs dfs -copyFromLocal LICENSE.txt /user/zhang
copyToLocal 命令:
# 复制hdfs的/user/zhang/test/README.txt文件到client node当前目录
hdfs dfs -copyToLocal /user/zhang/test/README.txt
# 如果需要复制到指定目录
hdfs dfs -copyToLocal /user/zhang/test/README.txt /指定目录
cp 命令:
# 将/user/zhang/NOTICE.txt 复制到 /user/zhang/test目录
hdfs dfs -cp /user/zhang/NOTICE.txt /user/zhang/test
3.1.4 移动文件(mv命令)
hdfs dfs -mv 要移动的文件 目标文件夹目录
3.1.5 创建空文件(touchz命令)
创建一个0字节的空文件。
格式:
touchz <path>
示例:
hdfs dfs -touchz /user/dataflair/dir2
3.2 删除操作
3.2.1 删除文件夹(rmdir命令)
# 删除/user/zhang/demo目录
hdfs dfs rmdir /user/zhang/demo
3.2.2 删除文件(rm命令)
# 删除/user/zhang/NOTICE.txt文件
hdfs dfs -rm /user/zhang/NOTICE.txt# 删除/user/zhang/abc目录
hdfs dfs -rm -r /user/zhang/abc
3.2.3 清空回收站(expunge命令)
hdfs dfs -expunge
3.3 查看操作
3.3.1 获取文件(get 命令)
# 获取hdfs中的/user/zhang/test/README.txt.gz文件,到client node当前目录
hdfs dfs -get /user/zhang/test/README.txt.gz# 和copyToLocal命令一样
3.3.2 查看文件(ls、du、df、cat、tail 命令)
ls 命令:
# 查看hdfs根目录
hdfs dfs -ls /# 查看hdfs其它目录(/user/zhang)
hdfs dfs -ls /user/zhang
du 命令:
hdfs dfs -du /user/zhang# 将字节自动转化成单位
hdfs dfs -du -h /user/zhang
df 命令:
# 查看根目录磁盘空间
hdfs dfs -df /
cat 命令:
# 查看文件
hdfs dfs -cat /user/zhang/test/README.txt
tail 命令( 类似还有 head ):
hdfs dfs -tail /user/zhang/test/README.txt
3.3.3 文件检查(test 命令)
用于文件检测操作,如果路径存在,返回 1,如果是目录返回 0。
格式:
hdfs dfs -test -[ezd] URI
选项:
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录,则返回1,否则返回0。
示例:
hdfs dfs -test -e sample
hdfs dfs -test -z sample
hdfs dfs -test -d sample
3.3.4 text文件(text 命令)
将源文件输出为文本格式。允许的格式是 zip
和 TextRecordInputStream
。
格式:
hdfs dfs -text <source>
示例:
hdfs dfs -text /user/dataflair/dir1/sample
3.3.5 路径信息统计(stat 命令)
返回指定路径统计信息。
格式:
hdfs dfs -stat path
示例:
hdfs dfs -stat /user/dataflair/dir1
3.3.6 文件校验(checksum 命令)
返回文件的校验和信息。
格式:
hadoop fs -checksum URI
示例:
hadoop fs -checksum /user/dataflair/dir1/sample
3.3.7 统计节点(count 命令)
统计一个指定目录下的文件结点数量。
格式:
hdfs dfs -count [-q] <paths>
示例:
$ hadoop fs -count /testelephant2 1 108 testelephant
- 第一个数值 2 表示 /testelephant 下的文件夹的个数,
- 第二个数值 1 表是当前文件夹下文件的个数,
- 第三个数值 108 表示该文件夹下文件所占的空间大小,这个大小是不计算副本的个数的,单位是字节(byte)。
$ hadoop fs -count -q /sunwg1024 1021 10240 10132 2 1 108 /testelephant
在 count 后面增加 -q 选项可以查看当前文件夹的限额使用情况。
- 第一个数值 1024 ,表示总的文件包括文件夹的限额。
- 第二个数值 1021 ,表示目前剩余的文件限额,即还可以创建这么多的文件或文件夹。
- 第三个数值 10240 ,表示当前文件夹空间的限额。
- 第四个数值 10132 ,表示当前文件夹可用空间的大小,这个限额是会计算多个副本的。
- 剩下的三个数值与 -count 的结果一样。
3.3.8 匹配指令(find 命令)
找出能匹配上的所有文件。
-name pattern不区分大小写,对大小写不敏感。
-iname pattern对大小写敏感。
-print打印。
-print0打印在一行。
格式:
hadoop fs -find <path> ... <expression> ...
示例:
hadoop fs -find /user/dataflair/dir1/ -name sample -print
3.4 修改操作
3.4.1 修改拥有者(chown)
改变文件的拥有者。使用-R
将使改变在目录结构下递归进行。命令的使用者必须是超级用户。
格式:
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
示例:
hdfs dfs -chown -R dataflair /opt/hadoop/logs
3.4.2 修改所属组(chgrp)
改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
格式:
hdfs dfs -chgrp [-R] <NewGroupName> <file or directory name>
示例:
hdfs dfs -chgrp [-R] New Group sample
3.4.3 修改文件权限(chown)
改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
格式:
chmod [-R] mode,mode,... <path>...
示例:
hdfs dfs -chmod 777 /user/dataflair/dir1/sample
3.4.4 修改文件副本系数(setrep)
改变一个文件的副本系数,-R
选项用于递归改变目录下所有文件的副本系数。
格式:
setrep [-R] [-w] rep <path>
示例:
hdfs dfs -setrep -w 3 /user/dataflair/dir1
3.4.5 文件追加(appendToFile)
追加一个文件到已经存在的文件末尾
格式:
hadoop fs -appendToFile <localsource> ... <dst>
示例:
hadoop fs -appendToFile /home/dataflair/Desktop/sample /user/dataflair/dir1
05 文末
本文主要讲解的是HDFS的命令,欢迎大家的阅读,本文完!
HDFS教程(02)- HDFS命令汇总相关推荐
- Hadoop HDFS分布式文件系统 常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
- Hadoop教程(三)HDFS文件系统Shell命令
Hadoop教程(三)HDFS文件系统Shell命令 本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381 Hadoop教程(三)HD ...
- HDFS常用命令汇总
HDFS常用命令汇总 一.前言信息 二.帮助信息查看 1.查看帮助信息 2.帮助文档(附带命令的详细说明) 三.常用命令 1.创建目录 2.查看目录下的内容 3.上传文件 4.上传并删除源文件 5.查 ...
- HDFS的访问方式之HDFS shell的常用命令
场景 CentOS7上搭建Hadoop集群(入门级): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭 ...
- 2021年大数据Hadoop(九):HDFS的高级使用命令
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 HDFS的高级使用命令 ...
- Hadoop hdfs文件操作常用命令
hadoop fs -操作命令 -参数 -ls #显示目录信息 -->hadoop fs -ls hdfs://hadoop-server-00:9000/ 这些参数中,所有的hdfs路径都可以 ...
- HDFS权限设置 \ HDFS涉及ACLs的命令
本文主要参考:https://www.cnblogs.com/royfans/p/7326859.html https://www.cppentry.com/bencandy.php?fid=115& ...
- Hadoop HDFS概念学习系列之shell命令使用HDFS的一些其他命令(十九)
其他相关命令还包括以下这些: NameNode -format : 格式化DFS文件系统 secondaryNameNode : 运行DFS的SecndaryNameNode进程 NameNo ...
- hdfs的特性、命令、安全模式、基准测试
1.第一点:如何理解hdfs分布式文件系统,每台机器出一块磁盘,凑成一个大的硬盘,大的硬盘的容量来自各个服务器的硬盘容量之和. 你出5毛,我出5毛,大家凑成1块. 2. HDFS 是 Hadoop D ...
- shell 进入hadoop_Hadoop关于HDFS的基本操作(Shell命令)
在这里我给大家继续分享一些关于hdfs分布式文件的经验哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序设计.在前面我已经写了关于如何去搭建hadoop这样一个大数据平 ...
最新文章
- 记录一次MySQL两千万数据的大表优化解决过程,提供三种解决方案
- 把python语言翻译出来_Python语言实现翻译小工具(Python打包成exe文件)
- R语言使用ggplot2包geom_jitter()函数绘制分组(strip plot,一维散点图)带状图(颜色配置:连续色彩、离散色彩、色彩梯度)实战
- 在spark-shell中编写wordcont
- window ngnix php配置文件,Window下PHP和Nginx的配置
- java图书管理系统个人总结_总结:JAVA小项目——图书管理系统
- 打表法判断素数 c语言,素数打表(4种方法)
- 机房服务器配置方案文件,机房改造/机房搬迁实施方案及步骤
- html js 图片左右切换代码,Js图片切换特效中的左右箭头功能实现代码
- 合理设置 让你的迅雷下载速度越来越快
- 戴尔电脑怎么录屏?这6个方法教你轻松录屏
- (20181111)Fortran 产生随机数
- Windows10应用程序无法正常启动0xc000007b怎么解决
- VVIC api接口
- 一个Android应届生从上海离职,威力加强版
- 组策略——软件限制策略(完全教程与规则示例)
- Eclipse仿Visual AssistX 编辑着色插件
- 2020天池 “数字人体”视觉挑战赛_VNNI赛道_冠军_方案分享
- python猫眼电影分析_用Python 爬取猫眼电影数据分析《无名之辈》
- 工厂模式(FactoryModel)