Hadoop教程(三)HDFS文件系统Shell命令
Hadoop教程(三)HDFS文件系统Shell命令
本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381
Hadoop教程(三)HDFS文件系统Shell命令
1 Hadoop- Shell命令
HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。
1.1 Shell命令格式
调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout。
1.2 hadoop fs帮助命令
在命令行执行:hadoop fs,查看fs命令:
1.3 –mkdir创建空白文件夹
-mkdir:创建空白文件夹,该命令选项表示创建文件夹,后面跟的路径是在hdfs将要创建的文件夹:
语法:
hadoop fs -mkdir /hadoop
hadoop fs -mkdirhdfs://Hadoop1:9000/hadoop/dir1 hdfs://Hadoop1:9000/hadoop/dir2
返回值:成功返回0,失败返回-1。
1.4 –put 上传文件
-put:该命令选项表示把linux上的文件复制到hdfs中:
语法:
hadoop fs -put LICENSE.txt/hadoop/LICENSE.txt
hadoop fs -putlogs/hadoop-root-namenode-Hadoop1.log logs/yarn-root-nodemanager-Hadoop1.log/hadoop/
hadoop fs -putlogs/hadoop-root-namenode-Hadoop1.out hdfs://Hadoop1:9000/hadoop/
返回值:成功返回0,失败返回-1。
1.5 –copyFromLocal上传文件
-copyFromLocal:该命令除了限定源路径是一个本地文件外,操作与-put一致。
语法:
hadoop fs -copyFromLocallogs/yarn-root-nodemanager-Hadoop1.out /hadoop/
1.6 –ls显示当前目录结构
-ls:该命令选项表示查看指定路径的当前目录结构,参数:-R递归显示目录结构,后面跟hdfs路径:
语法:
hadoop fs -ls /
hadoop fs -ls hdfs://Hadoop1:9000/hadoop/
hadoop fs -ls -R hdfs://Hadoop1:9000/
返回值:成功返回0,失败返回-1。
1.7 –get递归显示当前目录结构
-get:复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息:
语法:
hadoop fs -get/hadoop/hadoop-root-namenode-Hadoop1.out /home/hadoop-root-namenode-Hadoop1.out
hadoop fs -get /hadoop/hadoop-root-namenode-Hadoop1.out/home/hadoop-root-namenode-Hadoop1.out
返回值:成功返回0,失败返回-1。
1.8 –du统计目录下各文件大小
-du:显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小:
语法:
hadoop fs –du /hadoop
hadoop fs –du -s /hadoop
返回值:成功返回0,失败返回-1。
1.9 -count统计文件(夹)数量
-count:该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息:
语法:
hadoop fs -count /hadoop
1.10 –mv移动
-mv:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:
语法:
hadoop fs -mv/hadoop/hadoop-root-namenode-Hadoop1.log /hadoop/dir1
返回值:成功返回0,失败返回-1。
1.11 –cp复制
-cp:将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录:
语法:
hadoop fs -cp/hadoop/hadoop-root-namenode-Hadoop1.out /hadoop/dir2
hadoop fs -cp/hadoop/yarn-root-nodemanager-Hadoop1.log /hadoop/yarn-root-nodemanager-Hadoop1.out/hadoop/dir2
返回值:成功返回0,失败返回-1。
1.12 -moveFromLocal从本地移动
-moveFromLocal:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:
语法:
hadoop fs -moveFromLocal /home/localfile1.txt /hadoop
返回值:成功返回0,失败返回-1。
1.13 -getmerge合并到本地
-moveFromLocal:该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:
语法:
hadoop fs -getmerge /hadoop//home/localfile2.txt
返回值:成功返回0,失败返回-1。
1.14 –cat查看文件内容
-cat:将路径指定文件的内容输出到stdout:
语法:
hadoop fs -cat/hadoop/yarn-root-nodemanager-Hadoop1.log
返回值:成功返回0,失败返回-1。
1.15 –text查看文件内容
-text:将路径指定文件的内容输出到stdout:
语法:
hadoop fs -text /hadoop/LICENSE.txt
返回值:成功返回0,失败返回-1。
1.16 -touchz创建空白文件
-touchz:创建空白文件:
语法:
hadoop fs -touchz /hadoop/touchzFile.txt
返回值:成功返回0,失败返回-1。
1.17 -stat显示文件的统计信息
-stat:该命令选项显示文件的一些统计信息:
语法:
hadoop fs -stat /hadoop/
返回值:成功返回0,失败返回-1。
1.18 -tail查看文件尾部内容
-tail:该命令选项显示文件最后1K字节的内容。一般用于查看日志。如果带有选项-f,那么当文件内容变化时,也会自动显示:
语法:
hadoop fs -tail -f/hadoop/dir1/hadoop-root-namenode-Hadoop1.log
返回值:成功返回0,失败返回-1。
1.19 -chmod修改文件权限
-chmod:改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。:
语法:
hadoop fs -chmod -R 750 /hadoop/dir2
返回值:成功返回0,失败返回-1。
1.20 -chown修改属主
-chown:改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。:
语法:
hadoop fs -chown -R supergroup /hadoop/dir2
hadoop fs -chown -R用户:组路径
hadoop fs -chown -R supergroup:supergroup/hadoop/dir2
返回值:成功返回0,失败返回-1。
1.21 -chgrp修改属组
-chgrp:该命令的作用是修改文件的属组,该命令相当于“chown:属组”的用法
语法:
hadoop fs -chgrp -R root /hadoop/dir2
hadoop fs -chgrp -R用户:组路径
hadoop fs -chgrp -R supergroup:root/hadoop/dir2
返回值:成功返回0,失败返回-1。
1.22 -rm删除文件/空白文件夹
-rm:删除指定的文件。只删除非空目录和文件。
语法:
hadoop fs -rm/hadoop/dir1/hadoop-root-namenode-Hadoop1.log
返回值:成功返回0,失败返回-1。
1.23 –rmr递归删文件
-rmr:该命令选项表示递归删除指定目录下的所有子目录和文件。
语法:
hadoop fs –rm -r /hadoop/dir2
hadoop fs -rmr /hadoop/dir2
返回值:成功返回0,失败返回-1。
1.24 –help帮助
-help:该命令选项会显示帮助信息,后面跟上需要查询的命令选项即可。
语法:
hadoop fs -help命令
hadoop fs -help ls
--以上为《Hadoop教程(三)HDFS文件系统Shell命令》,如有不当之处请指出,我后续逐步完善更正,大家共同提高。谢谢大家对我的关注。
——厚积薄发(yuanxw)
Hadoop教程(三)HDFS文件系统Shell命令相关推荐
- 2021年大数据Hadoop(八):HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 HDFS的Shell命 ...
- Hadoop之HDFS常用Shell命令
Hadoop之HDFS常用Shell命令 启动Hadoop集群 sbin/start-dfs.shsbin/start-yarn.sh -help:输出这个命令参数 hadoop fs -help r ...
- 大数据_07 【hadoop HDFS的shell命令操作】
大数据_07 [hadoop HDFS的shell命令操作] 01 基本语法 02 常用普通命令实操 03 HDFS常用高级命令 04 HDFS适用场景 05 HDFS不适用场景 06 hdfs的安全 ...
- 实验二 HDFS的Shell命令操作,和HDFS的API操作
文章目录 实验目的 一. 实验原理 二.实验准备 实验内容 步骤 项目1 HDFS常见命令练习 列出HDFS当前用户家目录下的文件及文件夹: 列出HDFS文件下名为directory的文件夹中的文件: ...
- HDFS的shell命令简介
一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名 ...
- Hbase教程(二) Hbase数据库Shell命令
Hbase教程(二) Hbase数据库Shell命令 1 Hbase- Shell命令 Hbase是分布式是一个分布式的.面向列的开源数据库,Hbase也提供了Shell命令对数据库增.删.改.查的权 ...
- hadoop之hdfs的shell命令操作
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme ...
- Hadoop学习(二)——shell命令
笔者是一个痴迷于挖掘数据中的价值的学习人,希望在平日的工作学习中,挖掘数据的价值,找寻数据的秘密,笔者认为,数据的价值不仅仅只体现在企业中,个人也可以体会到数据的魅力,用技术力量探索行为密码,让大数据 ...
- 第三天学习--Shell命令脚本
章节简述: 如何使用Vim编辑器来编写.修改文档,然后通过逐个配置主机名称.系统网卡以及Yum软件仓库参数文件等实验,帮助读者加深Vim编辑器中诸多命令.快捷键.模式切换方法的理解.然后把前面章节中讲 ...
最新文章
- 500行代码写一个俄罗斯方块游戏
- 如何快速让你的站点进入灰白哀悼模式?
- spring源码分析之cache注解
- opencv进阶学习笔记11:cannny边缘检测,直线检测,圆检测
- 《那些年啊,那些事——一个程序员的奋斗史》——63
- windows 软链接_Linux 基础-软链接和硬链接区别
- fscache 调研
- python将多重列表中的成绩按大小输出_Python编程从入门到实践-连载5(字 典)
- 软件测试笔试面试题目完全汇总
- linux7.4邮件服务器,Centos7.4搭建邮件收发服务器(部署篇)
- Editplus 破解
- 计算机是怎样跑起来在线看,计算机是怎样跑起来的
- 如何正确的使用 Service?
- 安卓开发面试题,一个APP从启动到主页面显示经历了哪些过程?威力加强版
- python爬虫网易云音乐评论最多的歌_Python爬虫44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?...
- 品牌技术专场重磅加盟,看音视频如何引领新趋势
- tensorrt遇到torch.bmm的解决
- win10杀毒防护已经关闭了还是删除文件解决方法
- 跟i9处理器差不多的服务器芯片,AMD下一代服务器处理器代号“星河舰队”
- Python一字一字的显示文本内容