HDFS Shell 命令简介及查询
文章目录
- 1. HDFS Shell
- 1.1 HDFS Shell CLI客户端
- 1.2 HDFS Shell CLI客户端--说明
- 1.3 总结
- 1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者区别
- 1.5 HDFS Shell CLI客户端--参数说明
- 1.6 在Hadoop官网上找到命令
1. HDFS Shell
1.1 HDFS Shell CLI客户端
- 命令行界面（英语：command-line interface，缩写：CLI）是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。
- Hadoop提供了文件系统的shell命令行客户端，使用方法如下：
- 跟文件系统读写使用相关的命令是
hdfs dfs [generic options]
1.2 HDFS Shell CLI客户端–说明
- HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（
file:///）、分布式文件系统（hdfs://nn:8020）等 - 操作的是什么文件系统取决于URL中的前缀协议。
- 如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统
hdfs dfs -ls file:/// #操作本地文件系统
hdfs dfs -ls /
- 查看文件默认系统
cat /export/servers/hadoop-2.7.4/etc/hadoop/core-site.xml
hdfs dfs -ls hdfs://hadoop01:9000/ #操作HDFS分布式文件系统
- 所以
hdfs dfs -ls hdfs://hadoop01:9000/和hdfs dfs -ls /访问的是同一个文件系统。
1.3 总结
1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者区别
hadoop dfs只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated(已弃用)hdfs dfs只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用hadoop fs可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广.
- 目前版本来看，官方最终推荐使用的是
hadoop fs。当然hdfs dfs在市面上的使用也比较多。
1.5 HDFS Shell CLI客户端–参数说明
- HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。
- 可以通过
hadoop fs -help命令来查看每个命令的详细用法。
1.6 在Hadoop官网上找到命令
- 也可以通过下面的步骤找到官网上的命令。
- 官网：http://hadoop.apache.org/，选择对应的Hadoop版本即可
- 找到
Commands Reference
Hadoop 3.2.2版本命令：https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/FileSystemShell.html
HDFS Shell 命令简介及查询相关推荐
- HDFS的shell命令简介
一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名 ...
- hdfs mv命令_Hadoop2.x HDFS shell命令
Hadoop2 HDFS shell命令 1.hdfs dfs -appendToFile ... 可同时上传多个文件到HDFS里面 2.hdfs dfs -cat URI [URI ...] 查看文 ...
- 常用的HDFS Shell命令及解析
常用的HDFS Shell命令 大多数HDFS Shell命令的行为和对应的Unix Shell命令类似,主要不同之处是HDFS Shell 命令操作的是远程Hadoop服务器的文件,而Unix Sh ...
- Hadoop hdfs Shell命令 HDFS操作命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...
- HDFS shell命令操作大全
HDFS的shell命令操作 目标:掌握HDFS操作数据的命令 基本语法 bin/hdfs dfs 具体命令 参数大全 [root@node01 Hadoop-2.6.0-cdh5.14.0]# bi ...
- HDFS Shell命令练习
前提条件 拥有hadoop2环境,可参考:CentOS7安装hadoop2.7.3伪分布式 步骤 HDFS常用的操作命令是dfs命令. 查看hdfs dfs所有命令 [hadoop@node1 ~]$ ...
- 分布式文件系统—HDFS—shell命令
常用命令参数介绍: -help:输出这个命令参数手册 [hadoop@hadoop02 ~]$ hadoop -help [hadoop@hadoop02 ~]$ hadoop fs -help [h ...
- HDFS的访问方式之HDFS shell的常用命令
场景 CentOS7上搭建Hadoop集群(入门级): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭 ...
- hdfs mv命令_如何HDFS mv命令工作
當用戶調用hdfs dfs -mv時,HDFS保證重命名操作的原子性.當此命令運行時,客戶端對NameNode進行RPC調用.該RPC的NameNode實現在修改inode樹時保存鎖定,並且只有在重命 ...
- hdfs mv命令_hadoop – hdfs mv命令如何工作
我想知道hdfs中的mv命令是如何工作的? >这只是一个没有任何实际数据移动的象征性变化吗? >如果moveTo目录存在(可能在diff分区上) >如果moveTo是一个新目录 &g ...
最新文章
- matlab 随机森林算法_（六）如何利用Python从头开始实现随机森林算法
- 什么是云服务举例说明_云服务是什么功能
- python移动文件中某个内容_如果python中的某些文件类型,则移动文件并创建目录...
- C++之操作符重载和运算符重载
- WordPress 已过时？创始人与新架构拥护者开战
- web编程 模块1 html,PYcore python programming笔记C20 Web编程
- 应用软件使计算机的内存分配更合理,应用软件使计算机的内存分配更合理，运行更加稳定()...
- 惠普10代的服务器有哪些型号,英特尔官方科普：秒懂十代酷睿型号怎么认！
- OPENGGL深度测试
- python 参数收集_Python3基础 函数 收集参数(tuple)+普通参数 的示例
- Python爬虫_宅男福利?妹纸勿点__一蓑烟雨任平生
- php实现高并发解决方案
- 计算机硬件基本维护方法,计算机硬件全面维护的原则与方法探究
- kali暴力破解WiFi
- TTL传输中过期问题导致网站打不开
- 2022 Java 知识点总结
- 爬虫有道翻译接口+图片文字识别
- 螺旋无限延伸_八卦中的双螺旋结构，无限大∞符号隐含的秘密
- 用计算机说早上好,早上好的问候语简短 高情商会说的60句早安
- 大数据对于旅游业意味着更大的挑战