三、HDFS常用Shell操作

3.1、HDFS文件系统

HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统（HDFS）进行交互。

使用命令：

bin/hadoop fs <args>
bin/hdfs dfs <args>

参数中的路径使用scheme://authority/path 的格式，如默认配置的是hdfs,那么路径如： hdfs://namenodehost:port/parent/child 。

如果使用相对路径，那么当前的工作目录就是/user/{username}，比如当前是root账号，那么工作目录就是/user/root。

示例：

3.2、常用Shell命令-appendToFile

用法：

hadoop fs -appendToFile <localsrc> ... <dst>

示例：

hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile

3.3、常用Shell命令-cat

用法：

hadoop fs -cat [-ignoreCrc] URI [URI ...]

示例：

hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

3.4、常用Shell命令-copyFromLocal | put

用法：

hadoop fs -put [-f] [-p] [-l] [-d] [-t <thread count>] [ - | <localsrc1> .. ]. <dst>

示例：

hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile
hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile

3.5、常用Shell命令-cp

用法：

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

可选项：
-f : 如果目标文件存在，则覆写目标文件;
-p : 保存文件的属性，[topx] (timestamps, ownership, permission, ACL, XAttr).

3.6、常用Shell命令-du

用法：

hadoop fs -du [-s] [-h] [-v] [-x] URI [URI ...]

可选项：
-s : 统计文件夹;
-h : 格式化友好输出;
-v : 显示列名;
-x ：去除snapshots 进行计算;

3.7、常用Shell命令-copyToLocal | get

用法：

hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>

示例：

hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

3.8、常用Shell命令-ls

用法：

hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] <args>

可选项：
-C ：只显示文件及文件夹； -d : 只显示给定文件夹 ; -h ：格式化文件大小显示
-q : 使用？替代不可打印字符 ; -R ：递归显示；-t : 按照最近修改文件排序
-S : 按照文件大小排序 ; -r : 翻转排序规则 ; -u : 使用创建时间进行排序

3.9、常用Shell命令-mkdir

用法：

hadoop fs -mkdir [-p] <paths>

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir

3.10、常用Shell命令-rm

用法：

hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

可选项：
-f : 忽略错误信息； -R : 递归删除； -r : -R
-skipTrash : 不放回收站，直接删除； -safely : 强制确认是否需要删除

3.11、HDFS UI交互

开启方法：
① 终端开启HDFS：hadoop的sbin目录下执行./start-dfs.sh
② 浏览器网址输入：master:50070

文件基本信息：

学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作相关推荐

【RK3399Pro学习笔记】十六、ROS中的常用可视化工具
目录测试 rqt_console rqt_graph rqt_plot rqt_image_view rqt rviz gazebo 平台:华硕 Thinker Edge R 瑞芯微 RK3399P ...
Mr.J-- jQuery学习笔记(三十二)--jQuery属性操作源码封装
扫码看专栏 jQuery的优点 jquery是JavaScript库,能够极大地简化JavaScript编程,能够更方便的处理DOM操作和进行Ajax交互 1.轻量级 JQuery非常轻巧 2.强大的 ...
学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理
四.MapReduce常用Shell操作 4.1.MapReduce常用Shell MapReduce Shell 此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互(这里不 ...
Polyworks脚本开发学习笔记(二十)-补充几个常见操作指令的使用
Polyworks脚本开发学习笔记(二十)-补充几个常见操作指令的使用大概要写到结尾了,最后几篇就将手册的各常用命令再看一遍,组合一下,并列举出常见的一些有用的操作. DATA_COLOR_MAP数 ...
UE5学习笔记（十）——蓝图基础之操控物体移动
目录一.一个可移动物体的诞生 1.创建物体 [知识点1]什么是静态网格物体? 2.建立材质蓝图 [知识点2]vectorparameter节点和Vector3节点的区别二.物体发生移动的三种常用手 ...
HFSS学习笔记（一）基础篇操作界面简介和使用前的准备工作
HFSS学习笔记(一)基础篇操作界面简介和使用前的准备工作一.HFSS工作界面简介各区域的功能: 二.设计的步骤 1.创建工程文件 2.进行设计前的准备工作一.HFSS工作界面简介各区域的功 ...
UE5学习笔记（十二）——蓝图基础之材质蓝图及参数
目录一.材质蓝图中最终输入的引脚如何控制材质效果? 1.颜色(Base color) 2.金属(Metallic) 3.高光(Specular) 4.粗糙(Roughness) 5.自发光(Emis ...
OpenCV学习笔记（十二）：边缘检测：Canny(),Sobel(),Laplace(),Scharr滤波器
OpenCV学习笔记(十二):边缘检测:Canny(),Sobel(),Laplace(),Scharr滤波器 1)滤波:边缘检测的算法主要是基于图像强度的一阶和二阶导数,但导数通常对噪声很敏感,因此 ...
学习笔记（十五）——镜像的知识点与注意事项
学习笔记(十五)--镜像的知识点与注意事项一.基础知识 1.SQL Server镜像只有两种模式:高安全模式和高性能模式.两种模式的主要区别在于在事务提交后的操作. 在高性能模式下,主体服务器不需要 ...

学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作