HDFS的基本shell命令操作

查看指定目录下信息 -ls

# -h 人性化显示
# -R 递归显示
hdfs dfs -ls [-h] [-R] <args>

创建文件夹 -mkdir

# -p 创建父目录
hdfs dfs -mkdir [-p] <paths>

上传文件 -put

hdfs dfs -put <linux路径> <hdfs路径>
# 将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统
# src代表的是本地目录 所谓的本地指的是客户端所在的机器
# dst代表的是HDFS
# -p：保留访问和修改时间，所有权和权限。
# -f：覆盖目的地（如果已经存在）hdfs dfs -put file:///root/itcast.txt hdfs://node1:8020/itcast   hdfs dfs -put itcast.txt /itcast

下载文件 -get

# 复制hdfs文件到本地文件系统。
hdfs dfs -get <hdfs路径> <linux路径># 复制hdfs指定节点的文件到本地文件系统。
hdfs dfs -get hdfs://node1:8020/itcast/itcast.txt file:///root/

合并下载文件 -getmerge

# 合并下载多个文件，其功能和 appendToFile 相反的动作
hdfs dfs -getmerge /input/* ./merge.txt
# 查看合并下载后的文件
cat merge.txt

文件移动 -mv、复制 -cp、删除 -rm

# 移动
hdfs dfs -mv <linux路径> <hdfs路径>
# 复制
hdfs dfs -cp <linux路径> <hdfs路径>
# 递归删除
hdfs dfs -rm -r <linux路径> <hdfs路径># 跨集群复制 distcp
hadoop distcp hdfs://node1:8020/input/1.txt hdfs://node5:8020/test

追加内容进文件 -appendToFile

# 准备工作
echo 1 >> 1.txt
echo 2 >> 2.txt
echo 3 >> 3.txt
hadoop fs -put 1.txt /
hadoop fs -cat /1.txt# 把本地文件 2.txt 和 3.txt 的内容追加到hdfs中的 1.txt
hdfs dfs -appendToFile 2.txt 3.txt /1.txt
hdfs dfs -cat /1.txt# 追加的用途：把本地的小文件上传中合并成为大文件 解决小文件场景的。

查看文件内容 -cat

# cat 适合小文件
# tail 将文件的最后一千字节内容显示到stdout  -f参数支持实时追踪查看
hdfs dfs -cat /1.txt

修改权限 -chmod

# hdfs在设计的时候 借鉴模仿着linux权限管理模式
# 也有所谓的读写执行 user group others  777
# chgrp  修改所属组
# chmod  修改权限
# cgown  修改拥有者
hdfs dfs -chmod 777 /1.txt

统计HDFS可用空间 -df

hdfs dfs -df -h /
# 输出
# Filesystem            Size   Used  Available  Use%
# hdfs://node1:8020  111.1 G  5.0 M     98.3 G    0%

修改文件的副本数 -setrep

# hadoop fs -setrep -w N -R
# -w wait等待 修改副本客户端是否等待修改完毕再推出
# N 就是修改之后的副本数hadoop fs -setrep -w 2 /input/1.txt
hadoop fs -setrep 2 /input/2.txt

HDFS的基本shell命令操作相关推荐

大数据_07 【hadoop HDFS的shell命令操作】
大数据_07 [hadoop HDFS的shell命令操作] 01 基本语法 02 常用普通命令实操 03 HDFS常用高级命令 04 HDFS适用场景 05 HDFS不适用场景 06 hdfs的安全 ...
HDFS shell命令操作大全
HDFS的shell命令操作目标:掌握HDFS操作数据的命令基本语法 bin/hdfs dfs 具体命令参数大全 [root@node01 Hadoop-2.6.0-cdh5.14.0]# bi ...
实验二 HDFS的Shell命令操作，和HDFS的API操作
文章目录实验目的一. 实验原理二.实验准备实验内容步骤项目1 HDFS常见命令练习列出HDFS当前用户家目录下的文件及文件夹: 列出HDFS文件下名为directory的文件夹中的文件: ...
shell 进入hadoop_Hadoop关于HDFS的基本操作(Shell命令)
在这里我给大家继续分享一些关于hdfs分布式文件的经验哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序设计.在前面我已经写了关于如何去搭建hadoop这样一个大数据平 ...
Zookeeper之Linux分布式集群搭建及客户端shell命令操作
一.准备至少三台Linux服务器及对应的jdk环境 1.服务器及jdk环境准备服务器:至少三台Linux服务器 JDK环境:三台Linux服务器上都需要安装好jdk环境(jdk环境安装参考我的博客: ...
Hadoop之HDFS（一）HDFS入门及基本Shell命令操作
1 ． HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...
hadoop之hdfs的shell命令操作
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme ...
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
注意:访问hdfs系统的指令 hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小hadoop fs 和 hdfs dfs之间没有太大的区别 ...
hdfs 指令_Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...

HDFS的基本shell命令操作

查看指定目录下信息 -ls

创建文件夹 -mkdir

上传文件 -put

下载文件 -get

合并下载文件 -getmerge

文件移动 -mv、复制 -cp、删除 -rm

追加内容进文件 -appendToFile

查看文件内容 -cat

修改权限 -chmod

统计HDFS可用空间 -df

修改文件的副本数 -setrep

HDFS的基本shell命令操作相关推荐

最新文章

热门文章