Hadoop之HDFS常用Shell命令

启动Hadoop集群

 sbin/start-dfs.shsbin/start-yarn.sh

-help：输出这个命令参数

hadoop fs -help rm

hadoop fs -ls /

hadoop fs -mkdir -p /hadoop

-moveFromLocal从本地剪切粘贴到hdfs

hadoop fs  -moveFromLocal  ./hh.txt  /hadoop

-cat：显示文件内容

hadoop fs -cat /hadoop/hh.txt

-tail：显示一个文件的末尾

adoop fs -tail /hadoop/hh.txt

-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop fs  -chmod  666  /hadoop/hh.txt
hadoop fs  -chown  centos:centos  /hadoop/hh.txt

-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal README.txt /

-copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /hadoop/hh.txt ./

-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /hadoop/hh.txt /admin/hah.txt

hadoop fs -mv /hh.txt /admin

-get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /hadoop/hh.txt ./

-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/test/* ./hh.txt

-put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/test/

-rm：删除文件或文件夹

hadoop fs -rm /user/test/jinlian2.txt

hadoop fs -rmdir /test

-du统计文件夹的大小信息

hadoop fs -du -s -h /user/test

-setrep：设置hdfs中文件的副本数量

 hadoop fs -setrep 10 /hadoop/hh.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoop fs：使用面最广，可以操作任何文件系统。
hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。

Hadoop之HDFS常用Shell命令相关推荐

hadoop之hdfs的shell命令操作
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme ...
HDFS常用Shell命令
1.-ls: 显示目录信息 hadoop fs -ls / 2.-mkdir:在HDFS上创建目录 hadoop fs -mkdir -p /demo/test 3.-moveFromLocal:从本 ...
用JAVA API实现HDFS常用shell命令的功能（新建文件夹，上传文件，下载文件，判断文件是否存在）
新建文件夹 package hdfs.files;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Fi ...
实验二 HDFS的Shell命令操作，和HDFS的API操作
文章目录实验目的一. 实验原理二.实验准备实验内容步骤项目1 HDFS常见命令练习列出HDFS当前用户家目录下的文件及文件夹: 列出HDFS文件下名为directory的文件夹中的文件: ...
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
注意:访问hdfs系统的指令 hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小hadoop fs 和 hdfs dfs之间没有太大的区别 ...
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的Shell命 ...
学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作
三.HDFS常用Shell操作 3.1.HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统(HDFS)进行交互. 使用命令: bin/hado ...
大数据_07 【hadoop HDFS的shell命令操作】
大数据_07 [hadoop HDFS的shell命令操作] 01 基本语法 02 常用普通命令实操 03 HDFS常用高级命令 04 HDFS适用场景 05 HDFS不适用场景 06 hdfs的安全 ...
Hadoop教程(三)HDFS文件系统Shell命令
Hadoop教程(三)HDFS文件系统Shell命令本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381 Hadoop教程(三)HD ...

Hadoop之HDFS常用Shell命令

Hadoop之HDFS常用Shell命令

hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoop之HDFS常用Shell命令相关推荐

最新文章

热门文章