hadoop系统 hdfs 命令行操作

转自：https://blog.csdn.net/sjhuangx/article/details/79796388

Hadoop文件系统shell命令列表: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

命令查看: hadoop fs

[hadoop@mini1 mapreduce]$ hadoop fs
Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>][-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...][-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>][-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-df [-h] [<path> ...]][-du [-s] [-h] [-x] <path> ...][-expunge][-find <path> ... <expression> ...][-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-getfacl [-R] <path>][-getfattr [-R] {-n name | -d} [-e en] <path>][-getmerge [-nl] [-skip-empty-file] <src> <localdst>][-help [cmd ...]][-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]][-mkdir [-p] <path> ...][-moveFromLocal <localsrc> ... <dst>][-moveToLocal <src> <localdst>]

1. hdfs文件上传

# 上传 XXX.zip 文件到 / 目录
hadoop fs -put XXX.zip /

2. 查看文件目录列表

[hadoop@mini1 ~]$ hadoop fs -ls /
Found 2 items
-rw-r--r--   2 hadoop supergroup  354635831 2018-04-02 10:27 /jdk-9.0.4_linux-x64_bin.tar.gz
-rw-r--r--   2 hadoop supergroup        279 2018-04-02 10:30 /test.txt

3. 获取文件 hadoop fs -get /XXX

[hadoop@mini2 ~]$ hadoop fs -get /jdk-9.0.4_linux-x64_bin.tar.gz
[hadoop@mini2 ~]$ ls
hadoop-2.9.0  hdfsdata  jdk-9.0.4_linux-x64_bin.tar.gz
[hadoop@mini2 ~]$
4. 创建目录 hadoop fs -mkdir /XXX[hadoop@mini1 ~]$ hadoop fs -mkdir /wordCount
[hadoop@mini1 ~]$ hadoop fs -ls /
Found 3 items
-rw-r--r--   2 hadoop supergroup  354635831 2018-04-02 10:27 /jdk-9.0.4_linux-x64_bin.tar.gz
-rw-r--r--   2 hadoop supergroup        279 2018-04-02 10:30 /test.txt
drwxr-xr-x   - hadoop supergroup          0 2018-04-02 10:44 /wordCount
[hadoop@mini1 ~]$

5. 指定jar命令 hadoop jar XXX.jar YYY /wordCount/ /wordCount/output

[hadoop@mini1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.9.0.jar wordcount /wordCount/ /wordCount/output
18/04/02 10:48:26 INFO client.RMProxy: Connecting to ResourceManager at mini1/192.168.241.100:8032
18/04/02 10:48:27 INFO input.FileInputFormat: Total input files to process : 2
18/04/02 10:48:28 INFO mapreduce.JobSubmitter: number of splits:2
18/04/02 10:48:28 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled
18/04/02 10:48:28 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1522678018314_0001
18/04/02 10:48:29 INFO impl.YarnClientImpl: Submitted application application_1522678018314_0001
18/04/02 10:48:29 INFO mapreduce.Job: The url to track the job: http://mini1:8088/proxy/application_1522678018314_0001/
18/04/02 10:48:29 INFO mapreduce.Job: Running job: job_1522678018314_0001
18/04/02 10:48:36 INFO mapreduce.Job: Job job_1522678018314_0001 running in uber mode : false
18/04/02 10:48:36 INFO mapreduce.Job:  map 0% reduce 0%
18/04/02 10:48:48 INFO mapreduce.Job:  map 100% reduce 0%
18/04/02 10:48:53 INFO mapreduce.Job:  map 100% reduce 100%
18/04/02 10:48:54 INFO mapreduce.Job: Job job_1522678018314_0001 completed successfully[hadoop@mini1 mapreduce]$ hadoop fs -cat /wordCount/output/part-r-00000
Apr    2
Don't    1
Jan    1
Mar    1
a    1
and    1
for    2
hadoop    9[hadoop@mini1 mapreduce]$

6. 设置文件副本数 setrep

hadoop fs -setrep 10 XXX.yyy

这里设置的文件副本数是指记录在namenode中的元数据，具体的副本数量还需要看集群中国是否有足够数量的机器存放，如果有则真实的副本数量为元数据中的数量，否则只能达到机器允许的最大数量。

hadoop系统 hdfs 命令行操作相关推荐

linux授权命令chmod777_【HDFS篇02】HDFS命令行操作
完成永远比完美重要 HDFS的Shell操作基本语法 hadoop fs 具体命令[推荐] hdfs dfs 具体命令常用命令大全启动Hadoop集群 // 这些命令也都可以按照自己的方式组成脚 ...
Android系统的命令行操作及C程序编译
在Android系统执行C程序,需要使用Android系统的专用编译器NDK,下载NDK工具可以通过以下博文中给出的链接: https://blog.csdn.net/baidu_35904821/a ...
HDFS 系列二：HFDS 命令行操作
文章目录 2. HFDS 命令行操作 2.1 基本语法 2.2 参数大全 2.3 常用命令实操 2.3.1 -help:输出这个命令参数 2.3.2 -ls: 显示目录信息 2.3.3 -mkdir: ...
Hadoop原理与技术——hdfs命令行基本操作
点击链接查看文档一.实验目的熟悉hdfs命令行基本操作二.实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三.实验内容 1:h ...
安装完Hadoop之后，命令行输入hadoop或hdfs却找不到命令的解决方法
安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法参考文章: (1)安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 (2)https:// ...
HDFS分布式文件系统的常用命令行操作
一.HDFS的客户端种类 1.网页形式 =>用于测试网址为你的namenode节点的ip+50070的端口号,如: 192.168.50.128:50070 2.命令行形式 =>用于测 ...
数据仓库 — 07_Kafka的安装与部署（Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结）
文章目录 1 Kafka的安装与配置 2 Kafka命令行操作 2.1 查看当前服务器中的所有topic 2.2 创建topic 2.3 删除topic 2.4 发送消息 2.5 消费消息 2.6 查 ...
HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs d ...
hadoop和hdfs命令_Hadoop 1.x和2.x HDFS基本开发人员命令，“ hadoop”命令
hadoop和hdfs命令 In this post, we are going to discuss about Hadoop 1.x and Hadoop 2.x HDFS Basic comma ...

hadoop系统 hdfs 命令行操作

hadoop系统 hdfs 命令行操作相关推荐

最新文章

热门文章