常用Hadoop命令

官方文档：http://hadoop.apache.org/docs/r1.0.4/file_system_shell.html

将自己工作中常用的Hadoop命令整理如下：

1. 查看hadoop文件

hadoop fs -ls /

2. 新建文件夹

hadoop dfs -mkdir /input

3. 上传本地文件

终端输入： vim test1.txt

键入内容保存:wq

终端输入：

hadoop fs -put ./test 1.txt /input(上传到Hadoop的目标路径）

hadoop fs –copyFromLocal <localsrc> … <dst>：等价于-put。

hadoop fs –moveFromLocal <localsrc> … <dst>：等同于-put，只不过源文件在拷贝后被删除。

4. 查看文件内容

hadoop fs –cat <src>

如：

hadoop fs -ls /input

hadoop fs -cat /input/test1.txt

5. 运行自带的hadoop-mapreduce-example-2.7.4.jar

6. 运行 hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output

7.删除生成的output 文件夹

删除：hadoop fs -rm -r /output

8. 修改文件夹权限

hadoop fs -chmod 777 /output

9.将指定格式的文件 move到指定的目标位置。当src为多个文件时，dst必须是个目录。

hadoop fs –mv <src> <dst>

10.拷贝文件到目标位置，当src为多个文件时，dst必须是个目录

hadoop fs –cp <src> <dst>

11.删除匹配pattern的指定文件，等价于unix下的rm <src>

hadoop fs –rm [-skipTrash] <src>：

12.从DFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录

hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>

hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>：等价于-get

13.从DFS拷贝多个文件、合并排序为一个文件到本地文件系统

hadoop fs –getmerge <src> <localdst>

14.修改文件的权限

-R标记递归修改。MODE为a+r,g-w,+rwx等，OCTALMODE为755这样

hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…

15.计数文件个数及所占空间的详情

hadoop fs –count[-q] <path>

参考博客：

https://blog.csdn.net/u011393661/article/details/79612906

https://blog.csdn.net/wuwenxiang91322/article/details/22166423

常用Hadoop命令相关推荐

Hadoop基础-HDFS集群中大数据开发常用的命令总结
Hadoop基础-HDFS集群中大数据开发常用的命令总结作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...
Hadoop之HDFS常用Shell命令
Hadoop之HDFS常用Shell命令启动Hadoop集群 sbin/start-dfs.shsbin/start-yarn.sh -help:输出这个命令参数 hadoop fs -help r ...
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
注意:访问hdfs系统的指令 hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小hadoop fs 和 hdfs dfs之间没有太大的区别 ...
hadoop学习记录（二）：hadoop常用shell命令
2019独角兽企业重金招聘Python工程师标准>>> 一.查看hadoop命令帮助手册 hadoop -help hadoop命令 hadoop fs -help hadoop文件 ...
linux常用基础命令操作收集
linux常用基础命令操作收集,以下命令基于CentOs6.x 1.日常操作命令 **查看当前所在的工作目录 pwd **查看当前系统的时间 date **查看有谁在线(哪些人登陆到了服务器) who ...
Hadoop命令手册
Hadoop命令手册概述常规选项用户命令 archive distcp fs fsck j ...
八、Linux 常用 Shell 命令，控制台的快捷键以及 Shell 编程（中）
@Author : Runsen @Date:2020/9/11 文章是Runsen在Gitchat付费文章分享:Linux 常用 Shell 命令,控制台的快捷键以及 Shell 编程顺便同步到C ...
Hive安装及常用交互命令
Hive基本概念及常用交互命令目录 Hive安装地址 Hive安装部署将本地文件导入Hive案例 MySQL安装 Hive元数据配置到MySQL Hive常用交互命令 Hive其他命令操作 Hiv ...
hadoop put命令的格式_工作中需熟练掌握的Hadoop命令
作者信息 Elesdspline 目前从事NLP与知识图谱相关工作. 工作中需熟练掌握的Hadoop命令导读工作中经常要用到一些Hadoop命令,这里简单列举一下,熟悉基本的命令操作,工作效率事半 ...

常用Hadoop命令

常用Hadoop命令相关推荐

最新文章

热门文章