Hadoop 常用的命令

创建、删除 -文件，文件夹

hadoop fs -touchz /user/demo/3.txt 创建新文件
hadoop fs -mkdir /user 在本地根目录创建user文件夹
hadoop fs -mkdir -p /user/demo/test 创建多级文件夹
hadoop fs -mkdir hdfs://ip**:9000/test 远程创建文件夹
hadoop fs -rm -r /temp 递归删除文件夹和文件夹中的所有内容
hadoop fs -rm /user/1.txt 删除文件

上传，下载文件

hadoop fs -put /temp/1.txt /user/demo 把Linux本地文件上传到hadoop上
hadoop fs -put -p /temp/1.txt /temp/2.txt /user/demo/test 多文件上传（-p参数可以省略）
hadoop fs -put -f -p /temp/1.txt /temp/2.txt /user/demo 多文件覆盖上传（-p参数可以省略）
hadoop fs -get /user/demo/1.txt /temp/3.txt 下载文件到本机，并重新命名
hadoop fs -appendToFile /temp/1.txt /user/demo/2.txt 将本地的文件追加到hdfs中的一个文件中
hadoop fs -copyFromLocal /temp/1.txt /user/demo 上传文件，跟put3使用方式一样hadoop fs -
copyToLocal /user/demo /temp/1.txt 下载文件，跟get使用方式一样

查看文件内容，信息

hadoop fs -ls / 查看根目录结构
hadoop fs -cat /user/demo/2.txt 查看hdfs中的文件内容
hadoop fs -tail /user/demo/1.txt 显示最后1000字节的内容
hadoop fs -du /user/demo/1.txt 统计文件大小，目标也可以是文件夹

修改文件属性

hadoop fs -chgrp -R root /user/demo 递归更改文件夹下的所有文件的用户组
hadoop fs -chmod 777 /user/demo/1.txt 递归更改文件的权限，权限跟Linux描述一致
hadoop fs -chown root /user/demo 更改文件夹的拥有者

复制删除文件

hadoop fs -cp /user/demo/1.txt /user/2.txt 复制文件
hadoop fs -mv /user/2.txt /user/1.txt 移动文件|重命名文件

其他系统相关的

hadoop fs -df 统计文件系统中的可用信息
hadoop fs -setrep 4 /user/1.txt 文件的副本数设置（不代表最终的，受到文件系统个数限制）
hadoop fs -help du 查看命令的使用帮助

Hadoop 常用的命令相关推荐

hadoop常用基础命令
1.日志查询: 用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息,失败和终止的任务细节. 关于 ...
hadoop常用的命令
Hadoop: MapReduce:因为要java代码开发,所以不做介绍 HDFS:分布式文件系统 Hadoop的2种说法狭义: 指的就是Hadoop这个组件里面的3个组件, ...
hadoop常用的命令大全
cat 使用方法:hadoop fs -cat URI [URI -] 将路径指定文件的内容输出 chgrp 使用方法:hadoop fs -chgrp [-R] GROUP URI [URI -] ...
hadoop学习记录（二）：hadoop常用shell命令
2019独角兽企业重金招聘Python工程师标准>>> 一.查看hadoop命令帮助手册 hadoop -help hadoop命令 hadoop fs -help hadoop文件 ...
hadoop 常用hdfs命令
转载于:https://www.cnblogs.com/mahailuo/p/9542654.html
5.hadoop常用命令
1. 单独启动和关闭hadoop服务启动名称节点 #hadoop-daemon.sh start namenode 启动数据节点 #hadoop-daemons.sh start datanode ...
Hadoop基础-HDFS集群中大数据开发常用的命令总结
Hadoop基础-HDFS集群中大数据开发常用的命令总结作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...
Hadoop之HDFS常用Shell命令
Hadoop之HDFS常用Shell命令启动Hadoop集群 sbin/start-dfs.shsbin/start-yarn.sh -help:输出这个命令参数 hadoop fs -help r ...
hadoop常用命令总结
2019独角兽企业重金招聘Python工程师标准>>> 一.前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 s ...

Hadoop 常用的命令

创建、删除 -文件，文件夹

上传，下载文件

查看文件内容，信息

修改文件属性

复制删除文件

其他系统相关的

Hadoop 常用的命令相关推荐

最新文章

热门文章