hadoop常用命令

格式：

hadoop fs -命令 [-选项] [文件/目录]

命令	说明	补充
hadoop fs -mkdir	创建HDFS目录	-p选项，可以一次性创建多级目录
hadoop fs -ls	列出HDFS目录	-R选项，查看目录下所有的文件（递归Recursive) hadoop fs –ls /查看HDFS根目录 hadoop fs –ls –R /查看HDFS所有子目录
hadoop fs -copyFromLocal	上传本地文件到HDFS	-f选项，强制复制（存在则替换文件）
hadoop fs -put	上传本地文件到HDFS	-f选项，强制复制（存在则替换文件），特别的可以写入内容
hadoop fs -copyToLocal	将HDFS文件下载到本地
hadoop fs -get	将HDFS文件下载到本地
hadoop fs -cp	复制HDFS文件
hadoop fs -rm	删除HDFS文件	-R选项，删除目录
hadoop fs -cat	查看HDFS目录下的文件内容	（只有文本文件的内容可以查看，其它类型会乱码） hadoop fs –test查看文件 hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享

上传文件（linux—>hdfs）

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以进行文件重命名
hdfs没有写文件名，默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件，不会上传，使用下面选项，强制上传
-f选项，强制复制（存在则替换文件）
可以上传多个文件
可以上传目录

-put命令，还可以接收输入stdin

将指定内容显示在屏幕上：echo [内容]
通过"|"（管道符pipe）将屏幕的内容传递存入文件（存入文件不能已经存在）
例：（注意有-put命令后还有 - ）
echo abc | hadoop fs -put - /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put - /test/hadoopetc.txt

文件下载（hdfs—>linux）

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录

linux命令

命令	说明
cd 目录	进入目录(.表示当前目录，…表示上层目录)
ls [选项] 目录或文件	列出目录[-l -a -R -d -i -h]
cat [选项] 文件名	查看文件内容[-n -b -s]
mkdir [选项] 目录名	创建文件夹[-p]
rm [选项] 文件或目录	删除文件夹[-f -r -i]
cp [选项] 源文件或目录目标文件或目录	复制文件夹[-p -f -r -i]
mv [选项] 源文件或目录目标文件或目录	移动文件夹[-f -i -u]
pwd	显示当前工作目录的绝对路径

Hadoop HDFS命令相关推荐

Hadoop/HDFS命令
Hadoop中文手册:http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册:http://hadoop.apache.or ...
【hadoop系列】Hadoop HDFS命令
格式:hadoop fs -命令主要有如下的命令: 命令说明 hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFro ...
hadoop和hdfs命令_Hadoop 1.x和2.x HDFS基本开发人员命令，“ hadoop”命令
hadoop和hdfs命令 In this post, we are going to discuss about Hadoop 1.x and Hadoop 2.x HDFS Basic comma ...
Hadoop HDFS分布式文件系统常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
hadoop fs命令无法使用_Hadoop从入门到入土（三）HDFS集群简单维护及JAVA客户端连接HDFS...
集群简单维护查看日志上篇我们搭建了集群,并且完成了hdfs的搭建,但在我的linux02和linux03上,发现一个问题,我启动了datanode之后,开始进程还在,一会就自己消失了,这是为什么呢 ...
Hadoop笔记（1）——hdfs命令访问方式
2019独角兽企业重金招聘Python工程师标准>>> 之前的CDH5.8.3安装部署就算是前菜.今天开始写正式的系列第一篇,给自己个完整的笔记整理. 其实目前随便找一本hadoop ...
Hadoop原理与技术——hdfs命令行基本操作
点击链接查看文档一.实验目的熟悉hdfs命令行基本操作二.实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三.实验内容 1:h ...
大数据Hadoop系列之HDFS命令讲解
1. 前言 HDFS命令基本格式:hadoop fs -cmd < args > 2. ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop ...
Hadoop操作HDFS命令
Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录. ...
hadoop之hdfs命令详解
目录一.hadoop命令 1.archive 2.checknative 3.classpath 4.credential 5.distcp(比较常用) 6.fs 7.jar 8.key 9.tra ...

Hadoop HDFS命令