Hadoop 文件命令

* 文件操作
* 查看目录文件
* $ hadoop dfs -ls /user/cl
*
* 创建文件目录
* $ hadoop dfs -mkdir /user/cl/temp
*
* 删除文件
* $ hadoop dfs -rm /user/cl/temp/a.txt
*
* 删除目录与目录下所有文件
* $ hadoop dfs -rmr /user/cl/temp
*
* 上传文件
* 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
* $ hadoop dfs -put /home/cl/local.txt /user/cl/temp
*
* 下载文件
* 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
* $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl
*
* 查看文件
* $ hadoop dfs –cat /home/cl/hdfs.txt
*
* Job操作

* 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包

* $ hadoop jar <local-jar-file> <Java-class> <hdfs-input-file> <hdfs-output-dir>

* $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir
*
* 杀死某个正在运行的Job
* 假设Job_Id为：job_201207121738_0001
* $ hadoop job -kill job_201207121738_0001

Hadoop 文件命令相关推荐

Hadoop 压缩文件命令
Hadoop 压缩文件命令 hadoop jar /usr/bin/hadoop/software/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7 ...
HDFS上传文件命令报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)
作为作者,强烈不建议进行格式化hadoop,毕竟开发数据是最为重要的! Hadoop 3.1 hdfs dfs -put /源文件路径 /目的文件路径解决方案第一步:停止主节点(Master)和子 ...
hadoop文件存储位置_Hadoop文件的存储格式实例详解
sequence文件存储格式 1.txt 纯文本格式,若干行记录.默认用字符编码存储 2.SequenceFile格式(顺序文件格式,可进行切割) key-value 格式进行存储,最终形成的是一个二 ...
HDFS文件系统基本文件命令、编程读写HDFS
HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用的.可 ...
Hadoop应用实战100讲（二）-Hadoop常用命令汇总
前言以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据 ...
Hadoop Shell命令
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp ...
hadoop目录命令
下面是经常使用到的,以此记录备忘 1.查看hadoop目录命令: hadoop fs -ls / 2.创建目录命令:hadoop fs -mkdir /目录名 3.将文件上传hadoop中(也就是 ...
hadoop常用命令总结
2019独角兽企业重金招聘Python工程师标准>>> 一.前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 s ...
Hadoop/HDFS命令
Hadoop中文手册:http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册:http://hadoop.apache.or ...

Hadoop 文件命令

Hadoop 文件命令

Hadoop 文件命令相关推荐

最新文章

热门文章