hdfs上文件常用命令

为了每次执行Hadoop的时候,不必须要前者加上hadoop的安装的绝对路径,要做的事情就是将其安装路径加入到PATH中,这样就可以直接执行hadoop命令。

如下:

vim /etc/profile中加入一句

export HADOOP_INSTALL=/usr/local/hadoop1.1.2

注意这里要写HADOOP_INSTALL,因为如果写HADOOP_HOME会在执行命令的时候提醒该已经deprecated

然后将其bin加入到PATH中

export PATH=$HADOOP_INSTALL/bin:$PATH

在使用hadoop命令的时候,必须要保证Hadoop服务启动了。

基本文件命令:格式为:hadoop fs -cmd <args>

HDFS有一个默认的工作目录 /user/$USER,$USER就是当前登录的用户名,只有将文件放入HDFS上后,才可以运行Hadoop程序来处理它。

基本的参数如下,省略了前面的hadoop fs

注意这里的path不用加上/user/$USER,默认会自动的创建父目录

在利用hadoop命令的时,默认的工作路径就是在/user/$USER

1. -ls  path

列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。

2. -lsr  path

与ls相似,但递归地显示子目录下的内容。

3. -du path

显示path下所有文件磁盘使用情况下,用字节大小表示,文件名用完整的HDFS协议前缀表示。

4. -dus path

与-du相似,但它还显示全部文件或目录磁盘使用情况

5. -mv src dest

在HDFS中,将文件或目录从HDFS的源路径移动到目标路径。

6. -cp src dest

在HDFS中,将src文件或目录复制到dest。

7. –rm path

删除一个文件或目录

8. –rmr path

删除一个文件或递归删除目录

注意:这里的mv cp操作的源路径和目的路径都是在HDFS中的路径文件

9. –put localSrc dest

将本地文件或目录localSrc上传到HDFS中的dest路径。

10. –copyFromLocal localSrc dest

与-put命令相同

11. –moveFromLocal localSrc dest

将文件或目录从localSrc上传到HDFS中的dest目录,再删除本地文件或目录localSrc。

12 –get [-crc] src localDest

将文件或目录从HDFS中的src拷贝到本地文件系统localDest。

13 –getmerge src localDest [addnl]

将在HDFS中满足路径src的文件合并到本地文件系统的一个文件localDest中。

14 –cat filename

显示文件内容到标准输出上。

15. -copyToLocal [-crc] src localDest

与-get命令相同。

16 -moveToLocal [-crc] src localDest

与-get命令相似,但拷贝结束后,删除HDFS上原文件。

17 -mkdir path

在HDFS中创建一个名为path的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p。

18 -setrep [-R] [-w] rep path

设置目标文件的复制数。

19 -touchz path

创建一个文件。时间戳为当前时间,如果文件本就存在就失败,除非原文件长充为0。

20 -test –[ezd] path

如果路径(path)存在,返回1,长度为0(zero),或是一个目录(directory)。

21 –stat [format] path

显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。

22 –tail [-f] file

显示文件最后的1KB内容到标准输出。

23 –chmod [-R] [owner][:[group]] path…

递归修改时带上-R参数,mode是一个3位的8进制数,或是[augo]+/-{rwxX}。

24 –chgrp [-R] group

设置文件或目录的所有组,递归修改目录时用-R参数。

25 –help cmd

显示cmd命令的使用信息,你需要把命令的“-”去掉

posted on 2016-12-22 13:09 ArvinShaffer 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/ArvinShaffer/articles/6210791.html

hdfs上文件常用命令相关推荐

  1. HDFS系列(3) | HDFS的Shell常用命令大全

    此次更新的的博文是关于HDFS的shell的常用命令,希望大家能够喜欢 目录 一. 基本语法 二. 命令大全 三. 常用命令实操 1. 常用命令及其作用对比表 2. 常用命令的实际操作 一. 基本语法 ...

  2. 一文学会CentOS 文件常用命令

    系列文章目录 保姆级别 VMware Workstation 16 Pro 最新安装教程 VMware 安装CentOS 保姆级别教程 一文学会CentOS 文件常用命令 如果本文对你们的开发之路有所 ...

  3. Apache RocketMQ在linux上的常用命令

    Apache RocketMQ在linux上的常用命令 进入maven安装后的rocketmq的bin目录  1.启动Name Server  2.启动Broker 3.关闭Name Server 4 ...

  4. Linux Log文件常用命令

    笔记:Log文件常用命令 tail tail -f xxx.log 显示最新出现的log tail -f xxx.log | grep 'xxx' 显示最新出现的带有检索词的log tail -f - ...

  5. HDFS文件常用命令

    1.fs最常用命令 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件 ...

  6. HDFS的访问方式之HDFS shell的常用命令

    场景 CentOS7上搭建Hadoop集群(入门级): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭 ...

  7. 删除svn_推荐:mac上svn常用命令及好用的工具

    作者:snandy来源:https://www.cnblogs.com/snandy/p/4072857.html # Mac SVN 命令行 Mac自带了SVN命令行,如我的升级到10.10(OSX ...

  8. Linux 文件 常用命令

    目录操作 cd:目录切换 用于切换当前工作目录至 dirName(目录参数). 其中 dirName 表示法可为绝对路径或相对路径.若目录名称省略,则变换至使用者的 home 目录 (也就是刚 log ...

  9. hdfs 指令_HDFS常用命令

    HDFS是Hadoop中自带的分布式文件系统,具有高容错.运行在廉价的机器上和高吞吐等特性. 1.hdfs命令格式 l Hadoop fs:使用面最广,可以操作任何文件系统. l hadoop dfs ...

最新文章

  1. hive sql练习_SQL语句+语法 I 数据分析面试必备
  2. Go 语言——Tensorflow
  3. java 快排和堆排序
  4. python【蓝桥杯vip练习题库】ADV-356字符串的操作
  5. 一个简单的blog系统(十一) 增加文章检索功能
  6. 电脑微信多开方法_微信电脑端多开方法
  7. Python运算符和编码
  8. mysql 优化设计库_MySQL 数据库最优化设计原则
  9. RabbiMQ基础以及spring-boot-starter-amqp使用
  10. Java-如何挖取某个网站中的ajax请求信息
  11. 按功能说明计算机中有哪些类型的寄存器?
  12. 终极算法【5】——进化学派
  13. [Python]经纬度转换
  14. Servlet容器与Web容器详解
  15. mysql怎么tonumber_orcale中的to_number方法使用
  16. 怎样辨别光模块的真假?
  17. 韩寒现在这么受人关注的原因是什么?只是因为他敢发批评时政的文章吗?
  18. easyExcel导出某列是固定下拉选框的excel模板
  19. BookKeeper AutoRecovery
  20. [免费参加] 2015微软社区大课堂Community Camp开放报名啦!

热门文章

  1. Socket实现文件互传(一)
  2. 想进互联网大公司?那这些题你总得会吧?前端面试题2022及答案前端面试题2022及答案
  3. python编程题2.2:turtle库绘制风轮图形
  4. 《渗透测试实践指南 必知必会的工具与方法 (原书第2版)》读书摘录
  5. if(!)什么意思?
  6. 腾讯云CDN加速产品介绍第四章-CDN加速产品
  7. java计算机毕业设计兴澜幼儿园管理系统源码+mysql数据库+lw文档+系统+调试部署
  8. 最新表白墙微信小程序源码+UI很唯美
  9. 三种最小生成树算法的简要比较:Kruskal算法, 破圈法(管梅谷), Prim算法
  10. 和首席架构师吃了一顿米线,被吓住了!