创建目录

hadoop fs -mkdir [-p] hdfs://master:9999/user/hadoop-twq/cmd

上传文件

hadoop fs -put [-f -d] [localFile1...localFile2] hdfs://master:9999/user/hadoop-twq/cmd
hadoop fs -put - hdfs://master:9999/user/hadoop-twq/cmd/out.txt => 从标准流中上传数据
hadoop fs -copyFromLocal [-f -d] localFile hdfs://master:9999/user/hadoop-twq/cmd

查看文件内容

hadoop fs -cat hdfs://master:9999/user/hadoop-twq/cmd/word.txt

查看文件目录

hadoop fs -ls [-d -h -r] hdfs://master:9999/user/hadoop-twq/cmd

修改文件权限

hadoop fs -chmod [-R] 777 hdfs://master:9999/user/hadoop-twq/cmd

创建新文件

hadoop fs -touchz hdfs://master:9999/user/hadoop-twq/cmd/flag.txt

查看文件大小

hadoop fs -du [-s -h] hdfs://master:9999/user/hadoop-twq/cmd

查看集群容量使用情况

hadoop fs -df [-h] hdfs://master:9999/

移动文件

hadoop fs -mv hdfs://master:9999/user/hadoop-twq/cmd/file hdfs://master:9999/user/hadoop-twq/cmd

下载文件

hadoop fs -get [-f] hdfs://master:9999/user/hadoop-twq/cmd

删除文件

hadoop fs -rm [-r -skipTrash] hdfs://master:9999/user/hadoop-twq/cmd/word.txt
默认文件删除就恢复不出来了

Trash机制

如果想恢复出来的话,需要配置Trash机制,在core-site.xml中配置:

    <property><name>fs.trash.interval</name><value>3</value></property>

scp core-site.xml hadoop-twq@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
scp core-site.xml hadoop-twq@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
重启hadoop集群

表示3分钟内可以恢复所删文件,此时它存在在本用户目录下的.Trash目录下,可以通过查看.Trash目录,找到被删除文件的路径,然后使用cp命令可以将文件恢复出来:

hadoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq 

如果不适用Trash机制,可以使用-skipTrash,如:
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326

大数据学习笔记02-HDFS-常用命令相关推荐

  1. 大数据学习之Linux服务器常用命令

    线上查询.帮助命令(2个) man 查看命令帮助,命令词典,更复杂还有info,但不常用. help 查看Linux内置命令的帮助,比如cd等命令. 文件.目录操作命令(18个) ls 全拼为list ...

  2. 大数据学习笔记02:在私有云上创建与配置虚拟机

    文章目录 一.登录OpenStack私有云 1.查看[概览] 2.查看[镜像] 3.查看[实例] 二.创建实例 1.基于win7镜像创建hw_win7实例 2.基于centos7创建master实例 ...

  3. 大数据学习笔记:Hadoop生态系统

    文章目录 一.Hadoop是什么 二.Hadoop生态系统图 三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...

  4. 大数据学习笔记第1课 Hadoop基础理论与集群搭建

    大数据学习笔记第1课 Hadoop基础理论与集群搭建 一.环境准备 二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群 六.打通3台服务器的免密登录 七.hadoop集群配 ...

  5. Linux学习笔记:Linux常用命令总结

    文章目录 前言 Linux学习笔记:Linux常用命令总结 1. 目录命令 1.1 Linux目录结构 1.2 cd命令 切换工作目录 1.3 ls命令 显示目录下文件 1.4 mkdir命令 创建目 ...

  6. Hadoop 大数据学习笔记

    Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...

  7. 大数据学习笔记(一)

    大数据学习笔记(一)大数据概论 大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...

  8. 大数据学习笔记07:分布式文件系统HDFS

    文章目录 一.HDFS基本概念 1.块(Block) 2.名称节点和数据节点 (1)名称节点 (2)数据节点 二.HDFS体系结构 三.HDFS读写删文件流程 1.读文件流程 2.写文件流程 3.删文 ...

  9. 此文献给正打算入门大数据的朋友:大数据学习笔记1000条(2)

    501.MapReduce计算框架中的输入和输出的基本数据结构是键-值对. 502.Hadoop神奇的一部分在于sort和shuffle过程. 503.Hive驱动计算的"语言"是 ...

  10. 大数据学习笔记二:Ubuntu/Debian 下安装大数据框架Hadoop

    文章目录 安装Java 为Hadoop创建用户 安装Hadoop 配置Hadoop 配置环境变量 设置配置文件 格式化namenode 启动hadoop集群 访问hadoop集群 大数据学习系列文章: ...

最新文章

  1. 都在说微服务,那么微服务的反模式和陷阱是什么(一)
  2. 1、MySQL视图是什么?
  3. LeetCode Algorithm 797. 所有可能的路径
  4. js中的json ajax,js结合json实现ajax简单实例
  5. maven2-snapshot快照库和release发布库的应用
  6. C和C++混合编程(__cplusplus使用)
  7. HTML5页面实现文件下载
  8. tensorflow出现问题Passing (type, 1) or 1type as a synonym of type is deprecated
  9. dB, -3dB, -6dB相关知识
  10. 人活一辈子,到底为了什么而工作?这是我看过最好的答案
  11. APP移动应用测试策略与工具思维导图
  12. js实现图片左右移动轮播
  13. 公司用的非标普通自动化用单片机还是plc_自动化专业现在吃香吗?
  14. Oracle Mysql 私活
  15. wireshark 笔记
  16. 微服务的4个设计原则和19个解决方案 1
  17. 泰捷we30c系统语言,泰捷方盒WE30C测评:看电视久违的清爽
  18. 【学习】各著名网站的使用语言情况
  19. java正规表达式之贪婪、非贪婪、占有量词
  20. 鸿蒙系统拟物化图标,那些让人不得不吐槽的软件设计风格

热门文章

  1. Excel的导入与导出(POI)
  2. 微软 Azure App Service 漏洞 NotLegit已存在4年,客户源代码被暴露
  3. 第三方组件曝多个严重漏洞,飞利浦 Vue PACS 医学成像系统受影响
  4. 这个 DNS 新漏洞可导致大规模的 DDoS 攻击活动
  5. 再讨论下webdriver
  6. 支撑Java NIO 与 NodeJS的底层技术
  7. Linux内核源码分析--内核启动之(1)zImage自解压过程(Linux-3.0 ARMv7) 【转】
  8. C# 指针操作图像 细化处理
  9. 白话算法(1) for循环不是随便写的
  10. 以视频爬取实例讲解Python爬虫神器Beautiful Soup用法