大数据学习笔记02-HDFS-常用命令
创建目录
hadoop fs -mkdir [-p] hdfs://master:9999/user/hadoop-twq/cmd
上传文件
hadoop fs -put [-f -d] [localFile1...localFile2] hdfs://master:9999/user/hadoop-twq/cmd
hadoop fs -put - hdfs://master:9999/user/hadoop-twq/cmd/out.txt => 从标准流中上传数据
hadoop fs -copyFromLocal [-f -d] localFile hdfs://master:9999/user/hadoop-twq/cmd
查看文件内容
hadoop fs -cat hdfs://master:9999/user/hadoop-twq/cmd/word.txt
查看文件目录
hadoop fs -ls [-d -h -r] hdfs://master:9999/user/hadoop-twq/cmd
修改文件权限
hadoop fs -chmod [-R] 777 hdfs://master:9999/user/hadoop-twq/cmd
创建新文件
hadoop fs -touchz hdfs://master:9999/user/hadoop-twq/cmd/flag.txt
查看文件大小
hadoop fs -du [-s -h] hdfs://master:9999/user/hadoop-twq/cmd
查看集群容量使用情况
hadoop fs -df [-h] hdfs://master:9999/
移动文件
hadoop fs -mv hdfs://master:9999/user/hadoop-twq/cmd/file hdfs://master:9999/user/hadoop-twq/cmd
下载文件
hadoop fs -get [-f] hdfs://master:9999/user/hadoop-twq/cmd
删除文件
hadoop fs -rm [-r -skipTrash] hdfs://master:9999/user/hadoop-twq/cmd/word.txt
默认文件删除就恢复不出来了
Trash机制
如果想恢复出来的话,需要配置Trash机制,在core-site.xml中配置:
<property><name>fs.trash.interval</name><value>3</value></property>
scp core-site.xml hadoop-twq@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
scp core-site.xml hadoop-twq@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
重启hadoop集群
表示3分钟内可以恢复所删文件,此时它存在在本用户目录下的.Trash目录下,可以通过查看.Trash目录,找到被删除文件的路径,然后使用cp命令可以将文件恢复出来:
hadoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq
如果不适用Trash机制,可以使用-skipTrash
,如:
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326
大数据学习笔记02-HDFS-常用命令相关推荐
- 大数据学习之Linux服务器常用命令
线上查询.帮助命令(2个) man 查看命令帮助,命令词典,更复杂还有info,但不常用. help 查看Linux内置命令的帮助,比如cd等命令. 文件.目录操作命令(18个) ls 全拼为list ...
- 大数据学习笔记02:在私有云上创建与配置虚拟机
文章目录 一.登录OpenStack私有云 1.查看[概览] 2.查看[镜像] 3.查看[实例] 二.创建实例 1.基于win7镜像创建hw_win7实例 2.基于centos7创建master实例 ...
- 大数据学习笔记:Hadoop生态系统
文章目录 一.Hadoop是什么 二.Hadoop生态系统图 三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
- 大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建 一.环境准备 二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群 六.打通3台服务器的免密登录 七.hadoop集群配 ...
- Linux学习笔记:Linux常用命令总结
文章目录 前言 Linux学习笔记:Linux常用命令总结 1. 目录命令 1.1 Linux目录结构 1.2 cd命令 切换工作目录 1.3 ls命令 显示目录下文件 1.4 mkdir命令 创建目 ...
- Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
- 大数据学习笔记(一)
大数据学习笔记(一)大数据概论 大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...
- 大数据学习笔记07:分布式文件系统HDFS
文章目录 一.HDFS基本概念 1.块(Block) 2.名称节点和数据节点 (1)名称节点 (2)数据节点 二.HDFS体系结构 三.HDFS读写删文件流程 1.读文件流程 2.写文件流程 3.删文 ...
- 此文献给正打算入门大数据的朋友:大数据学习笔记1000条(2)
501.MapReduce计算框架中的输入和输出的基本数据结构是键-值对. 502.Hadoop神奇的一部分在于sort和shuffle过程. 503.Hive驱动计算的"语言"是 ...
- 大数据学习笔记二:Ubuntu/Debian 下安装大数据框架Hadoop
文章目录 安装Java 为Hadoop创建用户 安装Hadoop 配置Hadoop 配置环境变量 设置配置文件 格式化namenode 启动hadoop集群 访问hadoop集群 大数据学习系列文章: ...
最新文章
- 都在说微服务,那么微服务的反模式和陷阱是什么(一)
- 1、MySQL视图是什么?
- LeetCode Algorithm 797. 所有可能的路径
- js中的json ajax,js结合json实现ajax简单实例
- maven2-snapshot快照库和release发布库的应用
- C和C++混合编程(__cplusplus使用)
- HTML5页面实现文件下载
- tensorflow出现问题Passing (type, 1) or 1type as a synonym of type is deprecated
- dB, -3dB, -6dB相关知识
- 人活一辈子,到底为了什么而工作?这是我看过最好的答案
- APP移动应用测试策略与工具思维导图
- js实现图片左右移动轮播
- 公司用的非标普通自动化用单片机还是plc_自动化专业现在吃香吗?
- Oracle Mysql 私活
- wireshark 笔记
- 微服务的4个设计原则和19个解决方案 1
- 泰捷we30c系统语言,泰捷方盒WE30C测评:看电视久违的清爽
- 【学习】各著名网站的使用语言情况
- java正规表达式之贪婪、非贪婪、占有量词
- 鸿蒙系统拟物化图标,那些让人不得不吐槽的软件设计风格
热门文章
- Excel的导入与导出(POI)
- 微软 Azure App Service 漏洞 NotLegit已存在4年,客户源代码被暴露
- 第三方组件曝多个严重漏洞,飞利浦 Vue PACS 医学成像系统受影响
- 这个 DNS 新漏洞可导致大规模的 DDoS 攻击活动
- 再讨论下webdriver
- 支撑Java NIO 与 NodeJS的底层技术
- Linux内核源码分析--内核启动之(1)zImage自解压过程(Linux-3.0 ARMv7) 【转】
- C# 指针操作图像 细化处理
- 白话算法(1) for循环不是随便写的
- 以视频爬取实例讲解Python爬虫神器Beautiful Soup用法