熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务:
- 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
- 在本地查看文件位置(ls)
- 在本地显示文件内容
cd /home/hadoop/ touch test.txt cat temp.txt
- 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
- 查看hdfs中的文件(-ls)
cd /usr/local/hadoop ./bin/hdfs dfs -put /home/hadoop/test.txt input ./bin/hdfs dfs -ls input
- 显示hdfs中该的文件内容
- 删除本地的txt文件并查看目录
./bin/hdfs dfs -cat input/test.txt rm -rf test.txt ls
- 从hdfs中将txt下载地本地原来的位置。
- 从hdfs中删除txt并查看目录
./bin/hdfs dfs -get input/text.txt /home/hadoop ./bin/hdfs dfs -rm -r input/text.txt ./bin/hdfs dfs -ls input
二、
- 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
if $(hdfs dfs -test -e test.txt); then $(hdfs dfs -appendToFile local.txt test.txt); else $(hdfs dfs -copyFromLocal -f local.txt test.txt); fi
- 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
if $(hdfs dfs -test -e file: then $(hdfs dfs -copyToLocal hello.txt ./test2.txt); else $(hdfs dfs -copyToLocal hello.txt ./test.txt); fi
- 将HDFS中指定文件的内容输出到终端中;
hadoop fs -cat /usr/local/hadoop/test.txt
- 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
hadoop fs -ls -h /usr/local/hadoop/test.txt
- 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
hadoop fs -ls -R -h /usr/local/hadoop
- 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
if $(hadoop fs -test -d /usr/local/hadoop/test); then $(hadoop fs -touchz /usr/local/hadoop/test/test1.txt); else $(hadoop fs -mkdir -p /usr/local/hadoop/test && hadoop fs -touchz /usr/local/hadoop/test/test1.txt); fi
- 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
hadoop fs -rmr /usr/local/hadoop/test
- 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
hadoop fs -appendToFile local.txt test.txt
- 删除HDFS中指定的文件;
hadoop fs -rm /usr/local/hadoop/test.txt
- 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
hadoop fs -rmr /usr/local/hadoop
- 在HDFS中,将文件从源路径移动到目的路径。
hadoop fs -mv /usr/local/hadoop/test.txt /usr/local/hadoop/hadoop_tmp/test.txt
转载于:https://www.cnblogs.com/605-mk/p/8964674.html
熟悉常用的HDFS操作相关推荐
- 熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...
- 实验二:熟悉常用的HDFS操作
实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...
- 第三章 熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...
- 大数据-实验2 熟悉常用的HDFS操作
1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...
- 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
- hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自 文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作 实验2熟悉常用的HDFS操作 1实验目 ...
- 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
- Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...
- 实验一 熟悉常用的Linux操作和Hadoop操作
文章目录 题目 实验环境 实验内容 熟悉常用的Linux命令 安装Hadoop 安装ssh服务端 安装Java环境并设置环境变量 安装单机Hadoop hadoop伪分布式安装 出现的问题 but t ...
最新文章
- Spring Cloud第十三篇: 断路器聚合监控(Hystrix Turbine)
- 2018 年值得关注的 Web 设计趋势
- Serializable:明明就一个空接口!为什么还要实现它?
- 数学问题->分数的四则运算
- 代码审计之CVE-2018-7600-Drupal远程代码执行漏洞-Render API
- 转:Discuz!NT负载均衡解决方案(HA)之---LVS(Linux Virtual Server)
- SoapUI接口测试断言
- 百度个性化瓦片地图下载
- nios 双核 烧录_Nios程序烧写到EPCS方法
- 证券公司业务部门深度全解
- 苹果手机显示有4g上不了网络连接服务器,苹果移动数据为什么叫蜂窝网络_蜂窝移动数据和4g有什么区别...
- 第二重要极限公式推导过程_机器学习——一文详解逻辑回归「附详细推导和代码」...
- 如何编辑图片合成图片?让我们来看看这些合成方法
- python爬虫+数据分析完整流程--豆瓣电影分类排行榜
- mac下Aria2GUI+Chrome解决网盘下载速度慢
- 普渡大学利用深度学习自动检测核反应堆裂缝
- 2023临沂大学计算机考研信息汇总
- 高效程序员秘籍(6):使用CLCL加快写代码的速度
- CC26xx([CortexM3)的Power Reset and Clock
- Nios和Qsys互连
热门文章
- vim-addon-manager install youcompleteme
- Python学习入门基础教程(learning Python)--6.3 Python的list切片高级
- apache+svn
- 项目中基于Rest的Wcf服务发布以及iBatisNet框架的使用(下)
- java读取文件效率问题
- 《西河大鼓——夸轿车》(唱词文本)
- SQL语句导入导出大全
- 腾讯云CentOS7.2+Django2.2+Python3.7+Nginx+Uwsgi 初学者部署教程
- 谈谈垃圾回收机制方式及内存管理
- Java虚拟机常见面试题