hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自 文库下载网,
/doc/d52aebffbb0d4a7302768e9951e79b896802689c.html
实验2-熟悉常用的HDFS操作
实验2熟悉常用的HDFS操作
1实验目的
1. 理解HDFS在Hadoop体系结构中的角色;
2. 熟练使用HDFS操作常用的Shell命令;
3. 熟悉HDFS操作常用的Java API。
2实验平台
操作系统:Linux
Hadoop版本:2.6.0或以上版本
JDK版本:1.6或以上版本
Java IDE:Eclipse
3实验内容和要求
1.编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:
(1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
[此处图片未下载成功]
[此处图片未下载成功]
[此处图片未下载成功]
(2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
[此处图片未下载成功]
[此处图片未下载成功]
(3)将HDFS中指定文件的内容输出到终端中;
[此处图片未下载成功]
[此处图片未下载成功]
(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
[此处图片未下载成功]
[此处图片未下载成功]
(5)给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
[此处图片未下载成功]
[此处图片未下载成功]
(6)提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
[此处图片未下载成功]
[此处图片未下载成功]
(7)提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则/doc/d52aebffbb0d4a7302768e9951e79b896802689c.html自动创建相应目录;删除目录时,由用户指定
当该目录不为空时是否还删除该目录;
[此处图片未下载成功]
[此处图片未下载成功]
(8)向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
[此处图片未下载成功]
[此处图片未下载成功]
(9)删除HDFS中指定的文件;
[此处图片未下载成功]
由于已经删除,所以会显示操作失败。
[此处图片未下载成功]
(10)删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
由于前面已经删除,所以显示无该文件.
[此处图片未下载成功]
[此处图片未下载成功]
(11)在HDFS中,将文件从源路径移动到目的路径。
[此处图片未下载成功]
移动成功:
[此处图片未下载成功]
2.编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInput
Stream”,要求如下:实现按行读取HDFS中指定文件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件一行的文本。
进行文档读取如下:
[此处图片未下载成功]
3.查看Java帮助手册或其它资料,用“.URL”和“org.apache.hadoop.fs.FsURLStre
amHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。
[此处图片未下载成功]
4实验报告
[此处图片未下载成功]
[此处图片未下载成功]
5实验心得:///doc/d52aebffbb0d4a7302768e9951e79b896802689c.htmlar
这是第一次进行云计算实验课,首次实验,感觉茫然不知所措,即便老师给了答案,但是还是有些问题想不明白,有些问题也还没解决。但这次实验中,我对HDFS在Hadoop体系结构中的角色熟练使用有了一定的了解,也熟悉了一点HDFS操作常用的Shell命令,熟悉HDFS操作常用的Java API。达到本次实验目的
。
文库下载 /
hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc相关推荐
- 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
- 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
- HBase的编程实践(实验3_熟悉常用的HBase操作)
一.Hbase中使用Shell命令: ① HBase中创建表:(create 命令:第一个变量是表名,然后是列族名) 语法:create '表名称','列族名称1','列族名称2','列族名称N' c ...
- 实验一 熟悉常用的Linux操作和Hadoop操作
文章目录 题目 实验环境 实验内容 熟悉常用的Linux命令 安装Hadoop 安装ssh服务端 安装Java环境并设置环境变量 安装单机Hadoop hadoop伪分布式安装 出现的问题 but t ...
- 实验1:熟悉常用的Linux操作和Hadoop操作
注:完整实验报告word文件在末尾 --------------------------------- "大数据技术原理与应用"课程实验报告 题目:实验1:熟悉常用的Linux操作 ...
- Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...
- 熟悉常用的HBase操作
熟悉常用的HBase操作 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性 ...
- 实验二:熟悉常用的HDFS操作
实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...
- 大数据-实验2 熟悉常用的HDFS操作
1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...
最新文章
- Spring Cloud(十)高可用的分布式配置中心 Spring Cloud Config 中使用 Refresh
- MicroPython实例之TPYBoardv102自动浇花系统
- shllter自动和手动实例
- python线性回归算法简介_Python机器学习(二):线性回归算法
- [数据结构-严蔚敏版]P65离散事件模拟(银行客户的离散事件驱动模拟程序)
- 太原计算机专业专科大学排名,太原【计算机学校】排名
- 样本期望的期望 总体期望_您所在领域的人才期望开放
- deeplink唤醒app测试软件,DeepLink唤醒App的简单实现方法
- 中国 人民大学计算机考研分数线,中国人民大学2010年计算机考研复试分数线
- JAVA免费https,Java与HTTPS
- BZOJ1588: [HNOI2002]营业额统计
- qt中的信号都需要emit触发吗_[Vue笔记] $emit 与 $event
- 聚合支付SAAS系统OEM贴牌定制开发聚合支付系统开发、聚合支付平台开发等。
- 识别到硬盘 计算机不显示盘符,移动硬盘不显示盘符怎么办
- 【HDU4622】Reincarnation-后缀自动机
- Linux常见错误 “cp: omitting directory”解决办法
- LPC1768 IAR环境下使用完整64K内存的方法_整理
- 谷歌浏览器和火狐浏览器永久禁用缓存【一劳永逸的解决方式】
- 计算机网络实验——路由器基本路由配置
- 【北亚数据恢复案例】raid0硬盘故障导致服务器崩溃的数据恢复
热门文章
- 织梦php重新安装教程,织梦CMS系统后台重装的操作教程
- 华为硬件工程师社招机考题库_中级会计机考你了解吗?机考操作常见八大问题速看...
- 利用火狐浏览器Firebug查看网页相关属性
- std::atomic和std::mutex区别
- linux bash 历史记录,Linux Bash History 命令历史记录
- java queue 最大值_[剑指offer题解]队列的最大值/滑动窗口的最大值
- OkHttp协议介绍以及文件下载和上传+OkHttp协议封装+OkHttp拦截器____SpringBoot——集成Okhttp3
- LINUX下用YUM安装nginx出现No package nginx available.的问题与解决方案
- request.getContextPath()取不到值
- 登录用户名和密码相同问题