HDFS文件压缩与解压缩
实验环境
Linux Ubuntu 16.04
前提条件:
1)Java 运行环境部署完成
2)Hadoop 的单点部署完成
实验内容
在上述前提条件下,学习HDFS文件压缩与解压缩的实验。
实验步骤
1.点击桌面的"命令行终端",打开新的命令行窗口
2.启动HDFS
启动HDFS,在命令行窗口输入下面的命令:
/apps/hadoop/sbin/start-dfs.sh
运行后显示如下,根据日志显示,分别启动了NameNode、DataNode、Secondary NameNode:
dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh
Starting namenodes on [localhost]
localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Starting datanodes
Starting secondary namenodes [tools.hadoop.fs.init]
tools.hadoop.fs.init: Warning: Permanently added 'tools.hadoop.fs.init,172.22.0.2' (ECDSA) to the list of known hosts.
3.查看HDFS相关进程
在命令行窗口输入下面的命令:
jps
运行后显示如下,表明NameNode、DataNode、Secondary NameNode已经成功启动
dolphin@tools:~$ jps
484 DataNode
663 SecondaryNameNode
375 NameNode
861 Jps
4.创建HDFS目录
在命令行窗口输入下面的命令:
hadoop fs -mkdir -p /user/hadoop/
运行后在HDFS的根目录下创建了/user/hadoop目录
5.启动Eclipse
点击桌面的Eclipse图标,打开Eclipse
运行后,会弹出Workspace Launcher对话框,此时workspace我们默认就行,点击OK
6.创建项目
进入Eclipse后,会默认进入Welcome标签页,点击标签的叉号,退出Welcome标签。
点击左上角工具栏File,点击New下面的Java Project。
此时弹出了New Java Project对话框,我们填写Project Name为 Example,再点击Finish后,项目创建完成。
7.创建Java类
如下图所示,找到左上角Example项目下src目录后,右击,选择New,在点击Class。
此时会弹出New Java Class对话框,如下图,填写Package为com.dolphin,填写Name为Example,再点击右下角Finish。此时Example类已经创建完成。
8.导入Hadoop Jar包
右击左上角Example项目,找到Build Path,点击下面的Configure Build Path…
点击后会弹出Properties for Example对话框,如下图所示,点击Libraries后,再点击Add External JARs… 此时弹出JAR Selection对话框,找到根目录下/apps/hadoop/share/hadoop/common目录,选中hadoop-common-3.0.0.jar后,再点击OK
再次点击Add External JARs…,此时弹出JAR Selection对话框,找到根目录下/apps/hadoop/share/hadoop/common/lib目录,按住Ctrl + A,选中该目录下所有jar包后,点击OK。
再点击OK,此时Jar包已经导入完成。
9.编写代码
右击桌面的Example.txt文件,使用编辑器打开,按住Ctrl + A,再按住Ctrl + C复制全部内容后,回到Eclipse,编辑Example.java文件,按住Ctrl + A,再按住Ctrl + V,粘贴代码,再按住Ctrl + S保存文件。
10.运行代码
如下图所示,点击上方绿色的按钮,开始运行代码。运行后显示如下,打印的文件内容。
11.运行内容
代码有两个函数,分别是compress函数,用于对文件进行压缩,而uncompress函数,用于对压缩文件进行解压,并打印到控制台。
其中压缩的文件为/home/dolphin/test.txt,压缩后的文件为/home/dolphin/text.gz。运行下面的命令查看这个文件:
ls /home/dolphin
运行后显示如下:
dolphin@tools:~$ ls /home/dolphin
Desktop Example.txt test.txt text.gz workspace
至此,本实验结束啦。开始下一个实验吧。
HDFS文件压缩与解压缩相关推荐
- java 文件压缩 解压_Java文件压缩与解压缩(一)
package com.cn; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream ...
- Java 文件压缩与解压缩
Java IO类库中有提供可以压缩与解压缩的类,其中使用最为广泛的是Zip和GZip,使用这两个类可以很方便的压缩数据. 1.使用Gzip进行简单的文件压缩 GZIP接口相对比较简单,如果只要对单个文 ...
- Linux常用命令(本篇包括,Linux目录结构介绍、Linux Shell介绍、9个常见命令介绍、文件的概念、文件的操作(20个)、目录的操作、文件和目录的权限、文件压缩及解压缩)
Linux常用命令(本篇包括,Linux目录结构介绍.Linux Shell介绍.9个常见命令介绍.文件的概念.文件的操作(20个).目录的操作.文件和目录的权限.文件压缩及解压缩) ...
- java解压缩/压缩/加密压缩/加密解压缩 ZIP4J---ZIP文件压缩与解压缩学习
最近公司准备让各项目组提供公共工具组件,手中正好无事便研究其中一个工具 - 文件压缩与解压缩工具. 目前JAVA API已提供对于ZIP文件的压缩与解压缩,但网上总结不支持ZIP文件加密与解密甚至对于 ...
- 基于java文件压缩与解压缩实践
文件压缩与解压缩实践 摘 要 随着人们对数据的大量需求以及计算机使用时间的增加,计算机磁盘上的文件越来越大,越来越多.如何让有限的磁盘空间容纳更多的数据成为需要解决的问题.一方面,高速发展的存储 ...
- ZIP文件压缩与解压缩
ZIP4J解压优点 ZIP4J 是一个支持处理ZIP文件的开源库 支持创建,修改,添加,删除,解压 压缩文件 支持读/写密码保护 支持AES加密 128/256 支持标准ZIP加密 支持进度监视器 自 ...
- linux文件压缩、解压缩以及归档
一.文件压缩.解压缩 1.linux compress命令(compress/uncompress) (1)压缩文件: [root@server ~]# du -sh passwd1---查看文件大 ...
- java文件压缩与解压缩
文件压缩与解压缩 在Java中,文件的压缩与解压缩,主要依赖三个类来完成,ZipInputStream.ZipOutputStream.ZipEntry import java.io.*; impor ...
- linux的文件压缩与解压缩,linux(文件压缩与解压缩)
压缩解压 linux下怎么解后缀名是gzip的文件? 1.以.a为扩展名的文件: #tar xv file.a 2.以.z为扩展名的文件: #uncompress file.Z 3.以.gz为扩展名的 ...
最新文章
- Python中import导入上一级目录模块及循环import问题的解决
- C函数加密实现及常用字符串处理函数的使用
- VTK:PolyData之InterpolateTerrain
- solaris系统关闭服务器,solaris系统中关闭和开启系统服务ftp,telnet,ssh,sendmail...
- JavaScript逻辑运算符的使用技巧
- 信号生成及DFT的python实现
- 【网络】几种常见的协议
- php mysql简单分页代码_用php制作简单分页(从数据库读取记录)的方法详解
- Labview 气体/温度检测系统
- JavaWeb调用顺序
- Kodi+Alist v3 挂载阿里云盘他人分享链接打造在线影视库
- 自行车小组问卷调查报告
- Qt中使用qrc管理和使用资源文件
- 接口测试面试题及参考答案,就等你来看~
- 自动更换Termux的源,加快软件包下载速度笔记
- update 在mysql_update SQL在MySQL的内部生命历程是怎样的?
- Xshell中文显示乱码的解决方法
- Intel与AMD的拼杀
- 分布式商城项目数据库设计
- 交流访问学者如何拒绝邀请函的方法?