科学技术学院

SCIENCE & TECHNOLOGY COLLEGE OF

NANCHANG UNIVERSITY

 《工 程 训 练》报 告

   REPORT ON ENGINEERING TRAINING

题   目大数据hadoop开发工程实训

学科部、系： 信息学科部计算机系

专业班级：计算机172

学   号：7020817074

学生姓名： 温鑫

指导教师： 邓伦丹 熊婷 刘伟华

起讫日期：2019年12月16日——20日

大数据hadoop开发工程实训报告

实验名称：

大数据hadoop开发工程实训

实验目的：

本次工程训练通过Linux、HDFS环境配置的学习，掌握Java程序控制HDFS增删改查的基本设计方法；综合应用Linux命令行、hadoop开源软件、JAVA应用程序的开发训练。

实验需要的设备、工作环境：

一台目前实验室使用的计算机，要安装以下软件：

(1) 中文版Windows XP或以上系统；

(2) JDK 1.6 或以上版本；

(3) 任一Java编程工具，如Eclipse  idea等；

(4) 虚拟机VMware Workstation 9以上，配置有系统CentOS。

实验内容：

1. 使用Linux命令行实现对CentOS的操作。
2. 实现 HDFS 客户端的操作。

实验步骤和操作（源程序）：    

（1）初始化连接代码：

/*
 * 初始化 hadoop hdfs 配置信息
 * */
@Before
public void init() {
    try {
        URI uri = new URI("hdfs:192.168.75.129:9000");
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.75.129:9000");
        conf.set("dfs.replication", "1");
        fs = FileSystem.get(uri, conf, "root");
    } catch (Exception e) {
        e.printStackTrace();
    }
}

（2）在HDFS分布式集群创建目录的代码：

/** 创建一个文件夹到 hdfs:192.168.75.129:9000* */@Testpublic void mkdir() {try {Path path = new Path("/IDEAtest/");fs.mkdirs(path);System.out.println("创建成功");} catch (Exception e) {e.printStackTrace();System.out.println("创建失败");}}

（3）本地上传文件到HDFS目录的代码：

/**上传文件到 hdfs:192.168.75.129:9000*/@Testpublic void upload() {try {Path src = new Path("G:\\hadoop\\happy.txt");Path dst = new Path("/test/hapyy.rar");fs.copyFromLocalFile(src, dst);System.out.println("上传成功");} catch (IOException e) {e.printStackTrace();System.out.println("上传失败");}}

（4）从分布式系统下载文件到本地的代码：

/**从 hdfs:192.168.137.128:9000 hadoop分布式文件系统
*   下载文件到本地
* */@Testpublic void down() {try {Path src = new Path("/eclipse/shenxian.txt");Path dst = new Path("C:\\Users\\温鑫\\Desktop\\day1220.rar");fs.copyToLocalFile(false, src, dst, true);System.out.println("下载成功");} catch (IOException e) {e.printStackTrace();System.out.println("下载失败");}}

（5）删除分布式系统指定目录的代码：

/** hdfs:192.168.75.129:9000 hadoop分布式文件系统
* 执行删除文件或者文件夹
* */@Testpublic void delet() {try {Path src = new Path("/joker/");fs.delete(src, true);System.out.println("删除成功");} catch (IOException e) {e.printStackTrace();System.out.println("删除失败");}}

（6）遍历HDFS分布式集群指定路径下所有目录的代码：

/*hdfs:192.168.75.129:9000 hadoop分布式文件系统
* 遍历 文件 或者文件夹
* */@Testpublic void list() {try {Path src = new Path("/IDEA/hadoop");RemoteIterator<LocatedFileStatus> list =fs.listLocatedStatus(src);System.out.println("该路径下所有目录及文件遍历如下：");while (list.hasNext()) {LocatedFileStatus lf = list.next();System.out.println(lf.getPath().getName());}} catch (Exception e) {System.out.println("操作失败");e.printStackTrace();}}

实验结果（运行截图）：

（1）命令行启动所有集群结点运行截图：

（2）主机访问虚拟机50070端口运行截图：

（4）初始化界面运行截图：

（4）在HDFS上创建目录运行截图：

（5）上传文件到HDFS指定路径运行截图：

（5）从HDFS下载指定路径文件到主机运行截图：

（5）删除HDFS指定路径目录运行截图：

（6）遍历HDFS指定路径下目录及文件运行截图：

附录：HdfsUtils类完整源代码

package com.demo;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.RemoteIterator;import org.junit.Before;import org.junit.Test;public class HdfsUtils {/*Java 操作 hadoop 文件系统
*  FileSystem  客户端类
* */FileSystem fs = null;/** 初始化 hadoop hdfs 配置信息
* */@Beforepublic void init() {try {URI uri = new URI("hdfs:192.168.75.129:9000");Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.75.129:9000");conf.set("dfs.replication", "1");fs = FileSystem.get(uri, conf, "root");} catch (Exception e) {e.printStackTrace();}}/** 创建一个文件夹到 hdfs:192.168.75.129:9000* */@Testpublic void mkdir() {try {Path path = new Path("/IDEAtest/");fs.mkdirs(path);System.out.println("创建成功");} catch (Exception e) {e.printStackTrace();System.out.println("创建失败");}}/**上传文件到 hdfs:192.168.75.129:9000*/@Testpublic void upload() {try {Path src = new Path("G:\\hadoop\\happy.txt");Path dst = new Path("/test/hapyy.rar");fs.copyFromLocalFile(src, dst);System.out.println("上传成功");} catch (IOException e) {e.printStackTrace();System.out.println("上传失败");}}/**从 hdfs:192.168.137.128:9000 hadoop分布式文件系统
*   下载文件到本地
* */@Testpublic void down() {try {Path src = new Path("/eclipse/shenxian.txt");Path dst = new Path("C:\\Users\\温鑫\\Desktop\\day1220.rar");fs.copyToLocalFile(false, src, dst, true);System.out.println("下载成功");} catch (IOException e) {e.printStackTrace();System.out.println("下载失败");}}/** hdfs:192.168.75.129:9000 hadoop分布式文件系统
* 执行删除文件或者文件夹
* */@Testpublic void delet() {try {Path src = new Path("/joker/");fs.delete(src, true);System.out.println("删除成功");} catch (IOException e) {e.printStackTrace();System.out.println("删除失败");}}/*hdfs:192.168.75.129:9000 hadoop分布式文件系统
* 遍历 文件 或者文件夹
* */@Testpublic void list() {try {Path src = new Path("/IDEA/hadoop");RemoteIterator<LocatedFileStatus> list =fs.listLocatedStatus(src);System.out.println("该路径下所有目录及文件遍历如下：");while (list.hasNext()) {LocatedFileStatus lf = list.next();System.out.println(lf.getPath().getName());}} catch (Exception e) {System.out.println("操作失败");e.printStackTrace();}}}

实验总结与建议（必须手写，200字以上）：