编写第一个HADOOP应用程序

http://space.itpub.net/8183550/viewspace-686332

在MyEclipse 8.5环境下

编写了一个HADOOP小程序。

创建Java 工程
打开eclipse，选择“File -> New -> Java Project”，新建一个“Java Project”，进入“New Java
Project”对话框，将“Project name”设置为“DFSOperator”，

选中“DFSOperator”，并单击右键，选择“New -> Class”菜单，新建“Name”为“DFSOperator”
的class，并选中自动创建main 函数，

配置编译参数
下面开始配置“Build Path”，选中“DFSOperator”，单击右键，点击下图所示菜单“Build
Path -> Configure Build Path”，进入“Java Build Path”配置界面。
选择“Libraries”标签页，点击右侧的“Add External JAR”按钮，将安装好的“hadoop－0.20.0-core.jar”

”commons-logging-1.0.4.jar“

添加进来。

源代码
进入的“DFSOperator.java”文件编辑界面，将“DFSOperator.java”的内容修改成如下：

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
public class DFSOperator {

/**
* @param args
*/
public static void main(String[] args) {
  // TODO Auto-generated method stub
  Configuration conf = new Configuration();
    try {
    FileSystem fs = FileSystem.get(conf);
    Path f = new Path("hdfs:///dfs_operator.txt");
    FSDataOutputStream s = fs.create(f, true);
    int i=0;
    for (i=0; i<100000; ++i)
    os.writeChars("test");
    os.close();
    } catch (IOException e) {
    e.printStackTrace();
    }
}
}

编译生成JAR
右键“DFSOperator”项目，选择“Build Project”，编译项目工程，编译“DFSOperator.java”
后，生成DFSOperator.class 文件

右键项目，选择“Export”：

进入“Export”对话框：

选中“JAR file”，然后点击“Next”按钮

，设置好JAR 包的文件名和存放位置，然后点击“Finish”按钮，生成
dfs_operator.jar 文件

然后将dfs_operator.jar 文件上传到Hadoop Master 节点。

测试运行
假设Hadoop 安装在/usr/local/hadoop 目录下，dfs_operator.jar 存放在hadoop/bin 目录下，
按照下图所示的五步依次进行操作：

首先进入Hadoop 的bin 目录，然后依次完成如下的五步操作：
(1) 查看当前目录，检查dfs_operator.jar 是否存在：ls
(2) 查看Hadoop 根目录下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(3) 运行dfs_operator.jar，以生成dfs_operator.txt 文件：
./hadoop jar ./dfs_operator.jar DFSOperator
(4) 再查看Hadoop 根目录下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(5) 检查dfs_operator.txt 文件的内容：./hadoop fs -cat /dfs_operator.txt

编写第一个HADOOP应用程序相关推荐

iOS游戏框架Sprite Kit基础教程第1章编写第一个Sprite Kit程序
iOS游戏框架Sprite Kit基础教程第1章编写第一个Sprite Kit程序程序是为了实现特定目标或解决特定问题而用计算机语言编写的命令序列的集合.本章将以编写第一个Sprite Kit程序为 ...
Xamarin iOS开发实战第1章使用C#编写第一个iOS应用程序
Xamarin iOS开发实战第1章使用C#编写第一个iOS应用程序 C#原本是用来编写Windows以及Windows Phone的应用程序.自从Xamarin问世后,C#的作用就发生了很大的变化. ...
ROS学习笔记三：编写第一个ROS节点程序
在编写第一个ROS节点程序之前需要创建工作空间(workspace)和功能包(package). 一.创建工作空间(workspace) 创建一个catkin_ws: #注意:如果使用sudo一次性创 ...
用Notepad++来编写第一个HTML网页程序，你也可以！！！
学习任何一门编程语言,我们都要迈出第一步,运行第一个代码.我还记得当第一次运行成功python的"hello word"时的激动,还有html时的开心,反正收获蛮大的.哈哈,还是进 ...
用计算机c语言输出你好,编写第一个C语言程序 - Hello World
前言前面已经唠叨了这么多理论知识,从这讲开始,就要通过接触代码来学习C语言的语法.学习任何一门语言,首先要掌握的肯定是语法.学习C语言语法的目的:就是能够利用C语言编写程序,然后运行程序跟硬件(计算 ...
一个c语言程序的开发环境,C语言入门（2）——安装VS2013开发环境并编写第一个C语言程序...
在C语言入门系列中,我们使用Visual studio 2013 Professional作为开发工具.本篇详细介绍如何安装Visualstudio 2013 Professional并写出我们第一个 ...
恶作剧c语言程序,自己用C语言编写的一个恶作剧小程序代码
自己用C语言编写的一个恶作剧小程序代码 #include #include #include #define MAX 100 void hebingString(char s1[],char s2[] ...
c语言方程改main的值_C语言编程笔记丨编写第一个C语言程序hello world，我教你哇...
如果用C语言输出:Hello,world!,该如何编写程序? **代码如下:** #include//包含标准库的信息 main()//定义名为main的函数,不接受参数值 {//main函数的语句都 ...
使用c语言编程首先要新建,【C语言编程入门系列】—— 第三章，编写第一个C语言程序！...
导读:一般学一门计算机语言的第一堂上机课("上机"顾名思义,上计算机,机你太美),就是往屏幕输出"hello world",本章也不例外. 3.1 Hello, ...

编写第一个HADOOP应用程序

编写第一个HADOOP应用程序相关推荐

最新文章

热门文章