Hadoop官网的一个WordCount程序

下面是Hadoop官网的一个WordCount程序：

package org.myorg;import java.io.IOException;
import java.util.*;import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;public class WordCount {public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
} public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();Job job = new Job(conf, "wordcount");job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));job.waitForCompletion(true);
}}

from: http://wiki.apache.org/hadoop/WordCount

Hadoop官网的一个WordCount程序相关推荐

hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍
1.如何访问hadoop官网? 2.如何下载hadoop各个版本? 3.如何查看hadoop API? 很多同学开发都没有二手资料,原因很简单觉得不会英语,但是其实作为软件行业,多多少少大家会英语的, ...
hadoop官网下载地址：
在网上找了很多hadoop的下载,有的收费,有的不全.花了好久无意中找到下面地址分享给大家. hadoop官网下载地址: https://archive.apache.org/dist/hadoop/ ...
Hadoop官网使用教程
Hadoop官网查看单节点安装步骤: 1.登录Hadoop主页,http://hadoop.apache.org/ 2.找到左侧的Documentation,点击下拉箭头找到我们现在正在使用的Hado ...
hadoop官网最新稳定版安装包下载（高效，无毒，简便）
Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置 1.进入下载Hadoop官网 http://www.apache.org/dyn/closer.cgi/had ...
初步了解超图官网提供的应用程序
超图官网有平台软件试用下载:还有一些GIS应用软件下载:看一下提供的GIS应用软件:下载一个来了解一下:应急三维演练平台: 安装完成:不了解这程序是啥情况:现在本机没有任何超图的桌面或iServer软 ...
一个wordcount程序轻松玩转MapReduce编程模型
可以毫不夸张的说,几乎开发中绝大部分的MR程序都是基于wordcount编程模型而来,或者说用wordcount变化而来(改变的主要是业务方面的逻辑).所以,熟练掌握wordcount编程模型,是掌握 ...
免费在官网获得一个云MongoDB数据库
官网简介:MongoDB 是通用.基于文档的分布式数据库,帮助现代应用程序开发人员迎接云时代的到来.就数据库而言,效率是一个永不过时的话题. 1. 云数据库 Atlas 如果你想在本地安装 Mongo ...
wordcount linux java_Java笔记---Hadoop 2.7.1下WordCount程序详解
一.前言在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境.既然环境已经搭建好了,那么现在我们就应该来干点正事嘛!比如来一个Hadoop世界的HelloWorld,也就是 ...
Bootstrap--模仿官网写一个页面
本文参考Bootstrap官方文档写了简单页面来熟悉Bootstrap的栅格系统.常用CSS样.Javascript插件和部分组件. 以下html代码可以直接复制本地运行: BootstrapPage ...

Hadoop官网的一个WordCount程序

Hadoop官网的一个WordCount程序相关推荐

最新文章

热门文章