MapReduce案例-wordcount-JobMain代码

public class JobMain extends Configured implements Tool {@Overridepublic int run(String[] args) throws Exception {Job job = Job.getInstance(super.getConf(),JobMain.class.getSimpleName());//打包到集群上面运行时候，必须要添加以下配置，指定程序的main函数job.setJarByClass(JobMain.class);//第一步：读取输入文件解析成key，value对job.setInputFormatClass(TextInputFormat.class);TextInputFormat.addInputPath(job,newPath("hdfs://192.168.52.250:8020/wordcount"));//第二步：设置我们的mapper类job.setMapperClass(WordCountMapper.class);//设置我们map阶段完成之后的输出类型job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);//第三步，第四步，第五步，第六步，省略//第七步：设置我们的reduce类job.setReducerClass(WordCountReducer.class);        //设置我们reduce阶段完成之后的输出类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);//第八步：设置输出类以及输出路径job.setOutputFormatClass(TextOutputFormat.class);TextOutputFormat.setOutputPath(job,newPath("hdfs://192.168.52.250:8020/wordcount_out"));boolean b = job.waitForCompletion(true);return b?0:1;}/*** 程序main函数的入口类* @param args* @throws Exception*/public static void main(String[] args) throws Exception {Configuration configuration = new Configuration();Tool tool = new JobMain();int run = ToolRunner.run(configuration, tool, args);System.exit(run);}
}

MapReduce案例-wordcount-JobMain代码相关推荐

MapReduce案例-wordcount-Reduce阶段代码
public class WordCountReducer extendsReducer<Text,LongWritable,Text,LongWritable> {/*** 自定义我们的 ...
Hadoop编写MapReduce之入门案例WordCount（自带+编写java）
目录标题 Hadoop自带案例WordCount运行 MapReduce可以很好地应用于各种计算问题网页查看集群上jar包的位置程序的介绍自己编写WordCount的project(MapRe ...
hadoop(9)--MapReduce入门WordCount
众所周知,hadoop的核心有hdfs,mapReduce,之前8次的分享都是在将hdfs,那么从这次开始来分享一下mapReduce MapReduce就是java程序,这一句话一出来让我这个jav ...
一个Mapreduce案例
一个统计文件中单词出现次数的Mapreduce案例 WordCountMapper.java中的内容: package com.jxd.mapreduce.wordcount;import org.a ...
第一个MapReduce程序-------WordCount
本关任务词频统计是最能体现MapReduce思想的程序,结构简单,上手容易. 词频统计的大致功能是:统计单个或者多个文本文件中每个单词出现的次数,并将每个单词及其出现频率按照<k,v>键 ...
Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
15.大数据---Mapreduce案例之---统计手机号耗费的总上行流量、下行流量、总流量
Mapreduce案例之-统计手机号耗费的总上行流量.下行流量.总流量 1.需求: 统计每一个手机号耗费的总上行流量.下行流量.总流量 2.数据准备: 2.1 输入数据格式: 时间戳.电话号码.基站的 ...
html中放大镜案列,Canvas实现放大镜效果完整案例分析(附代码)
本文主要记录 canvas 在图像.文字处理.离屏技术和放大镜特效的实现过程中使用到的api.先看下效果吧: 一张模糊的图片: 鼠标点击任意位置,产生放大效果: 哇塞~ 一个帅哥,哈哈哈哈~ 1.放大 ...
MapReduce示例——WordCount（统计单词）
MapReduce示例--WordCount(统计单词) 过程分析统计单词,把数据中的单词分别统计出出现的次数过程图(图片源自网络): 实现Mapper.Reducer.Driver WordCo ...
Py之matplotlibseaborn ：高级图可视化之Q-Q分位数图probplot、boxplot箱线图、stripplot分类散点图案例应用及代码实现
Py之matplotlib&seaborn :高级图可视化之Q-Q分位数图probplot.boxplot箱线图.stripplot分类散点图案例应用及代码实现目录基于百分位数原理寻找异常 ...

MapReduce案例-wordcount-JobMain代码

MapReduce案例-wordcount-JobMain代码相关推荐

最新文章

热门文章