介绍两种方法去实现这个案例

方式1：

Hadoop中自带mapreduce程序，什么是mapreduce呢？在我的博客Hadoop一栏中有详细的讲解这里不赘述，主要就是完成这个小案例。

1.找到文件所在目录

这个mapreduce计算框架在图片所示的文件目录下

2.创建一个文件

我们先创建一个文件，里面写上几行英文字符来统计里面的单词出现的个数。里面单词随机给。

3.执行命令

文件创建好了以后上传到hdfs文件中，目录自己记清楚

上传过后直接执行下面的命令：

 hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /work /output

这里又个过度的代码，执行完成以后就可以在hdfs中找到一个output文件

注意这个方法，生成的输出文件是不能有output文件的

方法2:

这里的方法我们是采用idea来编写map和reduce代码，然后通过maven打包上传中到下面红色的文件目录中。

第一步，创建java代码

在之前我就已经教过如何创建maven，这里我就不说了，上链接跳转过去看（点我点我）

然后我直接上代码，代码讲的很详细

package hadoop;//用来统计文件中单词个数
//重写别覆盖mapreduce框架中的map()和reduce()方法import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import javax.swing.text.TabExpander;
import java.io.IOException;
import java.io.PrintStream;public class DemoWorkCount {//map类，第一对kv，是决定数据输入的格式//第二对kv，是决定数据的输出格式public static class WCMapper extends Mapper<LongWritable, Text,Text,LongWritable>{/*map阶段数据是一行一行过来的并且所有的map的代码逻辑是一模一样的每一行数据过来都需要执行代码。Context context可以理解成输出的kv。*/@Overrideprotected void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException {super.map(key, value, context);//如果一行有多个单词呢?String line = value.toString();//通过Context输出Text（一整行数据），1context.write(new Text(line),new LongWritable(1));}}//reduce类//用来接收map端输出的数据//map输出的数据和reduce接收的数据是一样的public static class WCReduce extends Reducer<Text,LongWritable,Text,LongWritable>{@Override//变成了Iterable迭代器//对values进行整体的求和protected void reduce(Text key,Iterable<LongWritable> values,Context context) throws IOException, InterruptedException {/*** reduce集合程序  每一个k都会调用一次这个方法* 默认是一个节点* key:就是每一个单词* values：map端当前k所对应的所有的v*/long sum = 0l;for (LongWritable value : values) {sum = sum + value.get();}//输出把计算结果输出到hdfscontext.write(key,new LongWritable(sum));}}//是当前mapreduce程序入口//并且用来构建mapreduce程序public static void main(String[] args) throws Exception{//创建一个job任务Job job = Job.getInstance();//指定job名称job.setJobName("第一个mr程序，单词统计");//构建mr//指定当前main所在类名()(识别具体的类)job.setJarByClass(DemoWorkCount.class);//指定map端的类job.setMapperClass(WCMapper.class);//指定map输出的kv类型job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);//指定reduce端的类//指定reduce端输出的kv类型job.setReducerClass(WCReduce.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);//指定输入路径Path in = new Path("master:/work");FileInputFormat.addInputPath(job,in);//指定输出Path out = new Path("/output");//如果路径存在删除FileSystem fileSystem = FileSystem.get(new Configuration());if(fileSystem.exists(out)){//true表示迭代删除fileSystem.delete(out,true);}//如果不存在添加输出路径FileOutputFormat.setOutputPath(job,out);//启动任务job.waitForCompletion(true);System.out.println("正在ing中");/*** 提交任务* 1.通过maven中package功能将项目打包上传到服务器* 2.执行任务 hadoop jar hadoop-mapreduce-examples-2.7.6.jar hadoop/DemoWorkCount.java /word /output**/}}

这里代码完成以后我们来打包

按照图片的步骤然后我们双击，就会自动打包文件，然后把文件上传到

这里，然后后面的操作就和后面一样了

这里注意
这里不需要删除output文件，代码会自动覆盖，我们写的代码把空格也算上了，所有和Hadoop自带的mapreduce会有所区别。

至此，操作完成，你学费了吗，当然有任何问题可以随时联系小编哦

Hadoop实战之workcount相关推荐

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式 Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Had ...
Hadoop实战实例
Hadoop实战实例 Hadoop 是Google MapReduce的一个Java实现.MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行.就如 ...
《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server
本节书摘来异步社区<Hadoop实战手册>一书中的第1章,第1.6节,作者: [美]Jonathan R. Owens , Jon Lentz , Brian Femiano 译者: 傅杰 ...
王家林云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
python写的hadoop实战_Hadoop实战
Hadoop实战 1 Hadoop简介 1.1 什么是Hadoop 1.1.1 Hadoop概述 1.1.2 Hadoop的历史 1.1.3 Hadoop的功能与作用 1.1.4 Hadoop的优势 ...
hadoop 实战练习_hadoop实战（二）
hadoop 实战练习(二) 引言:哈哈,时隔几日,坏蛋哥又回来了,继上一篇hadoop实战练习(一),坏蛋哥准备继续写一个实战练习实例.苏格拉底曾说:所有科学都源于需求.那么我们就抛出今天实战项目的 ...
Hadoop实战之三~ Hello World
本文介绍的是在Ubuntu下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程,软硬件信息如下: Ubuntu:12.04 LTS Master: 1.5G RAM,奔腾 ...
Hadoop实战（3）_虚拟机搭建CDH的全分布模式
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式建立Linux虚拟机(全节点) 客户机操作系统:rhel-s ...
Hadoop 实战之分析专利引用数据集（一）
大家好,今天给大家介绍一下如何建立MapReduce程序的基本模板 MapReduce程序与您所学过的编程模型有所不同.您需要花一些时间,并进行一些练习来熟悉它.为了帮助您精通它,我们在后面几章会通过 ...

Hadoop实战之workcount