MapReduce 编程实例:词频统计
文章目录
- MapReduce 编程实例:词频统计
- 一,准备数据文件
- (1)在虚拟机上创建文本文件
- (2)上传文件到HDFS指定目录
- 二,使用IDEA创建Maven项目
- 三,添加相关依赖
- 四,创建日志属性文件
- (1)在resources目录里创建log4j.properties文件
- (2)log4j.properties文件添加内容
- 五,创建词频统计映射器类
- (1)创建net.army.mr包
- (2)在net.army.mr包下创建WordCountMapper类
- (3)为了更好理解Mapper类的作用,在map()函数里暂时不进行每行文本分词处理,直接利用context输出key和value
- 六,创建词频统计驱动器类
- (1)在net.army.mr包里创建WordCountDriver类
- (2)注意导包
- 七,运行词频统计驱动器类,查看结果
MapReduce 编程实例:词频统计
启动hadoop服务,输入命令:start-all.sh
一,准备数据文件
(1)在虚拟机上创建文本文件
在export目录下,创建wordcount目录,在里面创建words.txt文件,向words.txt输入下面内容。
输入内容:
hello hadoop world
hello hive world
hello hbase world
hadoop hive hbase
I love hadoop and hive
(2)上传文件到HDFS指定目录
创建/wordcount/input
目录,执行命令:hdfs dfs -mkdir -p /wordcount/input
在Hadoop WebUI界面上查看目录是否创建成功
将在本地/export/wordcount/目录下的words.txt文件,上传到HDFS的/wordcount/input目录,输入命令:hdfs dfs -put /export/wordcount/words.txt /wordcount/input
在Hadoop WebUI界面上查看words.txt文件是否上传成功
二,使用IDEA创建Maven项目
1.选择【Maven】,选择【jdk】版本,单击【Next】按钮
2.输入项目名称为:MRWordCount,单击【Finish】按钮
3.创建成功,弹出如下界面
三,添加相关依赖
1.在pom.xml文件里添加hadoop和junit依赖,内容为:
<dependencies> <!--hadoop客户端--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.4</version> </dependency> <!--单元测试框架--> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.13.2</version> </dependency>
</dependencies>
2.单击【maven】,单击那个刷新按钮,它会自动下载相关依赖
3.下载完成后,那个红色的感叹号会变成勾
注:maven的下载和配置可以参考:《在IDEA中配置Maven》
四,创建日志属性文件
(1)在resources目录里创建log4j.properties文件
1.右击resources目录,单击【new】选择【resources bundle】,弹出下图界面输入log4j,单击【ok】按钮
2.在弹出的【Create Resource Bundle】对话框中输入:log4j,单击【OK】按钮
(2)log4j.properties文件添加内容
1.添加如下内容
log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/wordcount.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
2.添加完成实例图
五,创建词频统计映射器类
(1)创建net.army.mr包
1.右击【java】选择【new】单击【package】
2.在弹出的【new package】对话框中输入net.army.mr,按下回车键
3.成功创建
(2)在net.army.mr包下创建WordCountMapper类
1.右击【net.army.mr】包,选择【new】,单击【java class】
2.在弹出的对话框输入WordCountMapper,按下回车键
3.成功创建示例图如下
(3)为了更好理解Mapper类的作用,在map()函数里暂时不进行每行文本分词处理,直接利用context输出key和value
源码
package net.army.mr;import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*** 功能:词频统计映射器类* 作者:梁辰兴* 日期:2022年12月12日*/public class WordCountMapper extends Mapper<LongWritable, Text, LongWritable, Text> {@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {// 直接将键值对数据传到下一个阶段context.write(key, value);}
}
六,创建词频统计驱动器类
(1)在net.army.mr包里创建WordCountDriver类
1.在弹出的对话框中输入WordCountDriver
2.向WordCountDriver类中添加以下代码:
package net.army.mr;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.net.URI;/*** 功能:词频统计驱动器类* 作者:梁辰兴* 日期:2022年12月12日*/
public class WordCountDriver {public static void main(String[] args) throws Exception {// 创建配置对象Configuration conf = new Configuration();// 设置数据节点主机名属性conf.set("dfs.client.use.datanode.hostname", "true");// 获取作业实例Job job = Job.getInstance(conf);// 设置作业启动类job.setJarByClass(WordCountDriver.class);// 设置Mapper类job.setMapperClass(WordCountMapper.class);// 设置map任务输出键类型job.setMapOutputKeyClass(LongWritable.class);// 设置map任务输出值类型job.setMapOutputValueClass(Text.class);// 定义uri字符串String uri = "hdfs://master:9000";// 创建输入目录Path inputPath = new Path(uri + "/wordcount/input");// 创建输出目录Path outputPath = new Path(uri + "/wordcount/output");// 获取文件系统FileSystem fs = FileSystem.get(new URI(uri), conf);// 删除输出目录(第二个参数设置是否递归)fs.delete(outputPath, true);// 给作业添加输入目录(允许多个)FileInputFormat.addInputPath(job, inputPath);// 给作业设置输出目录(只能一个)FileOutputFormat.setOutputPath(job, outputPath);// 等待作业完成job.waitForCompletion(true);// 输出统计结果System.out.println("======统计结果======");FileStatus[] fileStatuses = fs.listStatus(outputPath);for (int i = 1; i < fileStatuses.length; i++) {// 输出结果文件路径System.out.println(fileStatuses[i].getPath());// 获取文件系统数据字节输入流FSDataInputStream in = fs.open(fileStatuses[i].getPath());// 将结果文件显示在控制台IOUtils.copyBytes(in, System.out, 4096, false);}}
}
(2)注意导包
1.注意导包问题
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.net.URI;
2.不要导成org.apache.hadoop.mapred
包下的FileInputFormat
与FileOutputFormat
了
七,运行词频统计驱动器类,查看结果
统计结果之前会显示大量信息,如果不想看到统计结果之前的大堆信息,可以修改log4j.properties文件,将INFO改为ERROR
运行WordCountDriver程序,查看结果
MapReduce 编程实例:词频统计相关推荐
- mapreduce编程实例(1)-统计词频
今天开始把MapReduce Design Patterns这本书上的mapreduce例子过一遍,我觉得这本书对学mapreduce编程非常好,把这本书看完了,基本上能遇到的mapreduce问题也 ...
- 大数据之Hadoop学习——动手实战学习MapReduce编程实例
文章目录 一.MapReduce理论基础 二.Hadoop.Spark学习路线及资源收纳 三.MapReduce编程实例 1.自定义对象序列化 需求分析 报错:Exception in thread ...
- 三、MapReduce编程实例
前文 一.CentOS7 hadoop3.3.1安装(单机分布式.伪分布式.分布式) 二.JAVA API实现HDFS MapReduce编程实例 文章目录 前文 MapReduce编程实例 前言 注 ...
- MapReduce编程实例
实验目的 搭建MapReduce编程模型 配置Eclipse和Maven Hadoop集群与启动顺序 MapReduce的WordCount应用 书上代码练习 学习编写一个MapReduce程序 实验 ...
- hadoop中使用MapReduce编程实例
原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大 ...
- Hadoop | MapReduce之 WordCount词频统计
WordCount词频统计 词频统计 WordCountMap.java // Map类,继承于org.apache.hadoop.mapreduce.Mapper; public class Wor ...
- MapReduce 编程实践:统计对象中的某些属性
文章目录 1. 生成数据 2. 编写实体类 3. Mapper类 4. Reducer类 5. Driver类 6. 运行 参考书:<Hadoop大数据原理与应用> 相关文章:MapRed ...
- mapreduce编程实例python-使用Python实现Hadoop MapReduce程序
在这个实例中,我将会向大家介绍如何使用Python 为Hadoop编写一个简单的MapReduce 程序. 尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++.Python等语言来 ...
- mapreduce编程实例python-使用Python语言写Hadoop MapReduce程序
原标题:使用Python语言写Hadoop MapReduce程序 Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发. 在本教程中,我将描述如何使用Pytho ...
- mapreduce编程实例python-Python编写MapReduce作业的简单示例
这篇文章主要为大家详细介绍了Python编写MapReduce作业的简单示例,具有一定的参考价值,可以用来参考一下. 对python这个高级语言感兴趣的小伙伴,下面一起跟随512笔记的小编两巴掌来看看 ...
最新文章
- Quartz.NET基础知识概述
- elk,logstash -elastcisearch 429
- iOS控件之UILabel
- 下载天方听书网的媒体
- 如何正确应对在线故障
- 破烂微软的.NET IDE环境
- 博客园首页博问闪存新随笔联系订阅管理 随笔- 252 文章- 0 评论- 45 HashPasswordForStoringInConfigFile中的Md5算法并非常用的Md5算法...
- opencv物品定位_使用OpenCV获取零件位置的学习笔记
- python读取数据库数据释放内存_在使用python处理数据时,为什么其内存无法自动释放掉?...
- linux service start|stop|restart
- 【200个】电子病历系统(EMR)精华资料汇总【HC3i年终盘点】
- x86 x64 IA64的关系和区别
- 七大行星排列图片_八大行星图片欣赏
- Mybatis报错 :Error evaluating expression ‘condition.xxxx!= null ‘
- SolidEdge 如何绘制断裂剖视图 局部剖视图
- 中国电信最快apn里面的服务器,电信4g网速最快的apn接入点(电信4g承载系统哪个快)...
- 十分钟入门Visio,不行来砍我!
- 制造业的一般生产流程
- Object(对象)中的属性
- Incompatible types
热门文章
- 目标检测pytorch报错:RuntimeError: CUDA error: device-side assert triggered
- mysql数据库innodb性能优化之缓冲池配置
- 太吓人了,dub编译,编译phobos
- LaTeX各种算法排版
- 四子棋 java_JAVA写的四子棋
- docker wordpress Error establishing a database connection 方法之一
- 几何画板如何制作文氏图
- 自增约束(auto_increment)
- 如何选择企业邮箱?企业邮箱好处是什么?
- 什么是MRAM(不挥发性磁性随机存储器)