利用MRjob编写MapReduce代码

1.1.1 安装Mrjob

mrjob简介

一个通过hadoop、emr的mapreduce编程接口（streamming），扩展出来的一个python的编程框架。
mrjob程序可以在本地测试运行也可以部署到Hadoop集群上运行

mrjob安装

pip3 install mrjob

1.1.2 mrjob实现词频统计

# word_count.py @midi 2021-01-22from mrjob.job import MRJobclass WordCount(MRJob):
#继承MRjob 重写两个方法mapper和reducer#每一行从line中输入def mapper(self, _, line):for word in line.split():yield word,1# 键相同的会分配到同一个reducerdef reducer(self, word, counts):yield word, sum(counts)if __name__ == '__main__':WordCount.run()

1.1.3 运行mrjob

python3 word_count.py input.txt

运行MRJob的几种方式

1. 默认是 -r inline 方式

python3 word_count.py input.txt > output.txt
python3 word_count.py -r inline input.txt > output.txt

2.本地-r local方式

python3 word_count.py -r local input.txt > output.txt

3. 运行在hadoop集群上

python3 word_count.py -r hadoop hdfs://master/input/ -o hdfs://master/output/

mrjob案例

统计所有单词出现最多的前n个

input.txt

Almost every child will complain about their parents sometimes.
It is natural, because when people stay together for a long time, they will start to have argument.
But ignore about the unhappy time, our parents love us all the time.
No matter what happen to us, they will stand by our sides. We should be grateful to them and try to understand them.

# .py @midi 2021-01-22
from mrjob.job import MRJob, MRStep
import heapqclass TopNWords(MRJob):def mapper(self, _, line):if line.strip() != "":for word in line.strip().split():word = word.strip(',')word = word.strip('.')word = word.strip('?')word = word.strip('!')#剔除每个单词中的标点符号yield word, 1# sum(count) 在元组前面是为了下面heapq的排序def reducer_sum(self, word, counts):yield None, (sum(counts), word)# 利用heapq将数据进行排序，将最大的5个取出def top_n_reducer(self, _, word_cnts):for cnt, word in heapq.nlargest(5, word_cnts):yield word, cnt# 实现steps方法用于指定自定义的mapper和reducer方法def steps(self):# 传入两个step 定义了执行的顺序return [MRStep(mapper=self.mapper,reducer=self.reducer_sum),MRStep(reducer=self.top_n_reducer)]def main():TopNWords.run()if __name__ == '__main__':main()

本地运行

Hadoop上运行

最终结果

tips:
当然如果不用mrjob这个框架自己直接写mapper.py和reducer.py也是可以的，下面是集群执行的代码

hadoop jar /home/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.6.jar -file ./mapper.py -mapper ./mapper.py -file ./reducer.py -reducer ./reducer.py -input /user/root/word -output /output/word

在Hadoop中用Python实现MapReduce代码相关推荐

hadoop调用python算法_使用Python实现Hadoop MapReduce程序
根据上面两篇文章,下面是我在自己的ubuntu上的运行过程.文字基本采用博文使用Python实现Hadoop MapReduce程序, 打字很浪费时间滴. 在这个实例中,我将会向大家介绍如何使用Py ...
hadoop的python框架指南_Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)...
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79056120 一.环境准备想了解如何使用原生Python编写MapReduce程序 ...
python部署到hadoop上_python实现mapreduce（2）——在hadoop中执行
目的:将python实现mapreduce(1)中的python脚本部署到hadoop上,实现mapreduce. 1. 修改脚本执行权限 [tianyc@TeletekHbase ~]$ which ...
Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
2019独角兽企业重金招聘Python工程师标准>>> Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据输入是GBK文件, 输出也 ...
Hadoop的Python语言封装
Hadoop的Python语言封装 Gao Ang 发表于 2010年05月25日 11:38 | Hits: 245 Hadoop使用Java语言实现,编写具体的应用业务除了借助Hadoop的Ja ...
Hadoop的Python框架指南
http://www.oschina.net/translate/a-guide-to-python-frameworks-for-hadoop 最近,我加入了Cloudera,在这之前,我在计算生物 ...
python代码块使用缩进表示-python中的代码块使用缩进来表示。
[填空题]Python 运算符中用来计算整商的是( ). (2.0分) [判断题]python中的多行语句可以使用反斜杠来实现. (2.0分) [填空题]在python中,int表示的数据类型是( ) ...
10 种机器学习算法的要点（附 Python 和 R 代码）（转载）
10 种机器学习算法的要点(附 Python 和 R 代码)(转载) from:https://zhuanlan.zhihu.com/p/25273698 前言谷歌董事长施密特曾说过:虽然谷歌的无人 ...
ML之XGBoost：XGBoost参数调优的优秀外文翻译—《XGBoost中的参数调优完整指南(带python中的代码)》(一)
ML之XGBoost:XGBoost参数调优的优秀外文翻译-<XGBoost中的参数调优完整指南(带python中的代码)>(一) 目录概述/Overview 介绍/Introducti ...

在Hadoop中用Python实现MapReduce代码

在Hadoop中用Python实现MapReduce代码

利用MRjob编写MapReduce代码

1.1.1 安装Mrjob

1.1.2 mrjob实现词频统计

1.1.3 运行mrjob

运行MRJob的几种方式

mrjob案例

统计所有单词出现最多的前n个

在Hadoop中用Python实现MapReduce代码相关推荐

最新文章

热门文章