分布式并行计算MapReduce

作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319

1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。

HDFS:进行分布式计算平台，将多台节点的内容进行汇总分析。

MapReduce:

1、功能：用于处理和生成大规模数据集的相关的实现，将数据切割成数据块分批处理。
2、工作原理：用户定义一个map函数来处理一个Key-Value对以生成一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的Value合并起来，MapReduce模型主要有Mapper和Reducer，Mapper端主要负责对数据的分析处理，最终转化为Key-Value的数据结构；Reducer端主要是获取Mapper出来的结果，对结果进行统计。即分而治之的策略：

3、工作过程：
将分析的文件切割成多个数据块，将其分配给各个节点处理，每个节点又把数据块分给多个map处理，接着多个map将结果发送给shuffle处理，shuffle再将其交给reduce，最终将其写入到分布式系统文件。

2.HDFS上运行MapReduce

1）查看是否已经安装python：

2）在/home/hadoop/路径下建立wc文件夹，在文件夹内新建mapper.py、reducer.py、run.sh和文本文件HarryPotter.txt：

3）查看mapper.py reducer.py run.sh的内容：

4）修改mapper.py和reducer.py文件的权限：

5）测试mapper.py和reducer.py：

6）启动hadoop：

7）把文本文件上传到hdfs：

8）将hadoop-streaming-2.7.1.jar的路径添加到bashrc文件并且让环境变量生效：

9）运行run.sh文件统计文本：

转载于:https://www.cnblogs.com/Xi-Chen00/p/10966223.html

分布式并行计算MapReduce相关推荐

Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解
Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下: 输入:参数0--存储样本数据的文本文件inpu ...
#研发解决方案#分布式并行计算调度和管理系统Summoner
郑昀创建于2015/11/10 最后更新于2015/11/12 关键词:佣金计算.定时任务.数据抽取.数据清洗.数据计算.Java.Redis.MySQL.Zookeeper.azkaban2.oo ...
python并行计算numpy_【Nature文章摘录】NumPy: 从单机到分布式并行计算
原标题:[Nature文章摘录]NumPy: 从单机到分布式并行计算点击上图,查看详情本公众号的推送以互联网大数据技术为主,是<互联网大数据处理技术与应用><Python爬虫大数 ...
分布式并行计算：概述
顾名思义,分布式并行计算就是在单台机器多个GPU(单机多卡) 上,或者多台机器多个GPU(多机多卡) 上进行并行计算. 分布式计算带来了两个好处: 降低了 GPU 的显存压力.一块普通的 GPU 显存 ...
Actor 分布式并行计算模型: The Actor Model for Concurrent Computation
分布式计算技术之Actor计算模式 The Actor Model for Concurrent Computation 背景介绍计算机CPU的计算速度提高(频率的提高)是有限度的,我们能做的是放入 ...
hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduce详解
我们在前一章已经学习了HDFS: hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解我们已经知道Hadoop=HDFS(文件系统,数据存储技术相关)+ M ...
【Hadoop】伪分布式安装---MapReduce程序运行到YARN上，编写MapReduce程序---HDFS yarn
在我的虚拟机(Linux)上安装的Hadoop是2.7.3版本的,安装过程可以参考这个网站,也可以下载. http://hadoop.apache.org/docs/r2.7.6/hadoop-pro ...
【大数据/分布式】MapReduce学习-结合6.824课程
参考多篇文档.博客,仅供学习记录. 1.简介 MapReduce用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Reduce(归约)",是它 ...
python dask_《使用Python和Dask实现分布式并行计算》2. Introducing Dask(介绍Dask)
楔子现在相信你已经对DAG的工作原理有了基本的理解,那么下面来看看Dask如何使用DAG来创建健壮的.可扩展的workload(控制器). 下面我们要完成两件事:使用Dask的DataFrame A ...