有关于Mapreduce的读后感
有关Mapreduce的读后感
说起Mapreduce，我并不知道太多关于Mapreduce的知识，以前也并没有听说过Mapreduce的方面的东西，感觉是一种比较深奥的东西，当时只是感觉这东西可能和IT有关系，感觉是一种代码方面的知识，来进行大数据方面的知识构造。自从学了这门公选课之后，我才慢慢地弄清楚大数据与人工智能这方面的东西，但也只是一知半解而已，并没有能够深入了解，只是能了解到皮毛。在学了这门公选课之后，的确是更了解大数据与人工智能所说的东西，也知道了和Mapreduce有关的一些东西。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1.MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2.MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。3.MapReduce是一个并行程序设计模型与方法（Programming Model & Methodology）。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理 。MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google一直是我很向往的一个公司，Google公司所提出的Mapreduce对于我们大学生来说，可能会显得很深奥，也许会看不懂，就算是计算机专业的也不一定能看得懂，更何况是我这种国际经济与贸易这个专业的，但我还是依旧努力去去学习，去看懂。所以Mapreduce能干什么呢？简单地讲，MapReduce可以做大数据处理。所谓大数据处理，即以价值为导向，对大数据加工、挖掘和优化等各种处理。MapReduce擅长处理大数据，它为什么具有这种能力呢？这可由MapReduce的设计思想发觉。MapReduce的思想就是“分而治之”。1.Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义：一是数据或计算的规模相对原任务要大大缩小；二是就近计算原则，即任务会分配到存放着所需数据的节点上进行计算；三是这些小任务可以并行计算，彼此间几乎没有依赖关系。2.Reducer负责对map阶段的结果进行汇总。至于需要多少个Reducer，用户可以根据具体问题，通过在mapred-site.xml配置文件里设置参数mapred.reduce.tasks的值，缺省值为1。一个比较形象的语言解释MapReduce：We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.（我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。）MapReduce提供了以下的主要功能：1.数据划分和计算任务调度：系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。2.数据/代码互定位：为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。自从学了大数据与人工智能，并了解了和Mapreduce有关的知识后，我逐渐有了大数据思维，也逐渐明白了大数据思维如何在生活中的运用，大数据与人工智能正逐渐成为时代的新宠儿，而我们当代大学生也应该去学习大数据思维，拥有一个大数据的思想来为未来的大数据时代做好万分的准备。
有关于Mapreduce的读后感相关推荐
- 谷歌三篇大数据论文之mapreduce读后感
** 谷歌三篇大数据论文之mapreduce读后感** 天气预报.城市外来人口统计等很多现实问题都需要处理以TB计算的大量数据集,用一台高性能的电脑处理不仅成本高,出错率高及速度慢这些问题都令人头疼. ...
- 谷歌三篇重要论文读后感
-谷歌三篇重要论文读后感 粗略看完谷歌三篇论文,<Google Mapreduce>.<Google File System>.<Google Big Table> ...
- 七周七并发模型 | 读后感
七周七并发模型 | 读后感 这本书,感觉有两种看法,第一种是粗略的看,有点像21天速成教程,讲了好几种通用模型,几乎是了解性质的介绍,明白其优缺点及适用的场景,等到需要用的时候,再去挑选合适的武器:第 ...
- Google三大论文读后感
Google三大论文读后感 大数据这个词,很难对此进行明确的定义.通俗的来说,他就是我们身边的一切,眼睛所看到的,耳朵所听到的,鼻子闻到的,感觉器官所感觉到的以及一切能够描述出的信息.具体一点,我们在 ...
- 关于谷歌三大技术论文读后感
关于谷歌三大技术论文读后感 关于谷歌的三大论文,首先让我们一起了解一下其发布历史: ①2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统,用于大型的. ...
- 谷歌的三篇重要论文读后感
谷歌的三篇重要论文读后感 在读过谷歌的三篇关于大数据处理的论文后,我不得不佩服谷歌的开发人员的智慧,在现如今信息越来越数据化的形势下,如何处理这些规模庞大的数据成为了各大网络公司所要面对的一大难题.各 ...
- mapreduce理解_大数据
map:对不同的数据进行同种操作 reduce:按keys 把数据规约到一起 看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop 与MapReduce的整体有所了解了. [前言 ...
- 2021年大数据Hadoop（二十二）：MapReduce的自定义分组
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 MapReduce的自定义分组 需求 分析 实现 第一步: ...
- 第2节 mapreduce深入学习：4, 5
第2节 mapreduce深入学习:4.mapreduce的序列化以及自定义排序 序列化(Serialization)是指把结构化对象转化为字节流. 反序列化(Deserialization)是序列化 ...
最新文章
- JAVA中priorityqueue详解
- 前端基础：web语义化
- jquery 导航栏目
- sublime txt常用插件推荐
- spark整合MySQL
- 贪心的Mixing Milk（洛谷P1208题题解，Java语言描述）
- python 读取excel文件，并读成数据框格式输出
- iOS 动画之Spring动画、Block动画、GIF图
- Linux 堆分析,堆排序的分析及实现
- bay——RAC_ASM ORA-15001 diskgroup DATA does not exist or is not mounted.docx
- day08-linux权限(chmod chown umask chattr)
- Windows 10 程序员计算器 HEX,DEC,OCT,BIN 的含义
- 智能合约的形式化描述、分析和验证
- 这种方式打开会ctrl的流量明星cxk，简直就是魔鬼
- QT 简单实现自定义标题栏
- 环签名原理与隐私保护
- springboot读取xml配置文件
- 我的世界paperclip_使用PaperClip在Rails中上传文件
- 如何解决浏览器的兼容性
- MyBatis配置加密, 解密