MapReduce 切片源码中SPLIT_SLOP等于1.1的原因分析（TextInputFormat）

之所以是1.1倍的splitSize，原因应该是考虑到文件大小为32.1M这种情况，由于切片大小默认等于块大小，所以此时数据的块存储跟切片存储大小一致，都被分为32M和0.1M。而此时由于有两个切片则不得不开启两个MapTask。而MR不擅长处理小文件的运算也是因为此时启动MapTask的时间耗费比计算时间还长（此时不如用python处理）。而如果将32.1M只当成一个切片来处理的话，虽然数据块是位于两个节点服务器中，而MapTask只在其中一个服务器中，但只在两个服务器中传递这0.1M的时间成本相比于另外启动一个MapTask的时间而言应该会更加短。这些都是出于时间成本的考虑。

还有另一种35.3M32M * 1.1 = 35.2M的情况，此时由于大于1.1倍的splitSize，则需要切片，但需要注意每一切片的大小依然是块大小32M，所以此时会被切割成32M和3.3M。

MapReduce 切片源码中SPLIT_SLOP等于1.1的原因分析（TextInputFormat）相关推荐

FileInputFormat切片源码解析
文章目录 FileInputFormat切片源码解析 1.MapTask并行度决定机制 2.源码步骤 3.FileInputFormat切片机制 3.1 源代码中计算切片大小的公式 3.2 获取切片信 ...
html5不支持的属性,IE9对HTML5中部分属性不支持的原因分析
这篇文章主要为大家介绍了IE9对HTML5中部分属性不支持的原因分析,对于了解IE9与HTML5的应用有一定帮助作用,需要的朋友可以参考下本文较为详细的分析了IE9对HTML5中部分属性不支持的原因 ...
十六、FileInputFormat介绍，切片源码分析
一.InputFormat介绍 InputFormat,从单词意思解读分为输入.格式,也就是数据来源与加载数据的方式是决定MR编程的map阶段的任务并行度. 数据来源划分:其实也就是他的子类,由于我目 ...
抖音视频服务器维护中暂时无法观看,抖音显示服务器维护中暂时无法观看视频的原因分析...
最近有不少抖音用户在使用软件的同时遇到一些问题,就是打开抖音发现不能观看视频了,抖音显示服务器维护中暂时无法观看视频这个到底是什么意思?要是抖音服务器维护该怎么办?如何才能涮抖音视频呢?不少小伙伴都有 ...
Hadoop MapReduce Splits 切片源码分析及切片机制
本文从Job提交,逐步分析Splits相关源码. 数据块:Block是HDFS物理上把数据分成一块一块的. 数据切片:数据切片只是在物理上输入进行分片,并不会在磁盘上将其分成片进行存储. 文件路径 o ...
大数据之-Hadoop3.x_MapReduce_切片源码总结---大数据之hadoop3.x工作笔记0105
可以看到我们分析完,切片的源码,然后总结一下hadoop3.x的MapReduce的切片过程首先要知道切片这个过程是在InputFormat这个类中进行的我们在InputFormat上按下ctr ...
SpringBoot实现过滤器、拦截器与切片源码分析
过滤器Filter 过滤器概念 Filter是J2E中来的,可以看做是Servlet的一种"加强版",它主要用于对用户请求进行预处理和后处理,拥有一个典型的处理链.Filter也可 ...
大数据之-Hadoop3.x_MapReduce_切片源码分析---大数据之hadoop3.x工作笔记0104
然后我们开始来看看,切片的源码,看看到底是怎么切片的然后我们继续调试,我们快速走就可以了,上节,已经调试一遍了. 然后进入job提交方法
VC 操作Word, Excel 出现服务器正在运行中 Ole Server Busy对话框的原因分析和解决建议
问题描述: 最近帮朋友弄个程序,处理Office Excel表.该Excel表加了密码,并且含有很多数据,当在VC中通过 Excel Ole对象打开该Excel文档时候,出现 "服务器正在运 ...
脚本中export不起作用的原因分析
#!bin/bash export PATH=$PATH:/usr/lib/java/jre export PATH=$PATH:/usr/lib/java/bin ---path 结果发现直接运行. ...

MapReduce 切片源码中SPLIT_SLOP等于1.1的原因分析（TextInputFormat）

MapReduce 切片源码中SPLIT_SLOP等于1.1的原因分析（TextInputFormat）相关推荐

最新文章

热门文章