MapReduce Shuffle优化方向

Shuffle过程介绍可以查看该博客：http://langyu.iteye.com/blog/992916

优化方向：

压缩：对数据进行压缩，减少写读数据量；
减少不必要的排序：并不是所有类型的Reduce需要的数据都是需要排序的，排序这个nb的过程如果不需要最好还是不要的好；
内存化：Shuffle的数据不放在磁盘而是尽量放在内存中，除非逼不得已往磁盘上放；当然了如果有性能和内存相当的第三方存储系统，那放在第三方存储系统上也是很好的；这个是个大招；
网络框架：netty的性能据说要占优了；
本节点上的数据不走网络框架：对于本节点上的Map输出，Reduce直接去读吧，不需要绕道网络框架。

程序猿必读

转载于:https://www.cnblogs.com/longzhongren/p/4350673.html

MapReduce Shuffle优化方向相关推荐

MapReduce的优化
MapReduce的优化 MapReduce 运行慢的原因 1.计算机性能 2.I/O操作优化 MapReduce的优化方法 1.数据输入 2.Map阶段 3.Reduce阶段 4.IO传输 5.数据 ...
《Hadoop MapReduce性能优化》一1.3　Hadoop MapReduce的工作原理
本节书摘来异步社区<Hadoop MapReduce性能优化>一书中的第1章,第1.3节,作者: [法]Khaled Tannir 译者: 范欢动责编: 杨海玲,更多章节内容可以访问云栖 ...
【Android 进程保活】oom_adj 值 ( oom_adj 值对应的进程优先级 | oom_adj 值动态改变 | 进程保活优化方向 )
文章目录一.oom_adj 值对应的进程优先级二.oom_adj 值动态改变 1.正常运行时的 oom_adj 值 2.按下 Home 键后的 oom_adj 值 3.按下回退键后的 oom_ad ...
北京/上海内推 | 字节跳动AI Lab招聘NLP算法模型优化方向实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 字节跳动日常维护 star 数 1.8k 的开源项目 https://g ...
软件工程专业(互联网应用开发与优化方向)软件工程实践二环节教学大纲
软件工程专业(互联网应用开发与优化方向)软件工程实践二环节教学大纲培训课程 Phthon Web开发实训公司 XXX 总周数 3周
mysql 索引计划_Mysql索引、查询计划、优化方向
索引 Innodb索引(聚集索引)(聚簇表分布) Innodb是索引组织表,其结构是B+Tree.其表索引结构是聚簇表分布. 其叶子节点保存了Key+Row Data(聚集索引,按主键排序),其Key ...
京东商城店铺排名优化搜索规则及优化方向浅析
开发十年,就只剩下这套Java开发体系了 >>> 京东商城开放pop平台后,越来越多人开始关注京东的搜索排名规则,自从本人在京东上有了店铺,也开始关注它了,前段时间无意当中看到 ...
Android二维码原理与优化方向
困惑做过Android的二维码扫描的童鞋可能会遇到过,很多二维码识别不了,或者识别速度慢.一般造成这个识别不出来的原因,大概以下几点: Android手机配置不一样,手机像素高低也有不同,有的手机还 ...
zRAM内存压缩技术分析及优化方向
目录 1. zRAM出现的背景 2. zRAM软件架构 3. zRAM实现分析 3.1 zRAM驱动模块 3.2 数据流模块 3.3 压缩算法模块 3.4 zRAM读写流程 3.5 zRAM writ ...

MapReduce Shuffle优化方向

MapReduce Shuffle优化方向相关推荐

最新文章

热门文章