mapreduce数据压缩

概述
这是mapreduce的一种优化策略：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担）
1、 Mapreduce支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积
2、压缩特性运用得当能提高性能，但运用不当也可能降低性能
3、基本原则：
运算密集型的job，少用压缩
IO密集型的job，多用压缩

4.3.2 MR支持的压缩编码

4.3.3 Reducer输出压缩
在配置参数或在代码中都可以设置reduce的输出压缩
1、在配置参数中设置
mapreduce.output.fileoutputformat.compress=false
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec
mapreduce.output.fileoutputformat.compress.type=RECORD

2、在代码中设置
Job job = Job.getInstance(conf);
FileOutputFormat.setCompressOutput(job, true);
FileOutputFormat.setOutputCompressorClass(job, (Class

mapreduce数据压缩相关推荐

CC00046.hadoop——|HadoopMapReduce.V19|——|Hadoop.v19|MapReduce数据压缩机制|
一.shuffle阶段数据的压缩机制 ### --- Hadoop当中支持的额压缩算法~~~ 数据压缩有两大好处,节约磁盘空间,加速数据在网络和磁盘上的传输!! ~~~ 我们可以使用bin/hadoo ...
MAPREDUCE实践篇（2）
4.1. Mapreduce中的排序初步 4.1.1 需求对日志数据中的上下行流量信息汇总,并输出按照总流量倒序排序的结果数据如下: 1363157985066 1372623050300-FD- ...
什么是MapReduce？MapReduce的运行机制是什么？MapReduce的实现过程
1. MAPREDUCE原理篇(1) Mapreduce是一个分布式运算程序的编程框架,是用户开发"基于hadoop的数据分析应用"的核心框架: Mapreduce核心功能是将用户 ...
04 MapReduce
Hadoop之 MapReduce 04 MapReduce 第 1 章 MapReduce 概述 **1.1 MapReduce 定义** **1.2 MapReduce 优缺点** **1.3 M ...
大数据技术之Hadoop（MapReduce）
大数据技术之Hadoop(MapReduce) (作者:大数据研发部) 版本:V1.4 第1章MapReduce入门 map 计算 reduce 规约 1.1 MapReduce定义 Mapreduc ...
大数据基础之Hadoop（三）—— MapReduce
作者:duktig 博客:https://duktig.cn (文章首发) 优秀还努力.愿你付出甘之如饴,所得归于欢喜. 本篇文章源码参看:https://github.com/duktig666/b ...
hadoop生态圈面试精华之Hadoop基础
Hadoop基础介绍下Hadoop 回答技巧:说下Hadoop核心组件,讲下HDFS原理.MapReduce过程等,也可以在介绍完组件部分后, 看看面试官会不会继续往下问(比如让你说下HDFS读写流 ...
2021年大数据Hive（九）：Hive的数据压缩
全网最详细的大数据Hive文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章前言 Hive的数据压缩一.MR支持的压缩编码二.压缩配置 ...
Hadoop 4、Hadoop MapReduce的工作原理
一.MapReduce的概念 MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce,两者缺一不可,也就是 ...
MapReduce的优化
MapReduce的优化 MapReduce 运行慢的原因 1.计算机性能 2.I/O操作优化 MapReduce的优化方法 1.数据输入 2.Map阶段 3.Reduce阶段 4.IO传输 5.数据 ...

mapreduce数据压缩

mapreduce数据压缩相关推荐

最新文章

热门文章