hadoop mapreduce lzo

import com.hadoop.compression.lzo.LzoIndexer;
import com.hadoop.compression.lzo.LzopCodec;FileOutputFormat. setCompressOutput( job, true); // 设置压缩
FileOutputFormat. setOutputCompressorClass( job, LzopCodec.class ); // 选择压缩类型

result = job .waitForCompletion( true) ? 0 : -1;// 输出路径 生成索引
LzoIndexer lzoIndexer = new LzoIndexer(getConf());
lzoIndexer.index( new Path( args[1]));

生成lzo文件并生成索引

job.setInputFormatClass(LzoTextInputFormat.class);

读取lzo类型的文件

转载于:https://www.cnblogs.com/feelgood/p/5110886.html

hadoop mapreduce lzo相关推荐

Hadoop之Lzo压缩配置
Hadoop之Lzo压缩配置一.hadoop-lzo编译 hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件.hadoop-lzo需依赖hadoop和lz ...
Hadoop配置lzo
Hadoop配置lzo 编译部署参考:https://blog.csdn.net/weixin_40420525/article/details/84869883 一.编译: 0. 环境准备 mave ...
Hadoop配置lzo压缩
前言 OS:CentOS 7 hadoop:2.7.7 lzo:lzo-2.10 Apache Maven:3.6.0 JDK:1.8.0_221 hadoop-lzo是一个围绕lzo压缩算法实现的M ...
hadoop支持lzo完整过程
转自 http://blog.csdn.net/joseph_happy/article/details/50374057 简介部署安装lzop native library 安装hadoop-l ...
windows下hadoop对lzo的支持
windows下hadoop对lzo的支持背景下半年学习大数据,首当其冲,先学习了hadoop 学习hadoop的过程可谓是艰难重重其中最麻烦的就是本地调式,写代码总会有bug,在网上也找到一些 ...
又双叒叕来更新啦！Hadoop———MapReduce篇
文章目录 MapReduce(计算) MapReduce概述 MapReduce定义 MapReduce的优缺点核心思想 MapReduce计算程序运行时的相关进程官方WordCount源码 Ma ...
hadoop错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 原创hongxiao2016 最后发布于2019-03-30 21:20:5 ...
hadoop调用python算法_使用Python实现Hadoop MapReduce程序
根据上面两篇文章,下面是我在自己的ubuntu上的运行过程.文字基本采用博文使用Python实现Hadoop MapReduce程序, 打字很浪费时间滴. 在这个实例中,我将会向大家介绍如何使用Py ...
Hadoop MapReduce编程 API入门系列之最短路径（十五）
不多说,直接上代码. ====================================== = Iteration: 1 = Input path: out/shortestpath/inpu ...

hadoop mapreduce lzo

hadoop mapreduce lzo相关推荐

最新文章

热门文章