hdp3.1.4 hive 开启lzo压缩

因为集群本身是不支持lzo压缩的，所以需要我们自行安装配置。

环境：

hdp 3.1.4
hadoop-lzo : 0.4.21
lzo :2.10

安装步骤如下：

在源码编译安装之前需要做一些准备工作：

1. yum -y install *lzo* （为了后续安装lzop）2. yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool3. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz4.tar -zxvf lzo-2.10.tar.gz5.cd lzo-2.10/6.  ./configure -prefix=/usr/local/lzo/7.  make8. make install

hadoop-lzo源码编译：

1. git clone https://github.com/twitter/hadoop-lzo/archive/master.zip

2.unzip master.zip

3.cd hadoop-lzo-master

4.修改pom文件，适配集群版本.找到hadoop.current修改版本号：
<hadoop.current.version>2.7.1</hadoop.current.version> --> 3.1.1

5.mvn package -Dmaven.test.skip=true

6.编译完成之后，将jar包放到hdp的hadoop lib目录下：

7.分发到其他节点的同目录下。

8.修改配置文件：

core-site:

<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

10.重启集群。进行测试。

登入hive:

如果报class not found com.hadoop.mapred.DeprecatedLzoTextInputFormat。需要记得重启集群。

11.

通过lzop命令将普通文件变成lzo文件。

lzop a.txt

12. load data local inpath '/home/hadoop/a.txt.lzo' into table lzo_test; 测试成功。

hdp3.1.4 hive 开启lzo压缩相关推荐

Hadoop2.2.0+hive使用LZO压缩那些事
环境: Centos6.4 64位 Hadoop2.2.0 Sun JDK1.7.0_45 hive-0.12.0 准备工作: yum -y install lzo-devel zlib-deve ...
Hive之配置和使用LZO压缩
前言 OS:CentOS 7 Hive:2.3.0 Hadoop:2.7.7 MySQL Server:5.7.10 Hive官方手册:LanguageManual LZO 在配置Hive使用lzo压 ...
Hadoop配置lzo压缩
前言 OS:CentOS 7 hadoop:2.7.7 lzo:lzo-2.10 Apache Maven:3.6.0 JDK:1.8.0_221 hadoop-lzo是一个围绕lzo压缩算法实现的M ...
hive LZO压缩
hive LZO压缩本文环境介绍: 软件版本备注 centos 6.5 hadoop 2.7.1 2.7.*即可 hive 2.3.6 lzo 2.10 需要独立安装 1 lzo压缩 1.1 l ...
Hive的Parquet存储与LZO压缩
在Hive中,为我们提供了五种文件存储格式 1.Textfile 2.Sequencefile 3.Rcfile 4.Orcfile 5.Parquet 这里主要介绍一下Parquet,列式存储一. ...
Hadoop之使用LZO压缩并支持分片
1.简介: 安装LZO: lzo并不是Linux系统原生支持,所以需要下载安装软件包,这里至少需要安装3个软件包. lzo, lzop, hadoop-gpl-packaging. 增加索引: gpl ...
hadoop之使用LZO压缩文件并支持分片
文章目录 1.安装lzo以及生成测试数据 1.1生成未压缩的测试数据 1.2安装lzo相关工具 1.3使用lzop工具压缩测试数据 2.编译hadoop-lzo 2.1 获取hadoop-lzo源码 ...
Hive常见的压缩格式
压缩格式 Hive支持的压缩格式有bzip2.gzip.deflate.snappy.lzo等.Hive依赖Hadoop的压缩方法,所以Hadoop版本越高支持的压缩方法越多,可以在$HADOOP_H ...
[Hive基础]-- Hive table 的压缩方式和存储格式
目录一.了解 Hadoop 的压缩方式 1.Hadoop 的压缩方式的基本信息 2.Hadoop 压缩方式优缺点对比二. Hive table的存储格式 1.TEXTFILE 2.Parquet ...

hdp3.1.4 hive 开启lzo压缩

hdp3.1.4 hive 开启lzo压缩相关推荐

最新文章

热门文章