hbase 使用lzo_hbase 使用LZO笔记

之前我们发现数据录入到hbase中，数据占用的空间变大，所以我们考虑使用压缩来降低，下面是安装使用lzo的过程，在这记录一下备忘。

一、hbase添加LZO

注意：root用户安装，否则安装会出现错误

1、首先要让系统支持lzo动态库，安装lzo-2.00以上版本：http://www.oberhumer.com/opensource/lzo/download/

2、解压 tar -zxvf lzo-2.06.tar.gz

3、进入解压后的目录，执行./configure --enable-shared

4、执行make进行编译，编译完成后执行make install进行安装lzo

make install库文件被默认安装到了/usr/local/lib，将/usr/local/lib拷贝到/usr/lib下，或者在/usr/lib下建立软连接ln -s /usr/local/lib/* .

6、下载的 hadoop-gpl-compression-0.1.0.jar 到 hbase/lib以及hadoop/lib 中

7、下载的hadoop-gpl-compression-0.1.0中的 lib/native/* 到 hadoop/lib/native 及 hbase/lib/native

8、确保6、7的文件同步到了每台regionserver上

9、在core-site.xml中加上：

io.compression.codecs

com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec

io.compression.codec.lzo.class

com.hadoop.compression.lzo.LzoCodec

安装完成了lzo，可以使用hbase的lzo example来验证一下，执行一下命令：

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://223.5.12.88:9000/user.dat lzo

二、应用

create 'test', {NAME=>'cf', COMPRESSION=>'lzo'} 按照列族压缩

另外，在网上找了一下资料，发现lzo压缩是发生在compress的过程中，所以向hbase中录入数据后，使用hadoop fs -du /hbase不能很快看到数据空间变小的，或者手动执行compress，或者等待hbase自动执行compress后，才能看到效果。以下是官网截取的信息：

By enabling compression, the store file (HFile) will use a compression algorithm on blocks as they are written (during flushes and compactions) and thus must be decompressed when reading.

hbase 使用lzo_hbase 使用LZO笔记相关推荐

hbase java框架_Hadoop学习笔记—15.HBase框架学习（基础实践篇）
一.HBase的安装配置 1.1 伪分布模式安装伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster.HRegionServer以及ZooKeeper都在一台计算机上来模拟. 首先 ...
《HBase权威指南》读书笔记5:第五章客户端API: 管理功能
类似传统数据库中的DDL 和 DML 模式定义表表描述符 HTableDescriptor Writable 和无参数的构造函数大部分类都有一个无参数的构造函数,这些类都实现了Hadoop 的 ...
Hbase原理与实践(学习笔记一：基本概念)：
相关笔记: <Hbase原理与实践>读书笔记--1.HBase概述_凯哥多帅哦的博客-CSDN博客_hbase的实现原理1.1 HBase前世今生Google当年风靡一时的"三篇 ...
【hadoop生态之Hbase】HBase部署与使用【笔记+代码】
二.HBase部署与使用 2.1.部署 Hbase的安装请查看 2.2.简单使用 2.2.1 基本操作 **进入****HBase****客户端命令行** bin/hbase shell 2) 查看帮 ...
Hbase(nosql)体系结构有基本操作笔记八
5Hbase(nosql)体系结构有基本操作flumepig Googlebigtable的开源实现列式数据库可集群化可以使用shellwebapi多种方式访问适合高速读写的场景 Hql查询语 ...
kettle操作mysql，hive，hbase，phoenix性能测试(使用笔记性能测试部分补充和更新)...
注:前提不泄露公司信息 Mysql数据库连接主机名或 IP 地址: xxx 端口: xxx 数据库:xxx 用户名: xxxx 保存密码: xxxxx 1.1 mysql写入hive (1)a表数 ...
HBase数据压缩编码探索
摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进. 前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几 ...
Hadoop与Hbase基本配置
在经历了几周的努力之后,终于选择放弃现在安装的稳定版本,转而安装旧版本来部署Sleuthkit-Hadp系统.直到昨天,自己还一直为Inconsistent configuration的错误头疼不已. ...
大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...

hbase 使用lzo_hbase 使用LZO笔记

hbase 使用lzo_hbase 使用LZO笔记相关推荐

最新文章

热门文章