hbase 使用lzo_装配HBase LZO
服务器操作系统:CentOS 6.3
一、安装LZO
首先尝试sudo apt-get -y install liblzo2-dev,如果不行则按照下面的做法。
1.检查是否已经安装
ls /usr/lib64/liblz*
2.安装LZO
2.1.从http://pkgs.org/下载
http://pkgs.org/centos-6-rhel-6/centos-rhel-x86_64/lzo-devel-2.03-3.1.el6.x86_64.rpm/download/
http://pkgs.org/centos-6-rhel-6/centos-rhel-x86_64/lzo-minilzo-2.03-3.1.el6.x86_64.rpm/download/
2.2.安装
zlib-1.2.3-29.el6.x86_64.rpm
zlib-devel-1.2.3-29.el6.x86_64.rpm
lzo-2.03-3.1.el6.x86_64.rpm
lzo-minilzo-2.03-3.1.el6.x86_64.rpm
lzo-devel-2.03-3.1.el6.x86_64.rpm
sudo rpm -ivh zlib-1.2.3-29.el6.x86_64.rpm --force
sudo rpm -ivh zlib-devel-1.2.3-29.el6.x86_64.rpm
sudo rpm -ivh lzo-*
3.检查安装是否成功
ls /usr/lib64/liblz*
二、安装Hadoop LZO
1.下载hadoop-lzo源码
git clone git://github.com/twitter/hadoop-lzo.git
2.从其他服务器上面复制文件到本地目录
scp /home/bigdata/apps/hbase/lib/hadoop-core-2.0.0-mr1-cdh4.1.2.jar 10.154.80.2:/home/bigdata/apps
scp /home/bigdata/apps/hbase/lib/hadoop-common-2.0.0-cdh4.0.1.jar 10.154.80.2:/home/bigdata/apps
3.安装hadoop-lzo
cd hadoop-lzo
CLASSPATH=/home/bigdata/apps/hadoop-common-2.0.0-cdh4.0.1.jar:/home/bigdata/apps/hadoop-core-2.0.0-mr1-cdh4.1.2.jar CFLAGS=-m64 CXXFLAGS=-m64 ant compile-native tar
4.复制构建好的库文件到相应目录
cd /home/bigdata/apps/hadoop-mr/lib
mkdir native
mkdir native/Linux-amd64-64
scp 10.154.80.2:/home/bigdata/apps/hadoop-lzo/build/hadoop-lzo-0.4.17-SNAPSHOT.jar /home/bigdata/apps/hadoop-mr/lib/
scp 10.154.80.2:/home/bigdata/apps/hadoop-lzo/build/hadoop-lzo-0.4.17-SNAPSHOT.jar /home/bigdata/apps/hbase/lib/
scp 10.154.80.2:/home/bigdata/apps/hadoop-lzo/build/native/Linux-amd64-64/lib/libgplcompression.* /home/bigdata/apps/hadoop-mr/lib/native/Linux-amd64-64/
scp 10.154.80.2:/home/bigdata/apps/hadoop-lzo/build/native/Linux-amd64-64/lib/libgplcompression.* /home/bigdata/apps/hbase/lib/native/Linux-amd64-64/
三、重启HDFS、MapReduce、HBase
四、检查安装是否成功
1.Testing Compression is enabled
hbase org.apache.hadoop.hbase.util.CompressionTest /tmp/testfile lzo
hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/testfile lzo
2.create table
create 'mytable', {NAME => 'colfam', COMPRESSION => 'LZO'}
五、参考资料
1.OpenTSDB Setup HBase
2.OpenTSDB安装HBase
3.UsingLzoCompression
4.FAQ - hadoop-gpl-compression
5.Linux 安装lzop压缩工具
hbase 使用lzo_装配HBase LZO相关推荐
- hbase 使用lzo_带你快速上手HBase | HBase列族优化
随着大数据的越来越普及,HBase也变得越来越流行.使用HBase并不困难,但是如何用好HBase,这确是一个难点.为了合理地使用HBase,尽可能发挥HBase的功能,我们需要根据不同的场景对HBa ...
- Hbase(二)hbase建表
一.建表高级属性 下面几个 shell 命令在 hbase 操作中可以起到很到的作用,且主要体现在建表的过程中,看 下面几个 create 属性 1.bloomfilter 布隆过滤器 默认是 ...
- Hbase系列-3、Hbase高级
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 大数据系列文章目录 Hbase的官网 目录 HBase的高可用 Hbase高可用的简介 搭建H ...
- hbase put 异步 java_java – HBase BufferedMutator vs PutList性能
简答 BufferedMutator通常提供比仅使用Table#put(List< Put>)更好的吞吐量,但需要适当调整hbase.client.write.buffer,hbase.c ...
- HBase学习指南之HBase原理和Shell使用
HBase学习指南之HBase原理和Shell使用 参考资料: 1.https://www.cnblogs.com/nexiyi/p/hbase_shell.html,hbase shell 转载于: ...
- hbase 单机 java api,HBase学习(一)hbase安装(单机模式)和javaapi客户端访问hbase例子...
平时习惯了window下开发,而Hbase只能在linux环境下运行,所以决定把hbase安装一台虚拟机上,在windows下运行eclipse连接虚拟机里的hbase 因为对linux命令了解不多, ...
- 01 HBase基本概念和hbase shell常用命令用法
本文转载自:http://archive.cnblogs.com/a/2178064/ 1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一 ...
- hbase开发环境搭建及运行hbase小实例(HBase 0.98.3新api)
问题导读: 1.如何搭建hbase开发环境? 2.HTableDescriptor初始化产生了那些变化? 3.eclipse如何连接hbase集群? hbase开发环境搭建与hadoop开发环境搭建差 ...
- 6 HBase java API访问HBase数据库
HBase java API访问HBase数据库 package com.hunan.hbase_options;import org.apache.hadoop.conf.Configuration ...
最新文章
- CloseHandle()函数的使用(转载)
- 一样入职的应届生工资不一样_天天向上汪涵透露工资细节,王一博拿的工资和他一样,不公平...
- CSS基础语法(三) CSS的6种特性
- ES5(一)——保护对象
- Linux / Unix Command: getprotobyname
- 地图距离算法_基于权重的地图匹配技术
- 2021 年度最佳开源软件榜单
- 管螺纹如何标注_管螺纹的种类特别多,我们该如何快速区分?
- EPLAN液压气动流体元件符号库导入
- android 6.0 oem分区,android系统的分区结构
- 中国移动CMPP短信开发平台通讯包 2.8
- 虚拟机VM安装win7遇到的问题及解决方法
- 关于Shine-hale
- 数字转换大写英文字母
- zip压缩文件加密码以及Office文件打开需要密码
- FTP工具免费,6大免费的FTP工具
- 细胞亚器文献阅读二~An ER-Mitochondria Tethering Complex Revealed by a Synthetic Biology Screen
- 数学向量 java,数学向量和旋转(Topdown java game dev – physics problem)
- C#、NPOI生成Word文档(模板)
- 常用的校验注解之 @NotNull、@NotBlank、@NotEmpty 的区别