单机hbase配置snappy压缩

前言

  1. 过程比较坎坷，网上帖子说法不一，以下过程是参考几个帖子亲自走过一遍，并最终可以成功建表。2. 本人安装的所有目录均为/data/test-hbase，涉及目录的替换为自己的目录即可。

参考连接

  • https://blog.csdn.net/weixin_34185512/article/details/92091958
  • https://www.likecs.com/show-305977788.html#sc=2200
  • https://blog.csdn.net/wang6733284/article/details/125397154
  • https://blog.csdn.net/warrah/article/details/79074141
  • https://askubuntu.com/questions/1173587/e-package-libssl1-0-0-has-no-installation-candidate
  • https://blog.csdn.net/tang05709/article/details/110366597
  • https://blog.csdn.net/plifemao/article/details/86711771

一、hbase环境准备（如果有可跳过）

1. 下载hbase-2.4.15

2. 下载jdk1.8

[Oracle账号](http://bugmenot.com/view/oracle.com)

3. 解压hbase、jdk

tar -zxvf hbase-2.4.15-bin.tar.gz
tar -zxvf jdk-8u202-linux-x64.tar.gz

4. 配置jdk

vim hbase-2.4.15/conf/hbase-env.shexport JAVA_HOME=/data/test-hbase/jdk1.8.0_202/

5. 配置表数据存储路径（可选）

vim ./hbase-2.4.15/conf/hbase-site.xml

<property><name>hbase.rootdir</name><value>file:///data/test-hbase/hbase-data</value>
</property>
<property><name>hbase.zookeeper.property.dataDir</name><value>/data/test-hbase/zookeeper-data</value>
</property>

二、 依赖包安装

1. 安装基础依赖

sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libsnappy-dev bzip2 libbz2-dev libjansson-dev fuse libfuse-dev libxrender-dev libxtst-dev libsasl2-dev libssl-dev

注意cmake需要3.1版本以上，安装完执行cmake --version 如果不是3.1以上的版本，需要下载包手动安装

2. 安装libssl1.0-dev

2.1. 添加源
vim /etc/apt/sources.list
2.2. 在末尾添加
deb http://security.ubuntu.com/ubuntu bionic-security main
2.3. 执行安装
sudo apt update && apt-cache policy libssl1.0-devsudo apt-get install -y libssl1.0-dev

三、 依赖软件安装

1. maven（如果有可跳过）

tar -zxvf apache-maven-3.8.6-bin.tar.gz

2. snappy-1.1.1

tar -zxvf snappy-1.1.1.tar.gzcd snappy-1.1.1./autogen.sh./configuremake && make install
#查看是否成功
ll /usr/local/lib/ | grep snappy

3. protobuf-2.5.0

tar -zxvf protobuf-2.5.0.tar.gzcd protobuf-2.5.0./autogen.sh./configuremake && make installsudo ldconfig
#查看是否成功
protoc --version

4. hadoop-3.2.3

4.1. 解压
tar -zxvf hadoop-3.2.3-src.tar.gz
4.2. 配置环境变量
vim /etc/profile

#maven
export MAVEN_HOME=/data/test-hbase/apache-maven-3.8.6
export PATH=${MAVEN_HOME}/bin:$PATH
#java
export JAVA_HOME=/data/test-hbase/jdk1.8.0_202
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile
4.3. 编译生成hadoop-native-Libraries
cd hadoop-3.2.3-srcmvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

4.4. 进入hadoop-3.2.3-src/hadoop-dist/target/hadoop-3.2.3/lib/native目录，检查是否存在以下文件

4.5. 配置类库路径

注意路径

vim hbase-2.4.15/conf/hbase-env.sh

export HBASE_LIBRARY_PATH=/data/test-hbase/hadoop-3.2.3-src/hadoop-dist/target/hadoop-3.2.3/lib/native/
4.6. 配置启动检查（可选）

不配置不影响使用，配置的话hbase启动会检查配置的类库是否正确，如果不正确hbase直接启动失败，如果不配置，hbase可以正常启动，但是建表的时候如果本地类库不正确，也会报错。

vim hbase-2.4.15/conf/hbase-site.xml

<property><name>hbase.regionserver.codecs</name>                                                                                                                                                                                                  <value>snappy</value>
</property>

五、启动hbase

./hbase-2.4.15/bin/start-hbase.sh

六、测试

6.1. 启动hbase命令行
./hbase-2.4.15/bin/hbase shell
6.2. 建表
create 'snappyTest',{NAME=>'f',COMPRESSION => 'SNAPPY'};
6.3. 查看描述
describe 'snappyTest';
6.4. 添加数据
put 'snappyTest','rowKey','f:c','data-Valuejkasjdkfjaksjdkfjaskdjfkajskdfjaksdjfjskdf';
6.5 查询数据
scan 'snappyTest';


到此完成

单机hbase-2.4.15配置snappy压缩相关推荐

  1. Hadoop/HBase 配置snappy压缩

    Hadoop/HBase 开启snappy压缩 参考链接 hadoop-snappy Google Code snappy.compression hbase docs cnblogs参考资料 ins ...

  2. hadoopsnappy解压_Hadoop Snappy 压缩的安装和配置

    snappy是google的一个开源的压缩库,在合理的压缩率的前提下提供了提供了一个很高的压缩/解压的速度,利用单颗Intel Corei7处理器内核处理达到每秒处理250MB~500MB的数据流.s ...

  3. 【hbase】HBASE的安装与配置的步骤详解

    在开发中,HBASE的安装一般都是有相关人员安装与维护,这里只是学习的写笔记而已.     一.上传解压:将需要安装的jar包上传解压到指定目录.   二.修改配置:下图是需要修改的配置文件的内容 配 ...

  4. 安装hbas_非常详细的HBase的安装与配置

    本文讲述如何安装.部署 HBase 集群,以及如何通过命令行方式来完成 HBase 集群的启动和停止. 首先介绍部署 HBase 之前需要做的准备工作,如 Java.SSH 和 Hadoop 这些先决 ...

  5. HDFS和Spark配置LZO压缩，Spark读取LZO创建正常Task数量

    1.说明 为了解决,数据日益增长并且目前使用Snappy压缩导致的Spark读取时会出现OOM,并且处理起来速度过慢的问题,决定使用LZO+Index来解决问题. 线上Hadoop版本3.2.1,Sp ...

  6. Hadoop配置lzo压缩

    前言 OS:CentOS 7 hadoop:2.7.7 lzo:lzo-2.10 Apache Maven:3.6.0 JDK:1.8.0_221 hadoop-lzo是一个围绕lzo压缩算法实现的M ...

  7. Snappy压缩库安装和使用之一

     近日需要在毕业设计中引入一个压缩库,要求压缩与解压缩速度快,但是压缩率可以不那么苛刻.查找资料发现Google的snappy库比较合适,而且该库开源,由C++写成.所以就拿来使用一下,下面权作记 ...

  8. pc版最终幻想测试软件,最终幻想15配置检测工具

    最终幻想15配置检测工具是官方推出的一款系统配置检查工具.该软件可以为想要体验<最终幻想15>的玩家们提供专业可靠的配置跑分功能,帮助你了解电脑是否能够流畅运行游戏. [基本介绍]Nati ...

  9. 【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）

    Flink SQL 同步 Kafka 数据到 HDFS(parquet + snappy) 在上一篇文章中,我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 ...

最新文章

  1. Selenium启动不同浏览器
  2. 【C++】39. std::ofstream把程序中的中的变量值存储到文件中
  3. [javaweb] servlet处理请求参数中文乱码的问题
  4. Android 超高仿微信图片选择器 图片该这么加载
  5. C++基础-内存管理
  6. spring 自定义日志_Spring和Hibernate的自定义审核日志
  7. 工业交换机品牌选择时注意的事项介绍
  8. 【网站】一个空间放两个网站，且不用子目录绑定域名的方法
  9. Linux C enum
  10. Intel IPP密码库 IPPCP 2018——第一部分 基础开发指南
  11. 前端缓存之HTTP缓存（二）
  12. 【蓝桥杯嵌入式】关于CT117E下载程序出问题解决方案（含keil mdk4和keil mdk5移植）
  13. Icode编程＞＞＞图形化编程＞＞＞1级训练场＞＞＞基础训练【1】
  14. 软件质量模型的六大特性和27个子特性
  15. logback日志不打印到文件问题深入剖析
  16. 在 vscode 上刷力扣 Leetcode 可以这样来
  17. Hbuilder 真机运行显示未受信任的解决方法（ios）
  18. 空气开关A型、B型、C型、D型的区别
  19. 编程之美 1.3 一摞烙饼的排序
  20. yolov7 姿态识别-人体骨架-实时检测

热门文章

  1. linux上如何安装git
  2. 一个很好的JAVASCRIPT例子[转载]
  3. YTU 2914: xiaoping学构造函数
  4. 《碟中谍5》背后的生物识别技术大比拼
  5. Android Toast cancel和show深入浅出实战
  6. 关于图灵测试和中文房间的一些思考
  7. web自动化--python+selenium自动化
  8. 【题解】洛谷P3084 照片（差分约束）
  9. 一个创业者的心理独白，是美妆溪妍给了我希望
  10. 【信号处理】python按原理实现BPSK、QPSK、QAM信号调制