springboot+hbase 集成

项目中使用 phoenix 使用SQL 方式来操作Hbase 数据库，但是遇到一个是，SQL在Dbeaver 中查询速度还可以，但是使用phoenix+ibatis 后返回结果集数据量20w ，速度特别慢，先是考虑用redis方式缓存，但是内存有限，想着是用，hbase直连的方式，测试一下解决一下，

一：简介
hbase-client是HBase提供的一套比较底层的API，在实际使用时需要对其进行封装，提供更好用的api给用户。

操作hbase的客户端有以下几种方式：

hbase-client 比较底层，需要自己进一步封装api，而且版本号和安装的hbase也要匹配，否则会报错
spring-data-hadoop 2019年4月5停止维护
Apache Phoenix 使用SQL的方式来操作HBase

下面是springboot+ hbase-client方式

注意！需要去掉slf4j和log4j jar 否则会报相应的错误：pom.xml 引入

<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>2.1.3</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion><exclusion><groupId>log4j</groupId><artifactId>log4j</artifactId></exclusion></exclusions></dependency>

注意!hbase application.yml 设置: hbase.zookeeper.znode 更正为hbase.zookeeper.parent

hbase:config:hbase.zookeeper.quorum: 127.0.0.1hbase.zookeeper.port: 2181hbase.zookeeper.parent: /hbasehbase.client.keyvalue.maxsize: 1572864000

hbase.zookeeper.parent的作用:

Zookeeper作用在于：

1、hbase regionserver向zookeeper注册，提供hbase regionserver状态信息（是否在线）。

2、hmaster启动时候会将hbase系统表-ROOT-加载到zookeeper cluster，通过zookeeper cluster可以获取当前系统表.META.的存储所对应的regionserver信息。

zookeeper是hbase集群的"协调器"。由于zookeeper的轻量级特性，因此我们可以将多个hbase集群共用一个zookeeper集群，以节约大量的服务器。多个hbase集群共用zookeeper集群的方法是使用同一组ip，修改不同hbase集群的"zookeeper.znode.parent"属性，让它们使用不同的根目录。比如cluster1使用/hbase-c1,cluster2使用/hbase-c2，等等。

HMaster主要作用在于，通过HMaster维护系统表-ROOT-,.META.，记录regionserver所对应region变化信息。此外还负责监控处理当前hbase cluster中regionserver状态变化信息。

hbase regionserver则用于多个/单个维护region。

region则对应为hbase数据表的表分区数据维护。

参考:https://www.cnblogs.com/cxzdy/p/5369187.html

https://www.jianshu.com/p/67a817a157ee

项目搭建参考如下:

https://blog.csdn.net/vbirdbest/article/details/88410954

3. hbase API 建议参考:

https://www.cnblogs.com/frankdeng/p/9310209.html

4.hbase 基本的JavaApi 数据操作及数据过滤（filter）

https://www.cnblogs.com/frankdeng/p/9310262.html

https://www.cnblogs.com/asker009/p/10626508.html

springboot+hbase 集成相关推荐

springboot项目集成dolphinscheduler调度器实现datax数据同步任务
Datax安装及基本使用请查看上一篇文章: 文章目录 Datax概述 1.概述 2.功能清单 3.==说明==:本项目只支持mysql及hbase之间的数据同步代码模块配置文件 pom.xml D ...
springboot项目集成docker
文章目录一.docker常用命令 0.拉取镜像到本地仓库 1.查看所有镜像 2.创建一个新的容器并运行,返回的是容器的ID -- CONTAINER ID: 3.查看运行中的docker实例 4.查 ...
springboot的jsp应该放在哪_在springboot中集成jsp开发
springboot就是一个升级版的spring.它可以极大的简化xml配置文件,可以采用全注解形式开发,一个字就是很牛. 在springboot想要使用jsp开发,需要集成jsp,在springbo ...
springboot+mybatis集成自定义缓存ehcache用法笔记
今天小编给大家整理了springboot+mybatis集成自定义缓存ehcache用法笔记,希望对大家能有所办帮助! 一.ehcache介绍 EhCache 是一个纯Java的进程内缓存管理框架,属 ...
Springboot/Cloud集成Sentinel 和入门实战
文章目录一.Springboot/Cloud集成Sentinel 1. spring-cloud-alibaba依赖 2. 引入 Sentinel starter 3. 配置application. ...
springboot nacos_springboot集成nacos
1.现在nacos进行配置添加 2.springboot项目集成nacos nacos上有说明,根据不同的工程进行配置,如下图集成nacos客户端包 com.alibaba.boot nacos-c ...
SpringBoot 2 集成微信扫码支付
前言该文主要是手把手教你如何在SpringBoot 中集成微信扫码支付,以及集成的过程需要注意的问题事项.另外需要感谢 vbirdbest 关于微信支付和支付宝支付相关包博客总结.因为文中很多地方参 ...
MyBatis系列之--Java 项目（非SpringBoot）集成MyBatis
MyBatis系列之--Java 项目(非SpringBoot)集成MyBatis 对MyBatis简单介绍核心接口SqlSessionFactory 实战 1. Maven创建Java项目 2. ...
springboot项目集成大数据第三方dolphinscheduler调度器
文章目录摘要项目背景功能要求功能说明 1.1用例图 1.2业务流程分析 1.3业务ER图 1.4 管理任务流程图 1.5功能设计详细说明点 1.6页面原型三.本人相关其他文章链接摘要 ①d ...

springboot+hbase 集成

hbase.zookeeper.parent的作用:

springboot+hbase 集成相关推荐

最新文章

热门文章