springboot hbase

1.添加依赖

<hbase.version>2.2.4</hbase.version>

     <dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-shaded-client</artifactId><version>${hbase.version}</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.4</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.4</version></dependency><dependency><groupId>commons-beanutils</groupId><artifactId>commons-beanutils</artifactId><version>1.9.4</version></dependency>

2.配置信息

# database - hbase
datasource.hbase.zookeeper.quorum=192.169.9.225
datasource.hbase.zookeeper.port=22181
datasource.hbase.zookeeper.znode.parent=
datasource.hbase.table.myHbase=myHbase

设置预分区，能很好避免写入的时候会存在热点写的问题，同时不断的写入，hbase的region会自己进行split，这会消耗hbase的资源近而影响写入。

# 新建hbase表，我写入的数据是1-500000的循环写入
create 'myHbase','info' ,SPLITS=>['10','20','30','40']

3.hbaseConfig类

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Table;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.io.IOException;@Configuration
public class HBaseConfig {@Value("${datasource.hbase.zookeeper.quorum}")private String zookeeper;@Value("${datasource.hbase.zookeeper.znode.parent}")private String parent;@Value("${datasource.hbase.zookeeper.port}")private String port;@Value("${datasource.hbase.table.myHbase}")private String tableName;public Connection getConnection() throws IOException {org.apache.hadoop.conf.Configuration config = HBaseConfiguration.create();config.set("hbase.zookeeper.quorum", zookeeper);config.set("hbase.zookeeper.property.clientPort", port);if (parent != null && !"".equals(parent)) {config.set("zookeeper.znode.parent", parent);}Connection connection = ConnectionFactory.createConnection(config);return connection;}@Bean(name = "hbaseTable")public Table getHbaseTable() throws IOException {Connection connection = getConnection();Table table = connection.getTable(TableName.valueOf(tableName));return table;}}

4.使用

import com.test.dspriskadmin.dao.mysql.SdkUidMapper;
import lombok.val;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import java.io.IOException;
import java.util.*;@Service
public class SdkUidService {@Autowiredprivate SdkUidMapper sdkUidMapper;@Resource(name = "hbaseTable")private Table hbaseTable;public void insertSdkUidToHbase(){try {val sdkUIdList = sdkUidMapper.queryUidList();System.out.println(sdkUIdList);sdkUIdList.forEach(sdkUId -> {Put put = new Put(Bytes.toBytes(sdkUId.getUid().toString()));put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("uid"),Bytes.toBytes(sdkUId.getUid().toString()));try {hbaseTable.put(put);} catch (IOException e) {e.printStackTrace();}});hbaseTable.close();}catch (IOException e) {e.printStackTrace();}}
}

springboot hbase相关推荐

springboot+hbase 集成
项目中使用 phoenix 使用SQL 方式来操作Hbase 数据库,但是遇到一个是,SQL在Dbeaver 中查询速度还可以,但是使用phoenix+ibatis 后返回结果集数据量20w ,速度特 ...
springboot HBase操作工具类
JAVA_基础部分_综合篇
JVM (1) 基本概念: JVM是可运行Java代码的假想计算机 ,包括一套字节码指令集.一组寄存器.一个栈.一个垃圾回收,堆和一个存储方法域.JVM 是运行在操作系统之上的,它与硬件没有直接的 ...
springboot整合postgre和hbase实现互相交互功能
此项目是一个小测试,将postgre中的某些字段读取到hbase中变成某个表的列族,其中postgre和hbase已经在云服务器上建立好,用的docker技术,开放相应端口,并且win上用管道安全连接 ...
SpringBoot整合HBase将数据写入Docker中的HBase
在之前的项目里,docker容器中已经运行了HBase,现将API操作HBase实现数据的增删改查通过SpringBoot整合Hbase是一个很好的选择首先打开IDEA,创建项目(project) ...
springboot 整合hbase
前言作为大数据家族中的重要一员,在大数据以及海量数据存储方面,hbase具有重要的地方,本篇将从java对hbase的操作上,进行详细的说明: HBase 定义 HBase 是一种分布式.可扩展.支 ...
Hbase+Phoenix+Mybatis+Springboot整合查询数据
Phoenix Query Server提供了一种与Phoenix和HBase交互的替代方法.很快,这将允许从JVM以外的环境进行访问. 在4.x和5.0版本中,查询服务器及其JDBC客户端是标准Ph ...
Springboot集成Hadoop+Hbase实现企业能源消耗监测大数据分析系统
企业硬件设备较多,不利于快速发现设备故障及能源消耗异常.依托于hadoop.hbase搭建大数据分析平台,采用Springboot开发框架搭建一套完善的企业能源监控检测数据分析可视化平台.本次毕设程序 ...
SpringBoot 使用Phoenix操作HBase数据库教程
SpringBoot 使用Phoenix操作HBase数据库教程文章目录添加 Phoenix 相关依赖控制器实现Hbase数据库操作好的html源码下载文章目录借助 Apache Phoe ...

springboot hbase

1.添加依赖

2.配置信息

3.hbaseConfig类

4.使用

springboot hbase相关推荐

最新文章

热门文章