hyperbase官方简介:

Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上,融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。

个人总结:

hyperbase是基于开源hbase+hive的体系结构,融合了全局索引、全文索引,加入了自己的序列化反序列化编码格式,集成在星环的一站式大数据平台TDH上,对sql的支持度更加友好,底层依然是依托于开源的hbase,目前最新的星环大数据平台版本中使用的是开源的hbase1.3.1版本

hyperbase支持两种表结构:

hyperbase表(对应开源,建表语法和开源类似)

基于开源Hive HBaseStorageHandler研发,本身设计比较简单,Hyperbase底层不存储表的schema信息,数据的序列化反序列化依赖于上层Hive。这造成了很多功能和性能上的问题,例如:null值与空字符串的区分,SQL执行计划的优化等。因此在与Inceptor配合使用的情况下不推荐使用Hyperbase表。只有一种场景比较适合:在Hyperbase中已存在一张表,需要通过Inceptor的外表功能进行对接。这样保证了Inceptor对原生Hyperbase表的访问功能。

创建内表

create table hbase_inner_table(

key1 string,

bi bigint,

dc decimal(10,2),

ch varchar(10),

ts timestamp,

en string

)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler';

创建外表

CREATE EXTERNAL TABLE hbase_external_table(

key1 string,

ex1 double,

ex3 date,

ex5 string

)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,f:q1,f:q4,f:q5") TBLPROPERTIES ("hbase.table.name"="test.hbase_inner_table");

hyperdrive表(星环自研)

为了解决Hyperbase表的一些设计缺陷,星环科技自主研发了Hyperdrive表,去除了开源Hive HBaseStorageHandler的设计,并增加了新的功能,使其能更高效地通过Inceptor访问存储在Hyperbase中的数据。

在底层Hyperbase中加入表的schema信息,数据存储压缩率更高,序列化/反序列化更高效。数据类型支持BOOLEAN、TINYINT、SMALLINT、INTEGER、BIGINT、DATE、TIMESTAMP、DECIMAL、FLOAT、DOUBLE、STRING、VARCHAR、STRUCT、BINARY等多种类型。

对接Inceptor通用的存储访问层Stargate,可以支持完整的Filter转换下推、Global Lookup Join等特性,显著提升SQL性能。

{elasticsearch}语法对接,不需要再使用以前的那套contains语句了,直接使用现有的条件即可。=、、in、like、between and、not in、!=等对应的语句即可。

可以通过指定使用索引的方式使用对应的索引(i.e. hint)

支持 NULL值占位符,可正确表达NULL值

只支持建内表

CREATE TABLE bank_info(

acc_num STRING,

name STRING,

password STRING,

email STRING,

cellphone STRING,

balance DOUBLE

)STORED AS HYPERDRIVE;

hbase hyperbase 区别_星环hyperbase和开源hbase的那些事相关推荐

  1. hbase hyperbase 区别_大数据之HBase的几个常规性问题

    本文主要针对对HBase不了解的人.主要想基于个人的理解回答以下几个问题: 什么是HBase? 何时用HBase? 与Hive.Pig的区别? HBase的结构 为何HBase速度很快? HBase常 ...

  2. 面试题字符集和编码区别_您和理想工作之间的一件事-编码面试!

    面试题字符集和编码区别 A recruiter calls you for a position with your dream company. You get extremely excited ...

  3. 星环科技的“星图解密”:只有偏执狂,才能让中国基础软件打破对国外进口的依赖...

    "[报名]数据猿年度精彩活动推荐:访谈调研+企业盘点+榜奖峰会,与数据猿共筑2021 大数据产业创新服务媒体 --聚焦数据 · 改变商业 孙元浩是个<三体>迷. 在<三体& ...

  4. 关于星环TDH产品的Java通过Kerberos安全认证连接hyperbase

    博主是Java实习生最近在做关于星环大数据方面的工作,碰到一些问题,费了很大的劲才搞通,记录一下,希望可以帮到大家. Kerberos 术语 Kerberos 中有以下一些概念需要了解: 1)KDC( ...

  5. 星环科技TDH多模型统一架构VS CDH架构

    CDH是Cloudera的开源平台发行版,通过将Hadoop与其他十几个开源项目集成,为企业大数据业务提供服务. 在CDH开源大数据方案中,是通过多个互相独立的组件提供相应的能力,每个场景需要一个组件 ...

  6. CDH迁移 | 教你三步实现CDH迁移到星环TDH

    Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层 ...

  7. 美创科技与星环科技大数据平台完成兼容互认证!

    近日,杭州美创科技有限公司(简称:美创科技)旗下数据脱敏产品与星环信息科技(上海)有限公司旗下星环大数据平台TDH完成产品兼容互认证.测试结果显示,双方产品相互兼容,可以顺利安装.配置,整体运行稳定, ...

  8. 【观察】打造中国基础软件新名片,星环科技创新与超越之路

    申耀的科技观察 读懂科技,赢取未来! 我们知道,随着大数据.云计算.人工智能等新技术的蓬勃发展,三者之间的技术边界变得越来越模糊,三类技术也在相互影响并不断融合. 在此背景下,定位于提供大数据和人工智 ...

  9. 基于星环科技大数据平台 辽宁城市建设职业技术学院打造智慧校园

    当今世界,发展职业教育已经成为各国应对危机.促进就业.迎接新工业革命挑战的共同行动.同时数字化技术的快速发展,改变着学习和教育,将成为职业教育系统整体改革与创新发展的战略选择. 星环科技与北京点为信息 ...

最新文章

  1. 本科生连发数篇SCI,你的第一篇SCI发表了吗?
  2. 网络编程学习笔记(批量输入)
  3. 【错误记录】Flutter 混合开发报错 ( java.nio.file.FileSystemException: xxx/R.jar: 另一个程序正在使用此文件,进程无法访问。 )
  4. 【机器学习】聚类代码练习
  5. C++ Q16: dereferencing
  6. Redis的过期机制
  7. 蚂蚁保护板_南京文明施工规范装修公司哪家好 红蚂蚁装饰标准施工分享你
  8. IPv4和IPv6有什么异同?
  9. pca各个向量之间的相关度_PCA算法原理及实现
  10. MacOS新版本,不能装老版本Xcode
  11. 使用Windows Embedded Source Tools for Bluetooth Technology简化蓝牙开发
  12. ESP32-S3 USB UART 下载总结
  13. 谷歌翻译 翻译文档爬虫
  14. mysql的month_MySQL MONTH()用法及代码示例
  15. H3C设备组网故障之广播风暴篇
  16. sqlite只能用于android系统,android SQLite
  17. 3:STM32CubeMX配置STM32F103C8T6驱动-RTC驱动
  18. 链表的有序集合(java)
  19. 小甲鱼零基础python 魔法方法之 算数运算1(P43)
  20. GBA 开发简单入门

热门文章

  1. laravel mysql 悲观锁_浅析乐观锁与悲观锁
  2. 【Android】锁屏/熄屏之后,与蓝牙设备的连接就会自动断开
  3. vue.js:父组件和子组件
  4. 产品经理知识体系学习与实践指南
  5. fpga配置过程(转载)
  6. 德国基尔大学 计算机系,德国基尔大学强大的学术能力介绍
  7. 数钱游戏——聪明的放弃
  8. 我为什么会性格内向,能不能内向性格?
  9. 电大 专科 计算机应用,2015春中央电大计算机应用基础(专科)平时作业(3)
  10. python基于卷积神经的车牌识别系统