hive与hbase集成

环境:

hadoop2.7.7

hive3.1.0

hbase2.0.2

1.jar包拷贝(之所以用这种方式,是因为这种方式最为稳妥,最开始用的软连接的方式,总是却少jar包)到hive的lib目录下删除所有hbase相关的jar

rm -rf hbase-*.jar

接着从hbase的lib目录下拷贝所有的hbase相关jar

cp -a hbasehome/lib/hbase-*.jar ./

zookeeper相关的jar也要进行替换

2.在hive的hive-site.xml中添加zk的相关配置

 1  <property>
 2   <name>hive.zookeeper.quorum</name>
 3   <value>hadoop002,hadoop003,hadoop004</value>
 4   <description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
 5 </property>
 6 <property>
 7   <name>hive.zookeeper.client.port</name>
 8   <value>2181</value>
 9   <description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
10 </property>

3.在hive中创建表,执行完建表语句后,会在hbase生成对应的hbase_emp_table表,但是这种表是non-native table类型的表,无法被truncate,也无法使用load加载数据

 1 CREATE TABLE hive_hbase_emp_table(
 2 empno int,
 3 ename string,
 4 job string,
 5 mgr int,
 6 hiredate string,
 7 sal double,
 8 comm double,
 9 deptno int)
10 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
11 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
12 TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

4.插入数据

上面说了无法通过load加载数据,所以借助临时表进行insert,已提前创建了emp表.并插入了数据

empno对应hbase_emp_table的行键,不能为null

insert into table hive_hbase_emp_table select * from emp where empno is not null;

5.之后分别在hive和hbase查询数据即可

6.无法创建新的管理表与hbase_emp_table关联,只能通过创建外部表的方式与hbase_emp_table进行关联

转载于:https://www.cnblogs.com/tele-share/p/9984903.html

hive与hbase集成相关推荐

【华为云技术分享】如何整合hive和hbase
引言为什么要集成Hive和HBase Hive和Hbase在大数据架构中处在不同位置,Hive是一个构建在Hadoop基础之上的数据仓库,主要解决分布式存储的大数据处理和计算问题,Hive提供了类 ...
Hive on Hbase
Hive on Hbase Hive on Hbase介绍 Hive on Hbase 配置 Hive on Hbase 实现 Hive on Hbase介绍功能:实现Hive与Hbase集成,使用 ...
HBase集成Hive详解
目录一.HBase与Hive的对比二.HBase整合Hive配置三.需求一:将Hive表当中分析的结果保存到HBase表四.需求二:创建Hive外部表,映射HBase当中已有的表模型 Hive ...
Hive和HBase
一.两者的定义 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,它的本质就是将SQL语句转换为MapReduce任务进行运行. HB ...
Hive 整合Hbase(来自学习资料--博学谷)
1.摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询.同时也可以将hive表中的数据映射到Hbase中. 2.应用 ...
Hadoop Hive与Hbase关系整合
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询.hive也即做数据仓库 1. 基于Ha ...
Hive vs HBase （配合使用才是最佳方案）
前言 Hive和HBase是Hadoop生态圈两个非常重要的技术,但对于初学者很容易进行混淆,因此这里做一个简单的总结,希望能帮助大家缕出一条比较清晰的思路一句话概括 Hive是数据仓库,用来分析H ...
HBase 集成 Phoenix 构建二级索引实践
Phoenix 在 HBase 生态系统中占据了非常重要的地位,本文主要包括以下几方面内容: Phoenix 介绍 CDH HBase 集成 Phoenix 使用 Phoenix 创建 HBase 二 ...
hive删除hbase数据_Hive进阶：Hive通过外部表操作Hbase数据
概述: HBase: 查询效率比较高,常为实时业务提供服务,但是其查询方式比较单一,只能通过row方式get单条数据,或者通过scan加过滤器的方式扫描数据表获取数据. Hive: hive用来存储结 ...

hive与hbase集成

hive与hbase集成相关推荐

最新文章

热门文章