CHD的impala实现hive和hbase数据查询

cdh版本安装spark-sql比较复杂，cdh主推impala，可以方便进行查询

启动命令：impala-shell

可以直接进行hive操作。

impala查询hbase，需要进行映射

CREATE EXTERNAL TABLE tiger.test_info(--指定库名和表名
user_id string, --字段
user_type tinyint,--字段
gender string,--字段
birthday string)--字段
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe' --固定格式
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'--固定格式
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, info:user_type, info:gender, info:birthday")--映射关系，主键以及其他字段
TBLPROPERTIES("hbase.table.name" = "test_info");--指定hbase表名

然后在impala执行，INVALIDATE METADATA;同步元数据，即可进行查询。

impala jdbc:

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class ImpalaJDBC {private static final String SQL_STATEMENT = "SELECT * FROM tiger.test_info ";private static final String IMPALAD_HOST = "172.**.**.**";private static final String IMPALAD_JDBC_PORT = "21050";private static final String CONNECTION_URL = "jdbc:hive2://" + IMPALAD_HOST + ':' + IMPALAD_JDBC_PORT + "/;auth=noSasl";private static final String JDBC_DRIVER_NAME = "org.apache.hive.jdbc.HiveDriver";public static void main(String[] args) {System.out.println("Cloudera Impala JDBC Example");System.out.println("Using Connection URL: " + CONNECTION_URL);System.out.println("Running Query: " + SQL_STATEMENT);Connection con = null;try {Class.forName(JDBC_DRIVER_NAME);con = DriverManager.getConnection(CONNECTION_URL,"liupeijin","");--用户名Statement stmt = con.createStatement();ResultSet rs = stmt.executeQuery(SQL_STATEMENT);System.out.println("Begin Query Results");while (rs.next()) {System.out.println(rs.getString(1));}System.out.println("End Query Results");} catch (SQLException e) {e.printStackTrace();} catch (Exception e) {e.printStackTrace();} finally {try {con.close();} catch (Exception e) {}}}

CHD的impala实现hive和hbase数据查询相关推荐

Impala之加载HBase数据
Impala如何加载HBase数据?本文将为大家进行详细介绍Impala加载HBase数据的步骤. 第一步:HBase创建表(或选择已有表) HBase shell命令行执行命令: create 'i ...
hive和hbase数据迁移
数据迁移文章目录数据迁移一.数据分析 1. Hive数据分析 2. Hbase数据分析 3. Kudu数据分析二.数据迁移设 1. Hive数据迁移设计 2. Hbase数据迁移设计 3. K ...
hive删除hbase数据_Hive进阶：Hive通过外部表操作Hbase数据
概述: HBase: 查询效率比较高,常为实时业务提供服务,但是其查询方式比较单一,只能通过row方式get单条数据,或者通过scan加过滤器的方式扫描数据表获取数据. Hive: hive用来存储结 ...
Hive与Hbase数据表关联
一.简单介绍 hive的元数据保存在metastore里面,真实的数据一般位于hdfs中,可以通过hql来对数据进行分析.hbase中的数据也是存放在hdfs上的,可不可以使用hive来分析hbase ...
hive删除hbase数据_Hive数据导入Hbase
方案一:Hive关联HBase表方式适用场景:数据量不大4T以下(走hbase的api导入数据) 一.hbase表不存在的情况创建hive表hive_hbase_table映射hbase表hbas ...
hbase-admin：一款简陋的hbase数据查询工具（支持2.2.6）
https://gitee.com/aiwoyiqizou/hbase-admin.git
[转]impala操作hive数据实例
https://blog.csdn.net/wiborgite/article/details/78813342 背景说明: 基于CHD quick VM环境,在一个VM中同时包含了HDFS.YARN ...
impala操作hive数据实例
背景说明: 基于CHD quick VM环境,在一个VM中同时包含了HDFS.YARN.HBase.Hive.Impala等组件. 本文将一个文本数据从HDFS加载到Hive,同步元数据后,在Impa ...
大数据计算引擎：impala对比hive
目录 Impala与Hive的异同数据存储元数据 SQL解释处理执行计划: 数据流: 内存使用: 调度: 容错: 适用面: Impala相对于Hive所使用的优化技术 Impala的优缺点 Im ...
Impala与Hive的比较
2019独角兽企业重金招聘Python工程师标准>>> 1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL ...

CHD的impala实现hive和hbase数据查询

CHD的impala实现hive和hbase数据查询相关推荐

最新文章

热门文章