创建Hive外部表，关联HDFS文件

适用于HDFS中存放结构化数据的场景，

先建一张外部表

CREATE EXTERNAL TABLE IF NOT EXISTS `ds_smart_log_idmapping`(`id` string COMMENT '包含wimei、wuser、telep、dimei和idfa', `ffaid` string COMMENT 'ffaidXXX',`timeStamp` string COMMENT '时间戳，用于聚合3-90d粒度数据')
COMMENT 'smart项目 ds层idmapping历史全量数据表'
PARTITIONED BY ( `dt` string COMMENT '日期yyyymmdd')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

然后关联HDFS数据

alter table wbdb.ds_smart_log_idmapping add IF NOT EXISTS partition (dt="20190816") location 'viewfs://XXXXX/20190816';

这样就将HDFS上的结构化数据，导入外部表，可以直接通过sql语句来查询。

ps：建外部表，关联HDFS文件也有其他方式，但测试后发现这种方式最靠谱。

创建Hive外部表，关联HDFS文件相关推荐

Hive 外部表关联分区数据
0. 说明已经安装好Hadoop和hive环境,hive把元数据存储在mysql数据库.这里仅讨论外部表和HDFS的关联,并且删掉外部表之后,对HDFS上的文件没有影响. 1. 在HDFS创建分区, ...
Hive 外部表的练习(多表关联查询,以及分组,子查询)
Hive 外部表的练习 hive创建库和表操作 hive加载数据,4种发放 1.数据放在Linux创建表结构进行加载 2.先定义表结构.将一个查询select语句结果插入到表中 3.数据先放在hdf ...
hive创建hbase外部表
hive 启动命令:$HIVE_HOME/bin/hive hive 创建hbase外部表: ihr_pes为hive表名: CREATE EXTERNAL TABLE ihr_pes( id str ...
hive外部表改为内部表_hive内部表外部表介绍
未被external修饰的是内部表(managed table),被external修饰的为外部表(external table): 区别: 内部表数据由Hive自身管理,外部表数据由HDFS管理: ...
hive外部表/内部表路径知识点
1.hive创建外部表或者管理表是指定的位置信息是数据路径: create external table location '/user/externalhive/location/dir' 这里只定 ...
hive外部表改为内部表_3000字揭秘Greenplum的外部数据加载——外部表
外部表是greenplum的一种数据表,它与普通表不同的地方是:外部表是用来访问存储在greenplum数据库之外的数据.如普通表一样,可使用SQL对外部表进行查询和插入操作.外部表主要用于Green ...
hive 外部表不支持添加列
hive 外部表不支持添加列其实在之前我也不知道,在官网上面也没有看到在操作的时候才发现的 alter table hbase_fct_mcht_item_day add columns(avg_ ...
SQL Server 2017 SELECT…INTO 创建的新表指定到文件组
SQL Server 2017 SELECT-INTO 创建的新表指定到文件组原文:SQL Server 2017 SELECT-INTO 创建的新表指定到文件组 SELECT-INTO 在 SQL ...
spark如何正确的删除hive外部表【删除表时同时删除hdfs上的数据】？
在spark 2.4.x和hive 3.1.x环境下,spark通过sql (drop table xxx)删除hive的外部表,只能删除hive的元数据信息,但没有删除hdfs上的数据,导致hdfs ...

创建Hive外部表，关联HDFS文件

创建Hive外部表，关联HDFS文件相关推荐

最新文章

热门文章