existed hive ods_hive外部表

hive上层数据使用外部表操作说明

例如：使用ods.ods_o_test数据分区为dt=20170810/hour=00数据为例创建work.fz_ods_o_test

1.首先通过hadoop命令确定hdfs路径

hadoop fs -ls /user/hive/warehouse/ods.db/ods_o_test/dt=20170810/hour=00

ps:

a. /user/hive/warehouse/恒定

b. ods.db为库名+.db组成

c. ods_o_test直接为表名

d. 分区dt=20170810/hour=00

2.通过show create table命令查询出ods_o_test表表结构

hive> show create table ods.ods_o_test;

CREATE TABLE `ods.ods_o_test`(

`test` string COMMENT 'test'

)

COMMENT 'test'

PARTITIONED BY (

`dt` string,

`hour` string)

ROW FORMAT SERDE

'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

WITH SERDEPROPERTIES (

'field.delim'='|',

'serialization.format'='|')

STORED AS INPUTFORMAT

'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION

'hdfs://nameservice1/user/hive/warehouse/ods.db/ods_o_test'

TBLPROPERTIES (

'transient_lastDdlTime'='1501132081')

Time taken: 0.335 seconds, Fetched: 100 row(s)

hive>

3.创建外部表，这里使用到刚刚查询到的表结构的字段信息

语法：

create external TABLE 表名(

字段字段类型等

)

location '指定hdfs文件路径';

示例：

create external TABLE work.fz_ods_o_test(

`test` string COMMENT 'test')

row format delimited

fields terminated by '|'

location '/user/hive/warehouse/ods.db/ods_o_test/dt=20170810/hour=00'

;

ps1:

建外部表如果使用到分区指定location必须到/user/hive/warehouse/ods.db/ods_o_test

ps2:

在使用的时候注意下需要指定数据的分割符，不然会出现无法查询到数据的情况

ps3：

ods层的外部表请务必不要innsert 数据

ps4:

不能在ods层创建外部表

existed hive ods_hive外部表相关推荐

Hive中外部表的alter与drop操作的最低权限要求
Hive中外部表的alter与drop操作的最低权限要求: 操作类型目录权限数据权限 alter(如修改location) Read .write 0 Drop Read 0 Select Rea ...
Hive创建外部表详细步骤
Hive创建外部表详细步骤一.创建外部表二.hdfs建立文件夹存放数据三.准备数据四.上传数据到HDFS目录五.Hive表关联文件得到数据六.查询数据一.创建外部表 create ext ...
hive删除hbase数据_Hive进阶：Hive通过外部表操作Hbase数据
概述: HBase: 查询效率比较高,常为实时业务提供服务,但是其查询方式比较单一,只能通过row方式get单条数据,或者通过scan加过滤器的方式扫描数据表获取数据. Hive: hive用来存储结 ...
Hadoop Hive创建外部表及多表join操作
hive在drop内部表时会将数据一并删除,但在drop外部表时不会
【原创】大叔经验分享（25）hive通过外部表读写hbase数据
在hive中创建外部表: CREATE EXTERNAL TABLE hive_hbase_table( key string, name string, desc string ) STORED B ...
2.5 Hive中外部表的讲解
一.外部表 1.hive中表的类型管理表托管表(外部表) #内部表 >内部表也称之为MANAGED_TABLE: >默认存储在/user/hive/warehouse下,也可以通过lo ...
oracle 外部表时间戳,Hive建立外部表与时间戳转换（含建dual表，修改列名，row_number() 函数等）...
建外部表,之前hadoop职位统计就是这么做的 hive> drop table job; OK Time taken: 5.446 seconds hive> show tables; ...
hive 创建外部表产生java_（一）Hive表（管理表、外部表）的创建规则
建表语句: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...
Hive创建外部表以及分区
创建带分区的外部表创建外部表的优点是数据能够随时从hdfs中挂载进表中使用分区的优点是能够缩短查询范围以下的样例展示了怎样创建外部表 CREATE EXTERNAL TABLE my_daily ...
hive 创建外部表
创建外部表,PARQUET格式,以文件日期作为PARTITION分区 create external table if not exists TABLE_NAME ( serverReceiveTim ...

existed hive ods_hive外部表

existed hive ods_hive外部表相关推荐

最新文章

热门文章