hdfs orc格式_hive中orc格式表的数据导入

Hive系列文章

hive创建orc格式表不能像textfile格式一样直接load数据到表中，需要创建临时textfile表，然后通过insert into 或者insert overwrite到orc存储格式表中。

如果你直接load数据到orc格式表中，这个步骤可以成功，但是会发现select * from table limit 1;这个语句都会报错，也就是说直接load数据是不可行的。对于hive中orc格式表可以参见：大数据：Hive - ORC 文件存储格式

1)、创建表

需要创建临时表和数据表。

临时表

create table if not exists db.tmp

(

name string,

age int

)

partitioned by (dt string, hour string, msgtype string, action string)

row format delimited fields terminated by '\t';

数据表

create external table if not exists db.people

(

name string,

age int

)

partitioned by (dt string, hour string, msgtype string, action string)

row format delimited fields terminated by '\t'

stored as orc;

2)、导入数据

需要先用load命令将数据导入textfile格式表，然后再通过insert into插入orc格式表。

(1) 导入数据到textfile

load data inpath 'hdfs://path' into table db.tmp partition(dt="2018-06-22",hour="00",msgtype="web", action="click");

(2)查询数据插入orc格式表

insert into db.people partition(dt="2018-06-22",hour="00",msgtype="web", action="click")

select name,age

from db.tmp where dt = "2018-06-22" and hour = "00"

and msgtype = "web" and action = "click";

关注公众号：Java大数据与数据仓库，学习大数据技术。

喜欢 (0)or分享 (0)

hdfs orc格式_hive中orc格式表的数据导入相关推荐

php中怎么连接数据库中的表,php 连接 excel表格数据库数据-php中如何将execl的数据导入到数据库中...
php中如何将execl的数据导入到数据库中 php导出大量数据的Excel: PHP从数据库分多次读取100万行记录,和分多次将100万行写入文本文件都没问题 Excel可以支持100万行记录,Ex ...
关于使用java程序从excel或者数据库中取出建表规则数据，自动生成数据库建表语句（适用于批量建数据库表）
公司开发新系统,需要创建几百个数据库表,建表的规则已经写好放到Excel中,如果手动创建的话需要占用较长的时间去做,而且字段类型的规则又被放到了另一张表,如果手动去一个一个去匹配就很麻烦,所以我先把两 ...
MySql中把一个表的数据插入到另一个表中的实现代码--转
MySql中把一个表的数据插入到另一个表中的实现代码司的一个项目,做报表--要关联的表结构比较多,最后决定把要用的数据集合到一张新表中,需要用到以下的sql语法......分享下: web开发中,我 ...
同时删除两张表的数据_把数据表中对应工作表的数据首先删除，然后导入数据...
大家好,我们今日继续讲解VBA数据库解决方案的第28讲内容:利用VBA,把数据表中对应工作表的数据首先删除,然后向数据表中导入工作表数据.数据库的讲解已经持续一段时间了,从对简单数据库的认识到利用VB ...
Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出（强烈建议去看）（十八）...
把MySQL里的数据导入到HDFS 1.使用MySQL工具手工导入把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句. 为了导出整个数据表或整个数据库的内容,MyS ...
hive：建库建表、表分区、内部表外部表、数据导入导出
hive建库建表与数据导入建库 hive中有一个默认的库: 库名: default 库目录:hdfs://hdp20-01:9000/user/hive/warehouse 新建库: create ...
php如何导入数据,““php中如何将execl的数据导入到数据库中
php中如何将execl的数据导入到数据库中 1.使用PHP Excel Parser Pro,但是这个软件为收费软件: 2.可EXCEL表保存为CSV,然后通过phpmyadmin或者SQLyog导 ...
php使用excel表格数据库数据,php使用excel表格数据库数据库-php中如何将execl的数据导入到数据库中...
php中如何将execl的数据导入到数据库中 1.使用PHP Excel Parser Pro软件,但是这件为收费软件: 2.可将EXCEL表保CSV,然后通过 phpmyadmin 或者SQLyog ...
MySql表以及数据导入导出
2019独角兽企业重金招聘Python工程师标准>>> 导出: 1.进到mysql安装目录的bin下 2.mysqldump -uroot -pXXX db_pertax >t ...

hdfs orc格式_hive中orc格式表的数据导入

hdfs orc格式_hive中orc格式表的数据导入相关推荐

最新文章

热门文章