Hive文件格式（表stored as 的五种类型）

hive文件存储格式包括以下几类：

1、TEXTFILE

2、SEQUENCEFILE

3、RCFILE

4、ORCFILE(0.11以后出现)

5、PARQUET

1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；

SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用insert导入SequenceFile,RCFile,ORCFile,PARQUET表中；或者用复制表结构及数据的方式（create table as select * from table ）。

textfile

默认格式；

存储方式为行存储；

磁盘开销大数据解析开销大；

但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

2、sequencefile

二进制文件,以<key,value>的形式序列化到文件中；
存储方式：行存储；
可分割压缩；
一般选择block压缩；
优势是文件和Hadoop api中的mapfile是相互兼容的

3、refile

存储方式：数据按行分块每块按照列存储；
压缩快快速列存取；
读记录尽量涉及到的block最少；
读取需要的列只需要读取每个row group 的头部定义；
读取全量数据的操作性能可能比sequencefile没有明显的优势，

4、orcfile

存储方式：数据按行分块每块按照列存储；

压缩快快速列存取；

效率比rcfile高,是rcfile的改良版本。

5、parquet
类似于orc，相对于orc文件格式，hadoop生态系统中大部分工程都支持parquet文件。

Hive文件格式（表stored as 的五种类型）相关推荐

在Oracle中CHAR,NCHAR,VARCHAR,VARCHAR2,NVARCHAR2这五种类型的区别
[在Oracle中CHAR,NCHAR,VARCHAR,VARCHAR2,NVARCHAR2这五种类型的区别 ] 1.CHAR(size)和VARCHAR(size)的区别 CHAR为定长的字段,最 ...
StatsD 五种类型数据发送形式拟测试
statsd 五种类型数据发送形式拟测试 StatsD Metric Types Counting gorets:1|c This is a simple counter. Add 1 to the ...
做短视频可以选哪些领域？推荐五种类型短视频，选对方向很重要
做短视频可以选哪些领域?推荐五种类型短视频,选对方向很重要刚刚进入短视频行业的小伙伴们想必都在苦恼如何选择短视频领域,毕竟想要长久发展短视频的话,那么就必须要选对方向,按照选择好的方向一直走,才能够 ...
什么是通知？有哪五种类型的通知？
通知是个在方法执行前或执行后要做的动作,实际上是程序执行时要通过SpringAOP框架触发的代码段. Spring切面可以应用五种类型的通知: a.before:前置通知,在一个方法执行前被调用. b ...
什么内容的短视频可以吸引粉丝？分享五种类型短视频，供你选择
什么内容的短视频可以吸引粉丝?分享五种类型短视频,供你选择短视频的制作其实并不难,主要难点还是在于短视频的内容选题.引流等.那么今天我们就一起来着重的了解一下看什么内容的短视频可以吸引粉丝,这里简单 ...
linux下的文件可以分为哪五种类型,LINUX系统文件类型分类
使用LINUX过程中,时常会对文件进行操作.但是linux中文件究竟有哪些分类呢?今天让我们大家来总结一下吧! 概述: linux文件可以分为五种类型,分别为:普通文件.目录.字符设备或块设备.套接口 ...
vba九九乘法表代码_用五种方法利用EXCEL制作九九乘法表
昨天因贪玩了一下,一天都和同事在外面玩,计划就是这一天让自己啥也不做,一天玩下来,觉得好累,原来玩也是很累的.既然在外面放松了一天了,今天就把昨天的九九乘法表的制作方法给补上来.事实上九九乘法表的制作 ...
Oracle 索引扫描的五种类型
之前在讨论CBO和RBO的时候提到了索引扫描的几种类型. Oracle Optimizer CBO RBO http://blog.csdn.net/tianlesoftware/archive/20 ...
项目管理中项目评审的五种类型
项目管理过程中,项目评审可以为广泛的利益相关者服务,并发挥各种作用.因此,企业对最重要的项目进行几种不同类型的评审也就不足为奇了.本文将介绍五种常用的项目评审类型,每一种都各有侧重点. 1.项目评审 ...
python自带gui_Python GUI开发工具中五种类型的相关介绍
Python这一计算机语言不仅具有十分简捷的操作功能,它还具有十分快速的相关开发功能,此文主要向你介绍的是关于Python GUI开发工具在实际相关应用操作过程中的具体操作,以及这几种开发工具相关内容 ...

Hive文件格式（表stored as 的五种类型）

Hive文件格式（表stored as 的五种类型）相关推荐

最新文章

热门文章