Hive 存储格式入门

存储格式

hive的存储格式分为两大类：一类纯文本文件，一类是二进制文件存储。

第一类：纯文本文件存储
textfile: 纯文本文件存储格式，不压缩，也是hive的默认存储格式，磁盘开销大，数据解析开销大

第二类：二进制文件存储

sequencefile:
会压缩，不能使用load方式加载数据
parquet:
会压缩，不能使用load方式加载数据
rcfile:
会压缩，不能load。查询性能高，写操作慢，所需内存大，计算量大。此格式为行列混合存储，hive在该格式
下，会尽量将附近的行和列的块存储到一起。
orcfile:rcfile的升级版

存储格式的配置项

<property><name>hive.default.fileformat</name><value>TextFile</value><description>Expects one of [textfile, sequencefile, rcfile, orc].Default file format for CREATE TABLE statement. Users can explicitly override it by CREATE TABLE ... STORED AS [FORMAT]</description>
</property>

hiev默认用的是TextFile,就是说不压缩

hive> set hive.default.fileformat;
hive.default.fileformat=TextFile

案例

保存为rcfile测试

create table emptest
(empno    int,ename    string,job      string,mgr      int,hiredate date,sal      double,comm     double,deptno   int
)row format delimitedfields terminated by ','stored as rcfile;

插入数据

insert into emptest
select * from emp;

之后可以进行查询,也可以去hdfs上查看一下,这个是没有后缀名的,看不出是rcfile.但是可以下载后用notepad打开,看一下

确认是rcfile格式,大小250B

保存为textFile测试

create table emptest1
(empno    int,ename    string,job      string,mgr      int,hiredate date,sal      double,comm     double,deptno   int
)row format delimitedfields terminated by ','stored as textfile;
insert into emptest1 select * from emp;

总结

hive不止可以保存成textfile格式,可以根据需求选择

Hive 存储格式入门相关推荐

Hive从入门到放弃——HiveQL表级别DDL设计的艺术性（五）
HiveQL数据库中的表DDL操作博客Hive从入门到放弃--HiveQL数据库级别DDL设计的艺术性(四)聊完了数据库的基本操作,我们再来聊聊Hive内表的操作. 创建表官方推荐建表的结 ...
Hive 快速入门(全面)
转载: https://www.codercto.com/a/5110.html 前言我写这篇文章的目的是尽可能全面地对Hive进行入门介绍,这篇文章是基于hive-1.0.0版本介绍的,这个版本的 ...
hadoop hive hbase 入门学习 (二)
hadoop 自学系列 hadoop hive hbase 入门学习 (一) hadoop安装.hdfs学习及mapreduce学习 hadoop 软件下载 (hadoo ...
试图加载格式不正确的程序_好程序员大数据学习路线之hive存储格式
好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . orc .自定义 set hive.default.fil ...
深圳大数据培训：好程序员大数据学习路线之hive 存储格式
深圳大数据培训:好程序员大数据学习路线之hive 存储格式好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . ...
Hive从入门到放弃——Hive表DML的艺术性（八）
背景 HiveQL语法和MySQL的语法很像,当然Hive本身作为大数据的数据仓库,本身对数据的修改和删除并不铭感,虽然Hive支持通过ORC为存储文件实现数据的删除和修改,但是这个功能相对比较 ...
Hive存储格式之ORC File详解，什么是ORC File
文章目录概述文件存储结构 Stripe Index Data Row Data Stripe Footer 两个补充名词 Row Group Stream File Footer 条纹信息列统计 ...
Apache Hive 快速入门 (CentOS 7.3 + Hadoop-2.8 + Hive-2.1.1)
2019独角兽企业重金招聘Python工程师标准>>> 本文节选自<Netkiller Database 手札> 第 63 章 Apache Hive 目录 63.1. ...
数据仓库—stg层_数据仓库之Hive快速入门 - 离线实时数仓架构
数据仓库VS数据库数据仓库的定义: 数据仓库是将多个数据源的数据经过ETL(Extract(抽取).Transform(转换).Load(加载))理之后,按照一定的主题集成起来提供决策支持和联机分析 ...

Hive 存储格式入门

存储格式

存储格式的配置项

案例

总结

Hive 存储格式入门相关推荐

最新文章

热门文章