hive 表存储大小_Hive中文件存储格式及大小比较测试

在hive中创建表是有如下一个语句

[ROW FORMAT row_format]

row_format 的类型有如下：

file_format:

: SEQUENCEFILE

| TEXTFILE -- (Default, depending on hive.default.fileformat configuration)

| RCFILE -- (Note: Available in Hive 0.6.0 and later)

| ORC -- (Note: Available in Hive 0.11.0 and later)

| PARQUET -- (Note: Available in Hive 0.13.0 and later)

| AVRO -- (Note: Available in Hive 0.14.0 and later)

| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

默认是文本格式例如：

按照数据存储方式分类

按照行存储

SEQUENCEFILE

TEXTFILE

按照列存储

RCFILE

ORC

PARQUET

说明：parquet目前已经是apache的顶级项目了,在hive，hbase，spark中都是经常使用的。

文件格式的压缩比较

实际业务我们是按照列来分析数据及使用数据的。

1、创建文本表

2、加载数据

image.png

3、查看创建OCR文件的格式

4、创建ocr文件

5、把文件表中的数据插入到OCR类型的表中

6、创建parquet类型的表并插入数据

7、查看文件大小

原始文本文件的大小

orc文件大小

partquet文件大小

执行sql语句测试执行速度

hive 表存储大小_Hive中文件存储格式及大小比较测试相关推荐

Hive中文件存储格式及大小比较测试
在hive中创建表是有如下一个语句 [ROW FORMAT row_format] row_format 的类型有如下: file_format: : SEQUENCEFILE | TEXTFILE ...
hive mysql hdfs关系_Hive中的数据库、表、数据与HDFS的对应关系
1.hive数据库我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底 ...
hive表合并字段_hive 两字段合并成一个字段例如：字段a和字段b合并成a-b，请问如何实现、...
展开全部使用函数concat select concat(a,'-',b) from就可以实现了. hive是基于Hadoop的一个数据3231313335323631343130323136353 ...
查询hive表_大数据中Hive与HBase的区别与联系
二者区别 Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能. Hive本身不存储和计算数据,它完全依赖于HDFS和MapRe ...
hive使用适用场景_Hive 中 Map Join 的适用场景：非等值连接
最近开发中遇到几种应用,刚好使用MAPJOIN来解决实际的问题. 应用共同点如下: 1:有一个极小的表<1000行 2:需要做不等值join操作(a.x < b.y 或者 a.x like ...
php字体大小_PHP中改变网页文字大小代码
今天给大家介绍一点基础一点的东西,PHP中改变网页文字大小的实现,其实实现起来很简单,熟悉一点PHP和CSS就能很快的实现我们想要的效果. 文本大小调节器是最有效的可访问特性中的一个,任何网站都可能需 ...
android auto 字体大小,Android中给TextView字体大小用dp还是sp？dp和sp有什么区别？
dp,sp都会根据屏幕ppi显示大小不同. ppi的运算方式是: PPI = (开根号(长度像素数² + 宽度像素数²)) / 屏幕对角线英寸数 dp:Density-independent pixe ...
python字符串比较大小 python3_Python中进行字符串比较大小的方法
Python中进行字符串比较大小的方法发布时间:2020-12-14 09:28:15 来源:亿速云阅读:84 作者:小新这篇文章给大家分享的是有关Python中进行字符串比较大小的方法的内容. ...
mysql hive 内置函数_Hive中与时间相关的内置函数
(1)获取当前的时间戳(以秒位单位):unix_timestamp(),返回值类型位BIGINT.例如: select unix_timestamp() from dim_user limit 1; ...

hive 表存储大小_Hive中文件存储格式及大小比较测试

hive 表存储大小_Hive中文件存储格式及大小比较测试相关推荐

最新文章

热门文章