hive 自定义元数据表_Hive分区表和桶表的使用

我们看官网文档中这个地方

我们先创建好数据库，以供练习

使用数据库

我们创建数据表

我们创建分区表，选取的字段不能是表中存在的字段

元数据信息

Formatted信息

那我们加载信息

load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);

我们查看数据

我们看下HDFS上，是目录的形式

所以我们可以多加载几份数据

查看数据和HDFS上

也可以创建二级分区

载入数据

查看下数据

查看下元数据

再看下HDFS

我们就可以依据条件查询使用where语句

注：分区表可以提高查询的效率。

我们再看这个地方-桶表

这个和分区表不一样的地方，选取字段必须是表里的字段

我们准备个员工表

我们创建下桶表

我们加载下数据

看下HDFS

实际在桶表中，我们应该使用另外一种语句

运行过程

出现了点问题

三个节点时间不同步，设定下时间

date -s "2019-12-5 17:50:00"

再执行就可以了

查看结果

我们看HDFS上

我们查看下文件，已经分开了，如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。

注：其中桶表查询还有下面的语句，可以仔细研究下，暂时先放一放，后续学习深入再了解。

Select * from table tablesample(bucket 1 out of 2)

Tablesample是抽样数据，语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小，决定抽样比例。例如：table总共分为64份，当y=32时，抽取(64/32)2个bucket数据；当y=128时，抽取(64/128)1/2个bucket数据，x表示从哪个bucket开始抽取，例如table总bucket数为32，tablesample(3 out of 16)，表示总共抽取(32/16)2个bucket数据，分别为第3个bucket和第(3+16)19个bucket数据。

hive 自定义元数据表_Hive分区表和桶表的使用相关推荐

hive分区用2个字段有何限制_Hive分区表和桶表的使用
我们看官网文档中这个地方我们先创建好数据库,以供练习使用数据库我们创建数据表我们创建分区表,选取的字段不能是表中存在的字段元数据信息 Formatted信息那我们加载信息 load dat ...
Hive探秘--内部表、外部表、分区表、桶表研究
Hive知识一.建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_com ...
hive详细笔记(四)-Hive内部表,外部表,分区表,分桶表详解(附带讲解视频)
本节目录内部表和外部表静态分区表动态分区表分桶表抽样查询 1 内部表和外部表未被external修饰的是内部表(managed table),被external修饰的为外部表(extern ...
Hive 分区表分桶表
本文目录 1.分区表 Ⅰ.分区表基本操作 1.创建分区表语句 2.分区数据准备 3.装载数据至指定分区 4.数据查询 Ⅰ.全表数据查询 Ⅱ.单个分区数据查询 Ⅲ.多个分区数据查询 5.增加分区 6.删 ...
hive 自定义元数据表_[一起学Hive]之十四-Hive的元数据表结构详解
关键字:Hive元数据.Hive元数据表结构之前在 "[一起学Hive]之一–Hive概述,Hive是什么"中介绍过,Hive自己维护了一套元数据,用户通过HQL查询时候,Hiv ...
Hive基础知识（三）--分桶表
1.分桶表分桶和分区一样,也是一种通过改变表的存储模式,从而完成对表优化的一种调优方式,但和分区不同的是,分区是将表拆分到不同的子目录中进行存储,而分桶是将表拆分到不同文件中进行存储. 2.分桶操作 ...
hive根据已有表创建新表_Hive基础之创建表
1.创建基础表在这个网页里详细记录了创建表的每个语法,下面就一一来看这些创建表的语法内容: CREATE TABLE [IF NOT EXISTS] [db_name.]table_name ``[ ...
oracle表转为分区表,Oracle普通表转分区表的几种方法
将普通表转换成分区表有4种方法: 1) Export/import method 2) Insert with a subquery method 3) Partition exchange m ...
Hive 之分区表，外部表，桶表
转自: http://chengjianxiaoxue.iteye.com/blog/2167036 1 受控表(managed table): hive中将创建的表和实际对应hdfs目录结构和文件相 ...

hive 自定义元数据表_Hive分区表和桶表的使用

hive 自定义元数据表_Hive分区表和桶表的使用相关推荐

最新文章

热门文章