hive的静态分区与动态分区-用法实例
概述
本文是对[3]的复现
所有的SQL操作都在下方gitee链接中
https://gitee.com/appleyuchi/Flink_Code/blob/master/hive动态静态分区/hive.sql
静态分区
| 分区叫法 | 表格举例 | 不同种类分区在HDFS上存放的文件结构 |
| 单分区/一级分区/主分区 | t1 | /user/hive/warehouse/t1/department=depart-1 |
| 多分区/多级分区/副分区 | t2 | /user/hive/warehouse/t2/department=GBD/sex=F |
可以看到你所谓的多分区和单分区其实主要取决于数据在HDFS上存放的结构是否是多级文件夹结构.
动态分区
建立r3,t4表
t3表导入t4表
这里注意:
因为t3比t4多了2个字段,
所以t4会以多出来的这两个字段进行动态分区(也就是HDFS上的多级目录结构)
区别
静态分区是的导入数据的时候,分区名是写死的.
动态分区是导入数据时,根据数据所属字段的取值进行动态分区.
动静(半动态)分区混合使用
建立r0,t5表
t0表导入t5表
这个动静结合体现在哪里呢?
静态体现在coutry='china'写死
动态体现在t0的字段比t5多了一个,多出来的字段,作为数据导入t5后的分区
查看Hive表的分区结构具体操作
打开:
http://desktop:9870/explorer.html#/
搜索:
/user/hive/warehouse/t1/department=depart-1
如下:
Reference:
[1]hive一级分区、二级分区、动态分区
[2]hive静态分区和动态分区区别
[3]Hive中的静态分区和动态分区使用与区别详解
hive的静态分区与动态分区-用法实例相关推荐
- 深圳大数据培训：大数据开发之掌握Hive的静态分区与动态分区
深圳大数据培训:大数据开发之掌握Hive的静态分区与动态分区 分区是hive存放数据的一种方式.将列值作为目录来存放数据,就是一个分区. 这样查询时使用分区列进行过滤,只需根据列值直接扫描对应目录下的 ...
- Hive实践1之【静态分区及动态分区基本操作】
Hive分区 引言 1.静态分区 1.1 静态分区--单分区 1.2 静态分区--多分区 2.动态分区 2.1 动态分区--单分区 2.2 动态分区--多分区 3.静态+动态分区 4.动态分区优化 引 ...
- Hive分区——Partition(静态分区，动态分区)详解
文章目录 分区目的 分区的创建 1.创建建表时候不管动态还是静态分区 2.执行load 装载数据 3.查看表结构,查询分区表的数据 4.静态分区: 5.动态分区: 多分区 表分区的增删改查 分区目的 ...
- hive动态分区shell_Hive动态分区 参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
- Hive Distribute by 应用之动态分区小文件过多问题优化
目录 0 问题现象及原因分析 1 问题解决 解决办法 2 由以上问题引出的问题 3 思考 4 小结 0 问题现象及原因分析 现象: [Error 20004]: Fatal error occurre ...
- (王道408考研操作系统)第三章内存管理-第一节4：连续分配管理方式(单一连续、固定分区和动态分区分配)
文章目录 一:单一连续分配 二:固定分区分配 (1)分区大小相等与分区大小不等 (2)分区说明表 三:动态分区分配 (1)采用的数据结构(主要有两种) (2)动态分配分区算法 (3)如何进行分配与回收 ...
- hive静态分区，动态分区，分桶区别
文章目录 绪论 创建静态分区表 1.准备数据 2.建表语句 3.添加分区,加载数据 4.进入网页(50070)查看 创建动态分区表 1.准备数据 2.建表语句 1.首先创建普通表 2.加载数据 3.创 ...
- Hive分区表：静态分区、动态分区、多重分区介绍
01 分区表的引入.产生背景 现有6份数据文件,分别记录了<王者荣耀>中6种位置的英雄相关信息.现要求通过建立一张表t_all_hero,把6份文件同时映射加载. create table ...
- 如果要用thinkphp框架_php需要改哪些配置,thinkPHP框架动态配置用法实例分析
本文实例讲述了thinkPHP框架动态配置用法.分享给大家供大家参考,具体如下: 最近在用@ThinkPHP 做系统的时候,要用到一个功能,就要动态的将系统的配置参数保存到Config文件中.以往,我 ...
最新文章
- python制作词云时出现figure1 figure2_用Python生成词云
- Data Set 投票
- matlab中给图像加几个矩形框_在图像中画矩形框（matlab）
- Unity3D学习笔记（十九）：UGUI、Image、Text、Button
- 快速安装LNMP环境
- 校园导游java版,校园导游系统Word版
- 可变数据类型和不可变数据类型
- 店铺如何用视觉走出差异化？
- BFS - 求最短路径
- VALSE2019总结(4)-主题报告
- FreeSwitch中的会议功能
- mod sim tcp配置_ModSim32和ModScan32两种Modbus调试工具使用说明
- 线性回归相关系数c语言,线性回归中的相关系数;
- 2020年证券从业资格考试《金融市场基础知识》真题汇编卷一
- 【数学建模】实验设计方法
- MSDN 我告诉你 window实用软件下载地址
- linux 对战平台,【浩方对战平台和搜狗输入法 For Linux哪个好用】浩方对战平台和搜狗输入法 For Linux对比－ZOL下载...
- 计算机工程应用是什么期刊,计算机工程类期刊汇总
- 学习笔记(41):决胜AI-深度学习系列实战150讲-完成预测分类任务
- AI｜优必选称准备IPO 此前公司机器人曾登上春晚舞台