Hive动态分区 参数配置及语法
Hive本身是不支持动态分区的..
但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..?
想要用动态分区要先做一些设置来修改默认的配置..
set hive.exec.dynamic.partition=true;(可通过这个语句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参数,将会报错) SET hive.exec.max.dynamic.partitions.pernode=100000;
可以直接把上述设置项在控制台中运行一下..以后就可以自由动态分区了..
建立分区表的语法.
Drop table table_name; --先删除表 没有则直接建表了 CREATE TABLE table_name --创建表 (col1 string, col2 date, col3 double) partitioned by (datekey date) --可以多个字段的组合分区 ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' Stored AS TEXTFILE;
插入数据..
INSERT INTO TABLE table_NamePARTITION (DateKey)SELECT col1,col2,col3,DateKey FROM otherTableWHERE DATEKEY IN ('2017-02-26','2013-06-12','2013-09-24')GROUP BY col1,col2,col3,DateKey DISTRIBUTE BY DateKey
删除分区:
ALTER TABLE table_Name DROP PARTITION (Datekey='2016-05-05');
以上为整理的部分关于Hive分区的资料..欢迎取阅..
转载于:https://www.cnblogs.com/iiwen/p/6479607.html
Hive动态分区 参数配置及语法相关推荐
- hive动态分区shell_Hive动态分区 参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
- hive分区用2个字段有何限制_[特性]Hive动态分区功能使用
[特性]Hive动态分区功能使用 2016-01-31 21:40 说明 Hive有两种分区,一种是静态分区,也就是普通的分区.另一种是动态分区.动态分区在数据导入时,会根据具体的字段值自行决定导入, ...
- Hive动态分区和分桶
Hive动态分区和分桶 1. Hive动态分区和分桶 1.Hive动态分区 1.hive的动态分区介绍 2.hive的动态分区配置 3.hive动态分区语法 2.Hive分桶 1.Hive分桶的介绍 ...
- 解决Hive动态分区小文件过多问题
一.问题描述 为了支撑相应的业务需求,本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发.但是,动态分区的插入往往会伴随产生大量的小文件的发生.而小文件产生过多的影响主要分为以下两种情 ...
- hive 动态分区实现 (hive-1.1.0)
hive 动态分区实现 (hive-1.1.0) 笔者使用的hive版本是hive-1.1.0 hive-1.1.0动态分区的默认实现是只有map没有reduce,通过执行计划就可以看出来.(执行计划 ...
- hive动态分区shell_hive-shell批量操作分区文件
使用hive表的过程中经常需要一些便捷操作: 一.hdfs文件批量写SUCCESS文件,一般来说hive表生成结束,会产生一个_SUCCESS文件判断数据是否正常刷新完成 但是如果是动态分区插入表进行 ...
- hive动态分区报错
HIVE动态分区,由于动态分区个数过多,map端内存溢出,报错. containerID=container_e86_1608865192015_2953765_01_000002] is runni ...
- Hive动态分区导致的Jobtracker Hang
昨天下午有20多分钟Hadoop平台无法跑Hive,Jobtracker的页面也打不开,hadoop job –list也hang住没有响应,过了10分钟后恢复了,查看gc日志发现Jobtracker ...
- shell脚本中向hive动态分区插入数据
在hive上建表与普通分区表创建方法一样: 1 CREATE TABLE `dwa_m_user_association_circle`( 2 `device_number` string, 3 `o ...
最新文章
- 《C++程序设计教程(第3版)》——第3章,第2节cout输出流
- Fsharp 类中的空字段
- Challenge: Machine Learning Basics
- Inno Setup入门(十八)——Inno Setup类参考(4)
- zsh 隐藏用户名和主机
- ​FreeSWITCH视频会议“标准”解决方案
- ZZULIOJ 1083: 数值统计(多实例测试)
- leetcode —— 面试题62. 圆圈中最后剩下的数字
- 分享一个不错的Windows软件——Fliqlo
- CSDN 在线峰会——揭晓阿里云核心技术竞争力
- 想学PHP来兄弟连是正确的选择 初识兄弟连三周
- 从html提取swf文件,Sothink SWF Catcher(SWF文件捕捉提取工具)V2.7 正式版
- 物联网产业链及通信模组详述
- 印刷文字的字体与字号规定
- 超简单集成Android Zxing实现扫一扫二维码
- 华为路由器配置NAT
- 天津2021高考成绩查询26号什么时间,2021年天津高考成绩26号几点可以查询,今天几点出高考成绩...
- BIMC指出企业发展电子商务的问题
- 格力 大松KJFC230A空气净化器开机自动灯闪烁不工作是什么原因?
- 基于c#的区块链编程_3.区块链 · C#区块链编程入门教程-巴比特图书
热门文章
- 8皇后以及N皇后算法探究,回溯算法的JAVA实现,非递归,数据结构“栈”实现
- 从70元到60亿,可以进来看看这篇文章
- java log4j logback jcl_内部分享:如何解决Java日志框架冲突问题。
- 记录安装php与apache不兼容的过程
- 《程序员面试金典》输出单层节点
- python中的多线程----以2个线程卖票为例
- 在控制台中输入月,日. 计算这是一年的第几天.(Python)
- python科学计算笔记(十三)pandas的merge、concat合并数据集
- Maven的-pl -am -amd参数学习
- Redis 是单线程凭什么能支撑高并发