hive动态分区报错

HIVE动态分区，由于动态分区个数过多，map端内存溢出，报错。

containerID=container_e86_1608865192015_2953765_01_000002] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 5.1 GB of 6.3 GB virtual memory used. Killing container. Dump of the process-tree for container_e86_1608865192015_2953765_01_000002 : |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINEattempt_1608865192015_2953765_m_000000_0 94557999988738 1>/data/data24/yarn/container-logs/application_1608865192015_2953765/container_e86_1608865192015_2953765_01_000002/stdout 2>/data/data24/yarn/container-attempt_1608865192015_2953765_m_000000_0 94557999988738 Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143

解决方式：启用hive.optimize.sort.dynamic.partition，将其设置为true。通过这个优化，这个只有map任务的mapreduce会引入reduce过程，这样动态分区的那个字段比如日期在传到reducer时会被排序。分区字段是会做排序的，因此每个reducer只需要保持一个文件写入器（file writer）随时处于打开状态，在收到来自特定分区的所有行后，关闭记录写入器（record writer），从而减小内存压力。这种优化方式在写parquet文件时使用的内存要相对少一些，但代价是要对分区字段进行排序。

hive动态分区报错相关推荐

hive动态分区shell_Hive动态分区参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
Windows系统转换动态磁盘报错：磁盘上没有足够的空间
Windows系统转换动态磁盘报错:磁盘上没有足够的空间. 使用分区软件查看此硬盘是否存在不可见分区,有则干掉即可. 分区软件推荐:傲梅科技的<分区助手>很给力. 官网:https://w ...
hive 动态分区实现（hive-1.1.0）
hive 动态分区实现 (hive-1.1.0) 笔者使用的hive版本是hive-1.1.0 hive-1.1.0动态分区的默认实现是只有map没有reduce,通过执行计划就可以看出来.(执行计划 ...
hive分区用2个字段有何限制_[特性]Hive动态分区功能使用
[特性]Hive动态分区功能使用 2016-01-31 21:40 说明 Hive有两种分区,一种是静态分区,也就是普通的分区.另一种是动态分区.动态分区在数据导入时,会根据具体的字段值自行决定导入, ...
ionic4 背景设置动态图片报错WARNING: sanitizing unsafe style value background-image:url
ionic4 背景设置动态图片报错WARNING: sanitizing unsafe style value background-image:url WARNING: sanitizing uns ...
hive动态分区shell_hive-shell批量操作分区文件
使用hive表的过程中经常需要一些便捷操作: 一.hdfs文件批量写SUCCESS文件,一般来说hive表生成结束,会产生一个_SUCCESS文件判断数据是否正常刷新完成但是如果是动态分区插入表进行 ...
Hive动态分区和分桶
Hive动态分区和分桶 1. Hive动态分区和分桶 1.Hive动态分区 1.hive的动态分区介绍 2.hive的动态分区配置 3.hive动态分区语法 2.Hive分桶 1.Hive分桶的介绍 ...
linux格式化扩展分区报错解决
Linux格式化扩展分区时会报错,因为Linux扩展分区格式化无意义,它是为logicalpartition服务的,它们大小一样.在一块硬盘里你最多只能创造fourpartiton,包括主分区与ex ...
[Deepin - Pycharm调试记录] Matplot3D动态画图报错问题
Deepin - Pycharm调试记录 - Matplot3D动态画图报错问题写在开头的话应该不会有人傻到看这个wiki吧,我花了1个小时才发现问题,是我自己方法调错了. 这个wiki不会细致的 ...

hive动态分区报错

hive动态分区报错相关推荐

最新文章

热门文章