Hive报错：stage24 contains a task of very large size；the maximum recommended task size is 100kb
在一个SparkSQL任务中，由于每隔5分钟就要调度一次，偶尔在任务中会出现这个错误：
stage24 contains a task of very large size;the maximum recommended task size is 100kb
奇怪的是：这个错误有时候并不会干扰程序的正常运行，但是有时候又会导致程序的异常中断，所以在查阅了大量的相关资料之后，采用下面三个方法的组合：
（1）调整shuffle partition的数：
之前为了避免产生大量的小文件，只使用了10分区，后来调整到1000分区，
（2）调整rpc数据传输的大小：
--conf spark.rpc.message.maxSize=1024
这个的默认值是128M，需要调大一些。
在采用了上述两种方式之后，程序并没有得到改善，于是调整了一下Driver端的内存：
--driver-memory 12g
之前是8g
再测试一下之后发现任务成功执行了，没有再出现异常中断的情况。
Hive报错：stage24 contains a task of very large size；the maximum recommended task size is 100kb相关推荐
- hive报错Could not get block locations. Source file “/user/hive/warehouse/xxx
hive报错 Could not get block locations. Source file "/user/hive/warehouse/xxx... 以及 Caused by: or ...
- #Hive报错 WritableStringObjectInspector cannot be cast to org.apache.hadoop.hive.serde2.objectinspect
#Hive报错 FAILED: ClassCastException org.apache.hadoop.hive.serde2.objectinspector.primitive.WritableS ...
- 启动hive报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang
报错详情: b/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf ...
- Hive报错java.lang.NoClassDefFoundError: org/codehaus/jackson/JsonFactory
一 问题 Hive报错java.lang.NoClassDefFoundError:org/codehaus/jackson/JsonFactory 二 原因 Hadoop版本是0.20.2.$HAD ...
- （详细）解决hive报错FAILED: SemanticException Cartesian products are disabled for safety的问题
在使用hive-2.3.3执行TPC-H benchmark时,遇到hive报错.而且这个错误不是以Java异常栈的形式跑出的,很可能被忽略: FAILED: SemanticException Ca ...
- Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoo ...
- sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 问题 一.问题是什么导致的? 二.验证问题 总结 问题 sqoop将oracle数据导入到hive报错:Error: jav ...
- hive报错(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory/tmp/hive/.
报错场景: 使用shell脚本进行对hive的数据查询导入导致出错,先是hive执行时间较长,后面hive报错. 问题描述: 使用jps查询进程,发现有三个hive进程,三个RunJar,RunJar ...
- Hive 报错提示及解决方法
Hive 报错提示 报错提示:message:Database xxx is not empty. One or more tables exist 原因分析:在HIve的数据库时执行drop dat ...
最新文章
- rails3和4获取当前url
- java 读取中文配置文件问题
- @产品部 -- 腾讯策划部是如何培养用户的《王者荣耀》“瘾”的
- LoadRunner常见问题分析
- 【华为云技术分享】40%性能提升，华为云推出PostgreSQL 12 商用版
- mysql ibdata1 损坏_mysql innodb文件ibdata1损坏导致mysql无法启动
- python - bs4提取XML/HTML中某个标签下的属性
- libcurl学习及简易封装类
- 微信小程序云开发教程-WXSS入门-基本语法
- php怎么设置浏览器禁止打开新窗口,JS打开新窗口防止被浏览器阻止的方法_javascript技巧...
- Sdk4J.jar安装到本地maven仓库
- 802.11a/b/g/n/ac速率表--防迷路，通过博客收藏
- LaTeX笔记(二)(开篇)
- IDEA前进后退快捷键设置
- 【转】一个女孩的上海5年
- 斐波那契数列前20项及和
- USB驱动——键盘，U盘
- 面向服务与微服务架构
- TIME_WAIT状态和FIN_WAIT_2状态
- 第七届河南省赛题解B.海岛争霸