关于执行SQL报错：java.lang.ArrayIndexOutOfBoundsException: 6

由于工作需要，需创建一个表C，表数据由表A left join 表B生成，表A数据量大概300万行，表B数据量大概600万行左右，字段不多，但是脚本执行一直报错

一开始报错，查询日志提示信息为：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

百度查询具体原因要查看详细日志，打印日志发现提示内存溢出，但是2表的数据量不应该导致内存不够，尝试以下方案：

1、考虑大小表关联问题，加入参数
set hive.execution.engine=mr;
set hive.mapjoin.smalltable.filesize=55000000;
set hive.auto.convert.join = false;
继续报错

2、考虑MR内存限制，加入参数
set hive.auto.convert.join = false
还是报错

报错信息更改为数组越界，如下：java.lang.ArrayIndexOutOfBoundsException: 6

查看表字段及内容，无发现异常，最终排查发现是建表时贪图方便，直接在presto上建，该表在presto上可直接查询，换成hive查询就会报java.lang.ArrayIndexOutOfBoundsException: 6，删表后在hive上重建就可以，真真是大坑小坑，坑坑不息，以此为记录，时刻告诫自己，操作规范的重要性。

关于执行SQL报错：java.lang.ArrayIndexOutOfBoundsException: 6相关推荐

Spark读取文件，报错java.lang.ArrayIndexOutOfBoundsException
背景: 在 Spark 解析文件的时候,忽然报错 java.lang.ArrayIndexOutOfBoundsException.排查问题,也没发现有任何的异常.最后发现文件中,有一行数据的最后一个 ...
flink SQL报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLj
问题 flink SQL连接hive以及hudi 报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkAr ...
java 报错定位,问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT...
用yarn cluster方式提交spark任务时,有时会报错,报错几率是40%,报错如下: 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User ...
Hive报错java.lang.NoClassDefFoundError: org/codehaus/jackson/JsonFactory
一问题 Hive报错java.lang.NoClassDefFoundError:org/codehaus/jackson/JsonFactory 二原因 Hadoop版本是0.20.2.$HAD ...
DRP问题集结（一）-Tomcat无法启动,报错java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory...
问题一: Tomcat无法启动,报错java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory 问题二:[Error]Jav ...
WildFly 报错 java.lang.NoClassDefFoundError
在eclipse上WildFly部署项目后,启动一直报错java.lang.NoClassDefFoundError,功夫不负有心人,终于解决. 解决方案查了网上很多资料,有说环境变量配置不对的,有 ...
首次使用eclipes运行项目报错“Java.lang.ClassNotFoundException”
首次使用eclipes运行项目报错"Java.lang.ClassNotFoundException" 运行项目时提示: 解决方法: 1.点击菜单-Project-Build Au ...
解决Tomcat下IntelliJ IDEA报错java.lang.NoClassDefFoundError: javax/servlet/ServletContextListener
解决Tomcat下IntelliJ IDEA报错java.lang.NoClassDefFoundError: javax/servlet/ServletContextListener 笔者在做代 ...
Spring Boot单元测试报错java.lang.IllegalStateException: Could not load TestContextBootstrapper [null]
一:运行test类方法时候报错报错 java.lang.IllegalStateException: Could not load TestContextBootstrapper [null]. S ...

关于执行SQL报错：java.lang.ArrayIndexOutOfBoundsException: 6

关于执行SQL报错：java.lang.ArrayIndexOutOfBoundsException: 6相关推荐

最新文章

热门文章