大数据hive篇--hive报错return 2 return 3 解决方式

oozie跑hive脚本报错：
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

看到其他人的大多是内存问题，解决方案是

set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint = false;
set hive.exec.parallel = true;
set hive.mapjoin.localtask.max.memory.usage=0.99
set hive.execution.engine = mr;
set hive.auto.convert.join = false; #取消小表加载至内存中

目前我们使用的数据中台，我们只能看到hive层面的报错，看不到yarn日志的报错，没法准确的定位具体的报错原因，所以使用上面这些参数解决我们return 2 和return 3 的问题，可用但是不合理。

但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志，比如我的就是sql中的用到同事写的udf函数报空指针。

查看日志方法：

最坑的地方来了，很多人看日志也找不到问题，因为并没有看到全部日志，需要点击check here 才能看到完整日志。

大数据hive篇--hive报错return 2 return 3 解决方式相关推荐

Talend 大数据量导致传输报错
我们经常回碰到传输数据量大时,talend会报错,如果我们确定job没问题时,或者小数据量没问题时,那估计就是内存溢出导致的.我们只需修改.bat 或者 .sh文件,将-Xmx 修改大点即可,但JDK ...
peewee flask pwiz 中使用模型过一段时间报错 peewee.InterfaceError: (0, '') 的解决方式
https://www.cnblogs.com/lajiao/p/10434501.html
hive导出数据到本地文件报错解决方法
hive导出数据到本地文件报错解决方法参考文章: (1)hive导出数据到本地文件报错解决方法 (2)https://www.cnblogs.com/yaopeiyun/p/12232251.htm ...
【踩坑实录】hive删除字段报错
目录问题描述: 表结构: 删除字段c执行语句: 报错: 定位原因: 解决方法: 问题描述: 一张hive表,想删除某一字段,执行后报错. 表结构: CREATE TABLE table_name( ...
大数据知识面试题-Hive （2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
大数据基础之Hive（四）—— 常用函数和压缩存储
作者:duktig 博客:https://duktig.cn (文章首发) 优秀还努力.愿你付出甘之如饴,所得归于欢喜. 更多文章参看github知识库:https://github.com/dukt ...
大数据面试之Hive常见题目
大数据面试之Hive常见题目 1. Hive的架构 1.重点四个器:解释器(SQL Parser).Driver:编译器(Compiler),优化器(Optimizer),执行器(Executor) ...
Cris 小哥哥的大数据项目之 Hive 统计 YouTube 热门视频
Cris 小哥哥的大数据项目之 Hive 统计 YouTube 热门视频 Author:Cris 文章目录 Cris 小哥哥的大数据项目之 Hive 统计 YouTube 热门视频 Author:Cr ...
B06 - 999、大数据组件学习③ - Hive
初学耗时:999h 注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端. 『因为要去见那个不一般的人,所以我就不能是一般人.』 B99.要学就学大数据 - B系列总纲 ...

大数据hive篇--hive报错return 2 return 3 解决方式

大数据hive篇--hive报错return 2 return 3 解决方式相关推荐

最新文章

热门文章