hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，

然后观察YARN的WebUI进行查看，如图：

然后观察Hive Client的控制台输出，如下：
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_1552895066408_0001, Tracking URL = http://localhost:8088/proxy/application_1552895066408_0001/
Kill Command = /wangqingguo/bigdata/hadoop-2.6.0-cdh5.7.0/bin/hadoop job -kill job_1552895066408_0001
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2019-03-18 15:44:40,758 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1552895066408_0001 with errors
Error during job, obtaining debugging information…
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
二.解决思路：

通过YARN的WebUI看到，发现YARN没有Core和Memory，按照常理讲，

如果不配置Core和Memeory，yarn-site.xml文件会有默认的值。

为了保险起见，我添加以下参数：

yarn.nodemanager.resource.cpu-vcores 8 yarn.nodemanager.resource.memory-mb 8192 yarn.scheduler.minimum-allocation-mb 1024 yarn.scheduler.maximum-allocation-mb 8192 重启HDFS的进程后，重新提交job，发现还是报这个错，然后通过仔细观察WebUI的log发现一句话： Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory 终于找到错误的所在，原来是找不到Java。

最后我在etc/hadoop/hadoop.env.sh中配置了java_home，问题解决。

哈哈哈，这都是若泽在高级班教我的排查方法。

有时候问题答案真心不重要，排查思路很重要！

hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，相关推荐

mysql客户端连接hive_连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端.界面.SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用 ...
Hive用户接口（一）—Hive Web接口HWI的操作及使用
问题导读: 1.Hive提供了哪三种用户访问接口? 2.如何手动构建hive-hwi-*.war安装包? 3.hwi 服务启动命令是什么? 4.hwi启动之前需要将哪两个包拷贝到hive安装目录的li ...
Hive 调优集锦，让 Hive 调优想法不再碎片化
一.前言 1.1 概念 Hive 依赖于 HDFS 存储数据,Hive 将 HQL 转换成 MapReduce 执行,所以说 Hive 是基于Hadoop 的一个数据仓库工具,实质就是一款基于 HDF ...
2021年大数据Hive（十二）：Hive综合案例！！！
全网最详细的大数据Hive文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章前言 Hive综合案例一.需求描述二.项目表的字段三.进 ...
Ranger中对hive添加policy字后，hive登录用户可用，hive密码不管用的问题解决，HiveServer2 Authentication Custom的编写
1.Ranger中对Hive的库.表.列进行授权在做Hive的访问权限控制的时候,Ranger中对hive中添加了如下Policy权限控制.配置方式如下: 2.默认情况下,Ambari中hivese ...
hive double 转decimal_一起学习Hive基础(多知识点)
操作系统:CentOS-7.8 单机Hadoop版本:2.8.5 Hive版本:2.3.6 本文是Hive学习的基础篇,包含Hive的部分基础理论知识如:hive介绍,Hive应用场景,Hive的文件 ...
使用hive中beeline引擎来访问hive数据库
hive中beeline引擎连接hive访问hive引擎注意,往下阅读前,必须先确保hive>能连接mysql数据库我们知道: hive中的引擎有两个: hive> beeline&g ...
hadoop安装hive及配置mysql_Hadoop系列之Hive(数据仓库)安装配置
Hadoop系列之Hive(数据仓库)安装配置 1.在NameNode安装 cd /root/soft tar zxvf apache-hive-0.13.1-bin.tar.gz mv apache ...
hive动态分区shell_Hive/Shell 创建Hive 库，表脚本，Hive 动态增加分区脚本
最近工作中使用到了Hive, 并对Hive 的数据库,表完成创建. 创建的表为分区表,也涉及到了分区表的按天动态增加分区. 代码组织结构: 创建数据库: create_dmp.hql --dmp ...
hive取mysql数据oracle数据,Hive安装过程（mysql/oracle存储元数据）详解
Hive安装过程(mysql/oracle存储元数据) 前置条件: - mysql数据库已经安装成功 - hadoop环境已经配置正确,且可以提供正常服务说明: -由于资源有限,下面配置的hadoo ...

hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，

hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，相关推荐

最新文章

热门文章