Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

原文链接：http://blog.csdn.net/dai451954706/article/details/50464036

-----------------------------------------------------------------------------------------------------

　今天，一大清早同事就让我帮他解决Hive的问题：他在Hive中执行简单的查询(直接从hive查询数据，没有MR过程)能很快的得到结果，但是执行复杂的查询时，就一直卡着不动．我连到服务器上试了一下，跟他遇到的问题一样，问题处在哪里呢？既然简单的查询能出结果，复杂查询需要MR计算，但是却卡住了，那估计是Hadoop的问题．

　　于是，我在Hadoop跑一个简单的WountCound程序试试，结果跟Hive中遇到的情况一样:

然后就一直卡在这个界面，很久都没有结果．

　最先想到的是：配置可能有点问题．于是我把配置检查了一遍，发现配置没错．于是，我又去检查Yarn和HDFS的启动日志，也没有发现ERROR.接着，我查看每个任务运行时的Container日志，也没有Error．真是见鬼了！

　在我查看各种日志和配置的时候，我同事在Docker中，将集群上的配置Copy过去，试了一遍，能正常运行！这．．．

　然后，我各种百度，google，在百度出来的各种方法我都试了一遍，仍然没有解决问题！于是，我同事说，是不是安装的时候有些包损坏了．于是，他又重新装了一边Hadoop，还是使用原来的配置，可问题依旧！

　此时，都已经搞了一直整天了，还有一个小时就要下班了！于是，我在Google中看了几篇文章，基本上上面所说的方法我都试了．终于，在Stackover上有一个哥们也遇到了同样的问题，有人帮他解决了，里面链接到了一个网站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/ ,我打开一看，说的是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行，感觉是这个问题的可能性不大啊！但是，既然这么多方法都不管用，这能试一试了．　

　　于是，我在yarn-site.xml中加了:

[plain] view plaincopy

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>

再次运行，居然成功了！

　然后运行Hive，也能正确的运行了！

出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。

以上参数的配置详解见博客：http://blog.csdn.net/zengmingen/article/details/52609893

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job相关推荐

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
第一种:配置问题这是别人的图片,据楼主排查解决是因为hosts配置问题- 现象:各种无法运行.启动解决办法: 1.修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,co ...
使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法
最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象,当任务执行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任务卡在map1 ...
运行wordcount时显示Could not obtain block
该文章接上面hadoop运行wordcount时卡住不动,接着下面 hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfsadmin -safemode lea ...
日常问题——hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003
执行mapreduce没报错,可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job_1595222530661_0003 解决方法 m ...
hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_XXXXXXX
执行mapreduce没报错,可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job14039055428930004 解决方法 map ...
Hadoop 运行wordcount任务卡在job running的一种解决办法
Hadoop 运行wordcount任务卡在runnning job的一种解决办法在使用Mac系统构建本地伪分布式hadoop系统,遇到如下问题网上有较多的解决办法,但是均不能解决我的问题,后来经 ...
loadrunner运行场景时，用户卡在run状态且退出时卡在gradual exiting状态
一.原因分析问题现象:当你设置了集合点的脚本运行场景时,出现部分用户一直卡在run状态当你没有设置集合点的脚本运行场景时,在用户退出是部分用户一直卡在gradual exiting状态,且出现错误 ...
【问题】loadrunner运行场景时，用户卡在run状态，且退出时卡在gradual exiting状态
一.WHY: 如果你设置了集合点的脚本正在运行场景时,出现一部分用户一直卡在run状态,当你没有设置集合点的脚本运行场景时,在用户退出是部分用户一直卡在gradual exiting状态,且出现错误s ...
Ubuntu16.06 单Nvidia显卡深度学习运行时界面卡顿（刷新慢）的解决方法
关于Ubuntu单Nvidia显卡深度学习运行时界面卡顿(刷新慢)的解决方法背景我在按照本链接的第二种方法安装后,成功安装cuda 10.0与cudnn之后,在深度学习训练过程中发现了严重 ...

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job相关推荐

最新文章

热门文章