使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法

最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象，当任务执行到

INFO mapreduce.Job:  map 100% reduce 0%

mapreduce任务卡在map100% ，任何reduce不继续执行。

总结了以下解决办法：

一，如果没有报错的话，可能是你mysql的数据库建表指定的主键不全，导致导入一部分数据后，主键出现相同字段，那么就造成阻塞了

二，如果报错的话，可能就是配置问题，集群无法承载如此大量数据的处理，资源紧张导致的阻塞

对于第一种，仔细查看表的结构，看看是否有的字段长度不够，或者建表时指定的主键不够全

第二个错误，可以配置一下yarn-site.xml文件

1. <property>  2.     <name>yarn.nodemanager.resource.memory-mb</name>  3.     <value>20480</value>  4. </property>  5. <property>  6.    <name>yarn.scheduler.minimum-allocation-mb</name>  7.    <value>2048</value>  8. </property>  9. <property>  10.     <name>yarn.nodemanager.vmem-pmem-ratio</name>  11.     <value>2.1</value>  12. </property>

重启yarn尝试重新运行试试。

使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法相关推荐

sqoop从HDFS导出数据到Mysql，卡在Running job: job_1571036741208_0010不动了，或者map 100% reduce 0%不动了
用sqoop从HDFS导出数据到mysql,一直卡在Running job: job_1571036741208_0010,应该是内存太小,导致速度太慢在 yarn-site-xml中增加下面两个, ...
Endnote在Word中导入的参考文献忽然变成带有大括号类似｛#｝的代码的解决办法
最近用Endnote插入参考文献的时候,突然发现导入的参考文献变成了带有大括号类似{#}的代码,且导入压根不成功,这个问题目前我发现了两种不同的情况,下面分别记录一下解决办法: 这个是标题0.0 ...
elasticsearch备份与恢复4_使用ES-Hadoop将ES中的索引数据写入HDFS中
背景知识见链接:elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中项目参考<Elasticsearch集成Hadoop最佳实践> ...
PowerDesigner中导入MYSQL数据库结构的步骤
数据预处理阶段暂时先告一段落,现在来看看如何设计表之间的关联关系.因此需要一些专门的工具来设计和处理表之间的关系,这里我们选用工具PowerDesigner.由于我用的数据库是MySQL,其他数据库也 ...
mysql一张表1亿天数据_1亿条数据在PHP中实现Mysql数据库分表100张
转: 1亿条数据在PHP中实现Mysql数据库分表100张 http://php-z.com/thread-2115-1-1.html (出处: PHP-Z) 当数据量猛增的时候,大家都会选择库表散列 ...
android导入relinker_AE素材导入插件下载 AE导入AAF时素材自动重新链接工具 AAF Relinker v1.0 免费版下载-脚本之家...
AAF Relinker是一款AE脚本导入AAF文件自动重新链接任何素材工具,在AE中导入AAF时,即使名称和持续时间略有不同,也会自动重新链接素材,非常适用.需要的朋友可下载! Relinks fo ...
暗黑地牢dlc文件夹或mods文件夹中某个mod在初始界面开新档不显示/不加载的解决办法
暗黑地牢 Darkest Dungeon dlc文件夹或mods文件夹中某个mod在初始界面开新档不显示/不加载的解决办法 (记录博文) 相关提示检查mod完整性(参考正确的mod文件结构进行判断) ...
vue中使用海康插件实现视频监控-流不稳定导致视频断开前端解决办法
vue中使用海康插件实现视频监控-流不稳定导致视频断开前端解决办法配置和启用海康插件详情看本人博客链接:https://blog.csdn.net/jinglianglove/article/de ...
uniapp 开发APP 安卓手机中在使用nvue时候 border的dashed和radius可能会有冲突的解决办法
uniapp 开发APP 安卓手机中在使用nvue时候 border的dashed和radius可能会有冲突的解决办法在开发中发现如果同时给了圆角和虚线虚线属性会有问题分别设置圆角四个角 ...

使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法

使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法相关推荐

最新文章

热门文章