Spark 提交yarn 虚拟内存不足解决方法

针对 spark2.0 以yarn方式启动spark-shell抛出异常：ERROR cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessful

提交任务时候，任务状态从UNDEFINED变成FAILED，在Yarn WEBUI端任务对应Final Status，但是Status是FINISHED

解决方案：

主要是因为给节点分配的内存较少，导致 yarn 杀掉了 spark application，
所以给yarn-site.xml增加配置：

在master上将hadoop，spark服务停掉

在master上修改yarn-site.xml

<--  取消物理内存检查  -->
<property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value>
</property>
<--  取消虚拟内存检查  -->
<property> <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>4</value>
</property> ```

将master上将l修改后的yarn-site.xm文件覆盖到各个slaves节点
重新启动hadoop,spark任务
验证spark on yarn是否正常运行

如有错误，欢迎私信纠正，谢谢支持！

Spark 提交yarn 虚拟内存不足解决方法相关推荐

jquery submit()不能提交表单的解决方法
jquery submit()不能提交表单的解决方法参考文章: (1)jquery submit()不能提交表单的解决方法 (2)https://www.cnblogs.com/war-hzl/p/ ...
Spark程序运行常见错误解决方法以及优化
Spark程序运行常见错误解决方法以及优化参考文章: (1)Spark程序运行常见错误解决方法以及优化 (2)https://www.cnblogs.com/double-kill/p/901238 ...
Spark面对OOM问题的解决方法及优化总结 (转载)
Spark面对OOM问题的解决方法及优化总结 (转载) 转载地址: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的 ...
git提交大文件的解决方法
git提交大文件的解决方法参考文章: (1)git提交大文件的解决方法 (2)https://www.cnblogs.com/perryxiong/p/5606525.html 备忘一下.
Visual Studio无法推送提交到Github的解决方法
Visual Studio无法推送提交到Github的解决方法参考文章: (1)Visual Studio无法推送提交到Github的解决方法 (2)https://www.cnblogs.com/ ...
win7怎么看计算机内存不足,Win7电脑提示虚拟内存不足怎么办？Win7电脑虚拟内存不足解决方法...
我们在使用电脑的过程中,难免会遇到大大小小的问题,比如打开某个软件或者游戏之后,出现了电脑虚拟内存不足的问题,那么Win7电脑提示虚拟内存不足怎么办?下面装机之家分享一下Win7电脑虚拟内存不足解决方 ...
SVN版本管理工具使用中常见的代码提交冲突问题的解决方法
相信刚开始学习使用SVN的小伙伴在项目合作开发的过程中一定经常遇到一些影响到自己编写的代码的苦恼,我这里列举了几种常见的问题以及问题的解决方法: 1.误删除和误操作的问题问题1:有A和B两个人一块合 ...
Spark面对OOM问题的解决方法及优化总结
转载请保持完整性并注明来源链接: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况 ma ...
Git - 提交时没有权限解决方法
Git - 提交时提示"Please make sure you have the correct access rights and the repository exists." ...
Flask一个页面多个form提交的问题及解决方法
出于简化交互的考虑,我们经常见到很多网站把登录页面和注册界面放在同一个页面上,而当我们使用Flask来实现时,却发现问题重重: 1.不管是哪个表单按下了提交按钮,总是提交第一个表单的数据: 2.当一个 ...

Spark 提交yarn 虚拟内存不足解决方法

解决方案：

Spark 提交yarn 虚拟内存不足解决方法相关推荐

最新文章

热门文章