yarn-cluste问题

java.lang.IllegalArgumentException: System memory 238551040 must be at least 4.718592E8. Please use a larger
heap size.解决  --driver-memory 1g  提升driver的内存报错Stack trace: ExitCodeException exitCode=127: ， 不知道什么错误通过 yarn logs -applicationId application_1541057451280_0013|more 查看日志ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Pleas
e check earlier log output for errors. Failing the application.解决方法：资源不能分配过大,或者没有把.setMaster("local[*]")去掉，
所以设置driver-menory 512M
数据成功插入数据库中， 但是任务的状态仍然是失败的。Application application_1541057451280_0017 failed 2 times due to AM Container for appattempt_1541057451280_0017_000002 exited with  exitCode: -1000
For more detailed output, check the application tracking page: http://chb0-179005:8088/cluster/app/application_1541057451280_0017 Then click on links to logs of each attempt.
Diagnostics: File does not exist: hdfs://chb0-179004:8020/user/root/.sparkStaging/application_1541057451280_0017/__spark_conf__1430427675917075383.zip
java.io.FileNotFoundException: File does not exist: hdfs://chb0-179004:8020/user/root/.sparkStaging/application_1541057451280_0017/__spark_conf__1430427675917075383.zip
参考https://bbs.csdn.net/topics/392169982
设置spark.yarn.jars  spark.yarn.driver.memoryOverhead
spark.yarn.executor.memoryOverhead spark.executor.extraClassPath=hdfs://chb0-179004/spark_libs/*.jar
spark.driver.extraClassPath=hdfs://chb0-179004/spark_libs/*.jarspark.executor.extraLibraryPath {{spark_hadoop_lib_native}}:hdfs://chb0-179004:8020/apps/spark/source/lib/*
spark.driver.extraLibraryPath {{spark_hadoop_lib_native}}:hdfs://chb0-179004:8020/apps/spark/source/lib/*spark.yarn.jar
spark.yarn.jars hdfs://chb0-179004/spark_libs/*.jar
spark.yarn.archive18/11/03 14:49:10 INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (3840 M
B per container)发现 memoryStore分配比较多
18/11/03 15:36:45 INFO MemoryStore: MemoryStore started with capacity 1259.8 MB18/11/03 15:36:47 INFO BlockManagerMasterEndpoint: Registering block manager localhost:46292 with 1259.8 MB RAM, BlockManagerId(driver, l
ocalhost, 46292)18/11/03 15:36:53 ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output f
or errors. Failing the application.

yarn-cluste问题相关推荐

Spark on YARN cluster client 模式作业运行全过程分析
一.Spark:Yarn-Cluster 与 Yarn-Client 的区别与联系我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和ya ...
centos 安装 node12以及yarn
安装node 12 curl -sL https://rpm.nodesource.com/setup_12.x | bash - yum install nodejs 安装yarn curl -sL ...
2021年大数据Hadoop（二十九）：关于YARN常用参数设置
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言关于yarn常用参数设置设置container分配最小内 ...
2021年大数据Hadoop（二十七）：YARN运行流程
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn运行流程本系列历史文章 2021年大数据Hado ...
2021年大数据Hadoop（二十六）：YARN三大组件介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn三大组件介绍 ResourceManager No ...
2021年大数据Hadoop（二十五）：YARN通俗介绍和基本架构
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 YARN通俗介绍和基本架构 Yarn通俗介绍 Yarn基本 ...
2021年大数据Flink（六）：Flink On Yarn模式
目录 Flink On Yarn模式原理为什么使用Flink On Yarn? Flink如何和Yarn进行交互? 两种方式操作 1.关闭yarn的内存检查 2.同步 3.重启yarn 测试 S ...
2021年大数据Spark（九）：Spark On Yarn两种模式总结
目录 Spark On Yarn两种模式引入一.当一个MR应用提交运行到Hadoop YARN上时二.当一个Spark应用提交运行在集群上时注意 client 模式 cluster 模式总结 ...
spark提交到yarn_详细总结spark基于standalone、yarn集群提交作业流程
最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式. spark运行模式 (1)local:在本地eclipse.IDEA中写spark代码运行程序,一般用于测试 ...
【JavaScript】Ubuntu16.04安装vscode+npm+yarn
一.安装vscode vscode官网(https://code.visualstudio.com/)下载linux deb文件下载deb后,使用dpkg -i 命令安装 sudo dpkg -i ...

yarn-cluste问题

yarn-cluste问题相关推荐

最新文章

热门文章