SparkContext: Error initializing SparkContext解决方法
SparkContext: Error initializing SparkContext解决方法
Spark在配置高可用集群中，出现报错
ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused;
这是因为我们配置了Spark日志存储在HDFS中，但是在开启Spark集群后，却没有打开Hadoop，造成提交任务时报错。
解决方案：
- 不再存储事件日志
找到Spark安装目录/conf/spark-defaults.conf文件，如图所示，注释掉相应事件日志部分
- 将事件日志存在本地，而非HDFS中
将上图中第二行的目录替换为Linux本地目录 - 启动Hadoop集群（即HDFS服务）
究其出错原因，还是我们配置了spark日志存储于HDFS中，但是缺没有打开HDFS，所以开启Hadoop集群即可
SparkContext: Error initializing SparkContext解决方法相关推荐
- ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars ...
- ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo
ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo ...
- spark Error initializing SparkContext System memory 466092032 must be at least 471859200.
ERROR SparkContext: Error initializing SparkContext. Java.lang.IllegalArgumentException: System memo ...
- mysql source导入报错ERROR 1366的解决方法
mysql source导入报错ERROR 1366的解决方法 参考文章: (1)mysql source导入报错ERROR 1366的解决方法 (2)https://www.cnblogs.com/ ...
- 【转】nginx提示：500 Internal Server Error错误的解决方法
[转]nginx提示:500 Internal Server Error错误的解决方法 参考文章: (1)[转]nginx提示:500 Internal Server Error错误的解决方法 (2) ...
- yum安装软件包提示Error Downloading Packages解决方法
yum安装软件包提示Error Downloading Packages解决方法 参考文章: (1)yum安装软件包提示Error Downloading Packages解决方法 (2)https: ...
- 启动Jupyter Notebook时出现Kernel error错误的解决方法
启动Jupyter Notebook时出现Kernel error错误的解决方法 方法如下: 1.打开Anaconda Prompt,然后输入jupyter kernelspec list,查看一下 ...
- python socket.error: [Errno 10054] 解决方法
python socket.error: [Errno 10054] 解决方法 参考文章: (1)python socket.error: [Errno 10054] 解决方法 (2)https:// ...
- python中使用pip安装报错：Fatal error in launcher... 解决方法
python中使用pip安装报错:Fatal error in launcher... 解决方法 参考文章: (1)python中使用pip安装报错:Fatal error in launcher.. ...
最新文章
- 汉恩互联「绘动画室」，触摸背景墙
- oracle数据库常用关键字以及写法
- Android开发面试题Service之startService和bindService之间的区别
- C# 10 完整特性介绍
- Java中的Unsafe在安全领域的一些应用总结和复现
- 今天预计有多少人买饭团？李彦宏说百度用PaddlePaddle给答案
- 会自动消失的提示信息
- 一种本地和云端相结合的语音识别系统及方法与流程
- ping，python实现批量ping包工具--小案例
- 深度解读旷视招股书：这557页带你看懂中国AI公司的生意经
- arduino教程汇总
- 十大精选开源软件推荐：编程化繁为简
- linux: 未知的名称或服务 Caused by: java.net.UnknownHostException: smn01: Name or service not known
- 句法引导的机器阅读理解
- laravel集成谷歌验证_如何将Google的两因素身份验证添加到Laravel
- Eclipse基础知识
- Android 使用MediaPlayer播放本地raw资源超简单实现点击播放效果
- Microsoft Visual C++ 和 Borland C++ Builder 之比较
- 创凡PC120的系统安装三步曲
- 解决配置vim之后不能鼠标右键复制问题