通过cloudera manager 5.x添加spark服务,在创建服务过程中,发现spark服务创建失败,可以通过控制台错误输出看到如下日志信息:

+ perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf#g' /opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_1615663591259519890/spark-conf/yarn-conf/yarn-site.xml

++ get_default_fs /opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_1615663591259519890/spark-conf/yarn-conf

++ get_hadoop_conf /opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_1615663591259519890/spark-conf/yarn-conf fs.defaultFS

++ local conf=/opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_1615663591259519890/spark-conf/yarn-conf

++ local key=fs.defaultFS

++ '[' 1 == 1 ']'

++ /opt/cloudera/parcels/CDH-5.9.2-1.cdh5.9.2.p0.3/lib/hadoop/../../bin/hdfs --config /opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_on_yarn_1615663591259519890/spark-conf/yarn-conf getconf -confKey fs.defaultFS

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/hadoop/hdfs/tools/GetConf : Unsupported major.minor version 51.0

at java.lang.ClassLoader.defineClass1(Native Method)

at java.lang.ClassLoader.defineClass(ClassLoader.java:643)

at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)

at java.net.URLClassLoader.defineClass(URLClassLoader.java:277)

at java.net.URLClassLoader.access$000(URLClassLoader.java:73)

at java.net.URLClassLoader$1.run(URLClassLoader.java:212)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:205)

at java.lang.ClassLoader.loadClass(ClassLoader.java:323)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)

at java.lang.ClassLoader.loadClass(ClassLoader.java:268)

Could not find the main class: org.apache.hadoop.hdfs.tools.GetConf. Program will exit.

+ DEFAULT_FS=

根据输出日志信息大致可以判断这是因为jdk版本导致的添加spark服务失败。因为这是我全权安装的环境,所以印象中jdk版本是满足cm5安装要求的,我这里使用的是jdk1.7.0_67,如下:

# java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

You have new mail in /var/spool/mail/root

针对于目前java版本并没有问题,满足当前安装的cm5版本要求。所以判断可能是因为我是通过tar包方式安装的java的原因,正常通过rpm包安装应该没有这个问题。下面验证自己的猜测:

这里使用alternatives命令,alternatives命令通常用来管理服务器上的相同软件多版本问题。

--查看服务器java版本,发现jdk1.7.0_67没有再服务器管理之下:

[root@db01 ~]# alternatives --config java

There are 2 programs which provide 'java'.

Selection    Command

-----------------------------------------------

1           /usr/lib/jvm/jre-1.5.0-gcj/bin/java

*+ 2           /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java

Enter to keep the current selection[+], or type selection number:

--将jdk1.7.0_67添加到服务器管理中:

[root@db01 ~]# alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_67/bin/java 3

--再次查看服务器java版本信息,并且调整优先级最高的为jdk1.7.0_67:

[root@db01 ~]# alternatives --config java

There are 3 programs which provide 'java'.

Selection    Command

-----------------------------------------------

1           /usr/lib/jvm/jre-1.5.0-gcj/bin/java

*+ 2           /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java

3           /opt/java/jdk1.7.0_67/bin/java

Enter to keep the current selection[+], or type selection number: 3

[root@db01 ~]# alternatives --config java

There are 3 programs which provide 'java'.

Selection    Command

-----------------------------------------------

1           /usr/lib/jvm/jre-1.5.0-gcj/bin/java

*  2           /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java

+ 3           /opt/java/jdk1.7.0_67/bin/java

Enter to keep the current selection[+], or type selection number:

调整java版本信息后,再次添加spark服务,成功。

或者卸载原生的java版本,如:

# rpm -e java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 tzdata-java-2013g-1.el6.noarch java_cup-0.10k-5.el6.x86_64 java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64 gcc-java-4.4.7-4.el6.x86_64 --nodeps

如果以上方法不可用,采用以下方法,直接指定环境变量:

find / -type f -name "*cc.sh"
定位到/opt/program/cm-5.9.0/lib64/cmf/service/client/deploy-cc.sh

直接在上面加上

JAVA_HOME=/opt/java
export JAVA_HOME=/opt/java

CM5.x配置spark错误解决相关推荐

  1. PLSQL安装配置与错误解决

    最近要使用oracle数据库,Navicat固然好用,但同事都推荐PLSQL??于是下载安装连接了一波,中间各种配置的坑啊,记录一下 下载 PLSQL下载:可前往官网下载,也可在下边网址下啦~ htt ...

  2. Oracle19c安装教程及PLSQL配置常见错误解决办法

    本人电脑上也装了不少比较难以安装的程序,而且也亲身破解了一些软件,自己以前也安装过MySQL和DB2,原以为Oracle也差不多,直到我亲身经历了,我才知道什么是痛苦.帅帅本人在经历了长时间的折磨之后 ...

  3. eslint配置以及错误解决办法

    解决参考网址 问题黄色部分报错

  4. SQL Server HA - 数据库镜像2 (Mirroring)(1418错误解决)

    SQL Server2008数据库镜像的配置 (1418错误解决) 准备三台安装SQL的服务器,三台中两台担当惊喜数据库,一天当作监控服务器 在要做镜像的数据库之上右键单击,选择备份 备份类型为完整, ...

  5. spark on yarn 配置及异常解决

    转载请务必注明原创地址为:https://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器,它可以让多种 ...

  6. 日常工作问题解决:配置NTP服务器以及一些常见错误解决

    日常工作问题解决:配置NTP服务器以及一些常见错误解决 参考文章: (1)日常工作问题解决:配置NTP服务器以及一些常见错误解决 (2)https://www.cnblogs.com/yj411511 ...

  7. Spark程序运行常见错误解决方法以及优化

    Spark程序运行常见错误解决方法以及优化 参考文章: (1)Spark程序运行常见错误解决方法以及优化 (2)https://www.cnblogs.com/double-kill/p/901238 ...

  8. dell服务器报内存配置不正确,DELL 服务器系统提示错误解决的若干办法

    <DELL 服务器系统提示错误解决的若干办法>由会员分享,可在线阅读,更多相关<DELL 服务器系统提示错误解决的若干办法(9页珍藏版)>请在人人文库网上搜索. 1.DELL ...

  9. Xampp配置本地域名及常见错误解决

    Xampp配置本地域名及常见错误解决 本地域名配置 1.计算机-->C盘-->Windows-->System32-->drivers-->etc-->hosts ...

最新文章

  1. 数据科学中必须知道的5个关于奇异值分解(SVD)的应用
  2. Java 蓝牙无线API 简介
  3. 009_TreeSet对实现了Comparable接口的对象排序
  4. 如何评价rcnn、fast-rcnn和faster-rcnn这一系列方法?
  5. usb dfu和usb fastboot的区别
  6. 学习opencv 英文版_电子课本:苏教牛津译林 | 高中英语模块2,赶紧收藏学习吧...
  7. 搭建服务器Apache+PHP+MySql需要注意的问题
  8. Java FilterInputStream reset()方法与示例
  9. 实例解读:如何减少Docker中的Java内存消耗
  10. 在try中写了return,后面又写了finally,是先执行return还是先执行fianlly
  11. Zookeeper之数据同步原理
  12. STM32单片机配置FPGA
  13. ROS单线程与多线程处理
  14. 上海沙龙回顾 | ​字节跳动在Spark SQL上的核心优化实践
  15. 第三课 DedeCMS仿站-更换主页模板
  16. 探月工程总设计师:嫦娥四号探索结果具有原创性
  17. ERP术语解释及SAP模块介绍
  18. 机器学习学习笔记-持续学习(Continual Learning/ Life-long Learning)
  19. Macbook Pro 的 Touch Bar 中调节音量的键不能用的解决办法
  20. DuDuTalk智慧门店,助力汽车门店全链路数字化转型

热门文章

  1. Java 8 中的方法引用,轻松减少代码量,提升可读性!
  2. 面试官问:MySQL 的自增 ID 用完了,怎么办?
  3. IDEA高级用法:集成JIRA、UML类图插件、SSH、FTP、Database管理...
  4. 一次 Jar 包升级引发的血案 amp; 解决
  5. 一文讲解图像插值算法原理!附Python实现
  6. 决策树算法十问及经典面试问题
  7. 萌宝1天陪博士父母赶2场毕业典礼走红!上午是妈妈博士毕业,下午是爸爸......
  8. 你真的理解Faster RCNN吗?捋一捋Pytorch官方Faster RCNN代码
  9. 又有多省明确开学时间!哪个省份的高校全国最早开学?
  10. 有哪些适合放在程序员办公桌上的高逼格物件?哈哈哈哈哈哈哈!