cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项

1、环境

cdh5.12.3

spark2 2.3.0

2、需要本地地洞spark2-shell用于环境测试

错误一：Error: A JNI error has occurred, please check your installation and try again

Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger

at java.lang.Class.getDeclaredMethods0(Native Method)

at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)

at java.lang.Class.privateGetMethodRecursive(Class.java:3048)

at java.lang.Class.getMethod0(Class.java:3018)

at java.lang.Class.getMethod(Class.java:1784)

at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)

at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)

Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger

at java.net.URLClassLoader.findClass(URLClassLoader.java:381)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 7 more

错误一

需要配置spark-env.sh 指定HADOOP_CONF_DIR

错误二：Error: Cluster deploy mode is not applicable to Spark shells.

Run with --help for usage help or --verbose for debug output

错误二

注意，spark2-shell运行在yarn上面，需要指定模式yarn-client，如果指定yarn-cluster，则会报错：

Error: Cluster deploy mode is not applicable to Spark shells.

因为spark-shell作为一个与用户交互的命令行，必须将Driver运行在本地，而不是yarn上。

其中的参数与提交Spark应用程序到yarn上用法一样。

正确启动方式：spark2-shell --master yarn --deploy-mode client

3、启动成功标识：

启动成功

cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项相关推荐

C++笔记之linux下非阻塞多线程运行多个系统shell命令(popen方法)
参考博文:C++ linux 睡眠函数sleep和std::this_thread::sleep_for 参考博文:C++笔记之linux下运行系统shell命令(popen方法)函数封装参考博文: ...
linux 关闭redis 命令_linux关闭redis命令 redis配置redis的服务器启动和关闭 - Redis - 服务器之家...
linux关闭redis命令 redis配置redis的服务器启动和关闭发布时间:2017-04-13 来源:服务器之家 # chkconfig: 2345 10 90 # description: ...
分享平时工作中那些给力的shell命令（更新版）
分享平时工作中那些给力的shell命令(更新版) 分享平时工作中那些给力的shell命令---(Notice: 蓝色部分为在网友孤风颠影基础上新增加内容) 原帖地址为:http://yunhaozou ...
分享平时工作中那些给力的shell命令
标签:基础工作原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明.否则将追究法律责任.http://255361.blog.51cto.com/245361/836 ...
java linux命令远程执行_java执行远程服务器上的shell命令
所需jar包,commons-io-2.6.jar, ganymed-ssh2-262.jar import ch.ethz.ssh2.ChannelCondition; import ch.ethz ...
php异步处理shell,如何在Linux和Windows环境中使用PHP执行Shell命令而无需等待结果(异步)...
在许多情况下, 你宁愿使用控制台而不是UI来执行php脚本, 但是在某些情况下, 使用UI是触发操作的唯一方法. 可能你已经知道如何使用PHP执行bash任务, 但是如果你的任务太繁重且完成时间太长怎 ...
linux清除ip地址命令,iproute 安装包中 12个 ip 常用命令
一年又一年,我们一直在使用 ifconfig 命令来执行网络相关的任务,比如检查和配置网卡信息.但是ifconfig 已经不再被维护,并且在最近版本的 Linux 中被废除了! ifconfig 命令 ...
awk命令中执行多条shell命令
awk中使用的shell命令,有2种方法: 一.使用system() 二.使用print cmd | "/bin/bash" http://www.gnu.org/software ...
Redis Monitor命令 - 实时打印出Redis服务器接收到的命令，调试用
Redis Monitor 命令用于实时打印出Redis服务器接收到的命令,调试用. 语法 redis Monitor命令基本语法如下: redis 127.0.0.1:6379> MONITO ...
Windows中使用Java执行shell命令运行检测，通过sonarqube的webapi获取扫描结果
目录 1,实验环境 2,前言(环境配置) 3,通过Java执行shell命令扫描项目 3.1 主要思路 3.2 参考代码 3.3 运行效果 4,通过sonarqube的webapi获取项目扫描结果 4 ...

cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项

cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项相关推荐

最新文章

热门文章