ZeppelinSpark Zeppelin开发spark

首先配置spark的interpreter，其实并没有更改配置，其中master的配置纠结了好久因为跟网上所提供的配置方式并不一致，尝试了各种失败以及空指针后终于在网上找到一个不错的解释：
mesos模式中使用mesos://zk://zk1:2181,zk2:2182,zk3:2181/mesos或mesos://host:5050
standalone模式中使用spark://master:7077
yarn模式中使用yarn-client
在local模式中使用local[*]
在yarn模式下一般使用yarn-client而不使用yarn-cluster

之后在新建的note中开始编写，遇到第一个Bug：没有权限访问/user/root/… 寻找好久也没有找到这个目录，最后灵机一动在hadoop的user目录下新建了root目录，修改权限，成功解决第一个BUG。
继续编写，继续报错此次是Jackson版本冲突，根据网上提供解决方法查找了spark中的Jackson版本，将zeppelin中的jackson-annotations-2.5.0.jar，jackson-core-2.5.3.jar，jackson-databind-2.5.3.jar 替换成与spark版本一致的jar。
按照网上所提供的资料显示在替换之后重启zeppelin就应该可以跑通。然而并没有，，，zeppelin陷入了长期running状态，既不报错，也不停止。而且无法在zeppelin页面手动停止，要将zeppelin重启才会变成停止状态，跑了好几个小时一直是如此状态，网上寻找解决办法，但是并没有，，，于是，我决定先将Jackson的jar包改回，改回之后响应内存溢出（估计是之前的尝试，没有停掉），再次运行开始报Jackson冲突错误。然后现将zeppelin中的三个jar删除，重启zeppelin，终于跑通。
尝试的是一个网上的简单案例，在hadoop目录下新建test目录在里面写一个简单的json文件： {“name”:”Michael”}
{“name”:”Andy”, “age”:30}
{“name”:”Justin”, “age”:19}

可以成功展示出json数据，
也可以执行spark sql

呕心沥血，基本上经历了所有Bug才跑通，写了一篇文字最多的文档，愿大家少走弯路！！

ZeppelinSpark Zeppelin开发spark相关推荐

Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
maven环境下使用java、scala混合开发spark应用
熟悉java的开发者在开发spark应用时,常常会遇到spark对java的接口文档不完善或者不提供对应的java接口的问题.这个时候,如果在java项目中能直接使用scala来开发spark应用,同 ...
Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
2019独角兽企业重金招聘Python工程师标准>>> 创建一个Scala IDEA工程: 点击"Next": 点击"Finish"完成工程的 ...
spark python教程_spark2.x由浅入深深到底系列七之python开发spark环境配置
课程咨询以及领取大额优惠请加微信:bigdatatang01 以下是在mac操作系统上配置用python开发spark的环境一.安装python spark2.2.0需要python的版本是Pyth ...
使用java开发spark实战
课程内容使用java开发spark 实战一:环境搭建安装jdk 和maven. 1. 安装jdk并配置环境变量系统变量→新建 JAVA_HOME 变量 . 变量值填写jdk的安装目录(本人是 ...
3000门徒内部训练绝密视频（泄密版）第8课：彻底实战详解使用IDE开发Spark程序
彻底实战详解使用IDE开发Spark程序使用IDE开发Spark分析使用IDE开发Spark实战使用IDE开发Spark的Local和Cluster 开发两种选择:IDEA.Eclipse 下载 ...
Python的安装和使用及开发Spark
1.下载Python 点击打开链接注意:用Python开发Spark,要求JAVA 8+,Python 2.7+/3.4+ and R 3.1+ 2.安装windows版本没什么特殊技巧 3 ...
windows10下python开发spark应用的环境搭建
环境搭建主要涉及到3方面,第1是安装,第2是环境变量的配置,第3是验证安装和配置是否成功,总的涉及到以下5个部分. 环境变量配置是在此电脑 -> 属性 -> 高级系统设置 -> 高 ...
第10课：底实战详解使用Java开发Spark程序学习笔记
第10课:底实战详解使用Java开发Spark程序学习笔记本期内容: 1. 为什么要使用Java? 2. 使用Java开发Spark实战 3. 使用Java开发Spark的Local和Cluster ...

ZeppelinSpark Zeppelin开发spark

ZeppelinSpark Zeppelin开发spark相关推荐

最新文章

热门文章