zeppelin的安装以及使用

zeppelin两个版本区别：

zeppelin版本有两种分别是：zeppelin-0.7.0-bin-netinst.tgz和zeppelin-0.7.0-bin-all.tgz。主要区别是：netinst是net -install的简写，就是Interpreters自己通过网络安装，具体安装教程可以查阅官方文档，地址为：http://zeppelin.apache.org/docs/0.7.0/manual/interpreterinstallation.html，例如spark interpreter的安装时：

./bin/install-interpreter.sh --name spark --artifact org.apache.zeppelin:zeppelin-spark_2.10:0.7.0（spark2.1.0版本）

而all版本则是Interpreters都集成在压缩包中，无需网络安装了。

zeppelin安装配置：（本文使用的版本为zeppelin-0.7.0-bin-netinst.tgz）

首先，下载解压。配置必要环境变量 ,vim zeppelin-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_45
export MASTER=spark://node:7077

export SPARK_HOME=/home/daxin/bigdata/spark
export HADOOP_CONF_DIR=/home/daxin/bigdata/hadoop/etc/hadoop（可选参数，更多参数看文档）

配置vim zeppelin-site.xml

<property>
<name>zeppelin.server.addr</name>
<value>node</value>
<description>Server address</description>
</property>
<property>
<name>zeppelin.server.port</name>
<value>8181</value>
<description>设置zeppelin的端口，默认8080，容易和spark webui端口冲突，本文修改8181.</description>
</property>

最后通过上面命令安装spark interpreter。

启动Zeppelin，进入bin下，zeppelin-daemon.sh start启动。

打开：http://192.168.1.101:8181/ 创建notebook之后运行 sc.textFile("/word/").count发现提示Error。

通过查看日志可以看先：

java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V

或者

java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String;)Lorg/apache/hadoop/tracing/SpanReceiverHost;

解决方案是： hadoop2.x的common包与spark的hadoop包冲突。使用spark的包替换即可. 命令如下：

cd zeppelin/lib
rm hadoop-annotations-2.x.y.jar
rm hadoop-auth-2.x.y.jar
rm hadoop-common-2.x.y.jarcp spark/jars/hadoop-annotations-2.x.y.jar ./
cp spark/jars/hadoop-auth-2.x.y.jar ./
cp spark/jars/hadoop-common-2.x.y.jar ./

再次运行会发现：

com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.3

解决方案是：

cd zeppelin/lib
rm jackson-annotations-2.5.0.jar
rm jackson-core-2.5.3.jar
rm jackson-databind-2.5.3.jarcp spark/jars/jackson-databind-2.6.5.jar ./
cp spark/jars/jackson-core-2.6.5.jar ./
cp spark/jars/jackson-annotations-2.6.5.jar ./

更多问题可以查看日志解决。

Zeppelin的Interpreter配置：

zeppelin的安装以及使用相关推荐

Spark交互式分析平台Apache Zeppelin的安装
Zeppelin介绍 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括Spark, Hive, tajo ...
zeppelin的安装与使用
想起马上就能回家了,心情是按捺不住的激动,唉,还是继续努力吧,其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀今天我们来使用zeppelin,这个就是可以把我们查找的数据可以 ...
zeppelin k8s安装部署和基本使用教程(在线的分析工具)
全栈工程师开发手册 (作者:栾鹏) 架构系列文章官网地址: http://zeppelin.apache.org/docs/0.8.2/ k8s安装部署官网地址:http://cwiki.apac ...
zeppelin 编译安装
环境: centos6.9 cdh5.13.0 spark1.6 1.官网下载相应的编译包(本人应用 0.7.3 版本) 编译需要JDK.Git.Maven.Nodejs.npm 分别保证上述环境已经 ...
zeppelin oracle,Apache Zeppelin安装及使用
Apache Zeppelin介绍:A web-based notebook that enables interactive data analytics. You can make beauti ...
单机安装Hive和Zepplin
前提:准备好两个压缩包我这里的版本是hive1.1.0 zeppelin0.8.1 如有需要可先关注一波然后问作者要一.安装Hive 1.首先先安装mysql和hadoop!!!(此处省略一千字 ...
Apache Zeppelin：可能是开源届最好的Flink开发平台
原文:https://www.codenong.com/cs106935099/ 这个集成有点类似后来dinky 开源项目. 如果你是Flink的学习者或者爱好者,除了学习Flink本身之外,你是否在 ...
动手学Zeppelin数据挖掘生产力怪兽
Apache Zeppelin是一款类似jupyter notebook的交互式代码编辑器. 和jupyter一样,它基于web环境,在同一个notebook中逐段调试运行代码并显示运行结果,支持图形 ...
使用基于Web的交互式开发工具Zeppelin
使用基于Web的交互式开发工具Zeppelin 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称): ...

zeppelin的安装以及使用

zeppelin的安装以及使用相关推荐

最新文章

热门文章