spark和zeppelin实践二：安装spark和zeppelin

一、Spark安装

1、安装spark

#http://spark.apache.org/downloads.html
#wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgzcd /home/ztgame
tar zxvf spark-2.0.1-bin-hadoop2.7.tgz
ln -s /home/ztgame/soft/spark-2.0.1-bin-hadoop2.7 /home/ztgame/soft/spark

2、配置Spark

1) 设置Spark环境变量

vim .bash_profile 或 /etc/profile
export SPARK_HOME=/home/ztgame/soft/spark
export PATH=$SPARK_HOME/bin:$PATHecho $SPARK_HOME

2)修改spark-env.sh

cd $SPARK_HOME
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
加入
export SPARK_DIST_CLASSPATH=$(/home/ztgame/soft/hadoop/bin/hadoop classpath)export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/ztgame/soft/mysql-connector-java-5.1.38.jar

3)运行

cd $SPARK_HOME
./bin/run-example SparkPi
#./sbin/spark-daemon.sh start

4)Spark Shell 进行交互分析
./bin/spark-shell

二、Zeppelin安装

1、安装zeppelin

#http://zeppelin.apache.org/download.html
#wget http://mirrors.cnnic.cn/apache/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgzcd /home/ztgame/soft
tar zxvf zeppelin-0.6.2-bin-all.tgz
ln -s /home/ztgame/soft/zeppelin-0.6.2-bin-all /home/ztgame/soft/zeppelin

2、配置
文档参见： http://zeppelin.apache.org/docs/0.6.2/install/install.html

1) 设置zeppelin环境变量

vim .bash_profile 或 /etc/profile
export ZEPPELIN_HOME=/home/ztgame/soft/zeppelin
export PATH=$ZEPPELIN_HOME/bin:$PATHecho $ZEPPELIN_HOME

2)修改zeppelin-env.sh

cd $ZEPPELIN_HOME
cp ./conf/zeppelin-env.sh.template ./conf/zeppelin-env.sh
vim ./conf/zeppelin-env.sh#export ZEPPELIN_PORT=18081export SPARK_HOME=/home/ztgame/soft/spark
export HADOOP_CONF_DIR=/home/ztgame/soft/hadoop
export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"cp ./conf/zeppelin-site.xml.template ./conf/zeppelin-site.xml
vim ./conf/zeppelin-site.xml
18081
sed -i 's/8080/18081/' ./conf/zeppelin-site.xml

3)运行

cd $ZEPPELIN_HOME
./bin/zeppelin-daemon.sh start
./bin/zeppelin-daemon.sh stop

4)测试
打开网址：http://192.168.94.103:18081/

5）问题总结

问题1：不执行或者执行出错。
环境变量重新配置一下，刷新一下。

问题2：com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.3
zeppelin目录下jackson版本和sprak目录下的版本不一致
替换/home/ztgame/soft/spark/jars目录下的jackson-databind-2.6.5.jar jackson-core-2.6.5.jar jackson-annotations-2.6.5.jar到zeppelin/lib

cd /home/ztgame/soft/zeppelin/lib
rm -f jackson-annotations-2.5.0.jar
rm -f jackson-core-2.5.3.jar
rm -f jackson-databind-2.5.3.jarcp /home/ztgame/soft/spark/jars/jackson-databind-2.6.5.jar /home/ztgame/soft/zeppelin/lib/
cp /home/ztgame/soft/spark/jars/jackson-core-2.6.5.jar /home/ztgame/soft/zeppelin/lib/
cp /home/ztgame/soft/spark/jars/jackson-annotations-2.6.5.jar /home/ztgame/soft/zeppelin/lib/

问题3：java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get
zeppelin目录下hadoop版本和sprak目录下的版本不一致，把相应的jar包替换过去

cd /home/ztgame/soft/zeppelin/lib
rm -f hadoop-annotations-2.6.0.jar
rm -f hadoop-auth-2.6.0.jar
rm -f hadoop-common-2.6.0.jarcp /home/ztgame/soft/spark/jars/hadoop-annotations-2.7.3.jar /home/ztgame/soft/zeppelin/lib/
cp /home/ztgame/soft/spark/jars/hadoop-auth-2.7.3.jar /home/ztgame/soft/zeppelin/lib/
cp /home/ztgame/soft/spark/jars/hadoop-common-2.7.3.jar /home/ztgame/soft/zeppelin/lib/

问题4：java.sql.SQLException: Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@5a0039e7, see the next exception for details
只是要注意一点：在运行程序之前，千万不要运行脚本sbin/start-thriftserver.sh,否则自己写的程序是无法运行的
情形一：已经有一个hive连接在访问Derby创建的metastore_db文件夹，由于Derby数据库自身的缺点--仅支持一个链接对其进行访问，所以这时，如果再有一个终端调用hive，就有第二个链接访问Derby数据库了，就会抛出这个异常。
解决方法很简单。用mysql作为元数据仓库，mysql支持多链接访问，这个问题就不存在了。
情形二：突然离线，易造成hive没能来得及删除自动创建的metastore_db文件夹(~home/bin/metastore_db),这时再次用hive命令进入，则会产生如下报错。
解决这一问题很简单。将metastore_db文件夹改名或者干脆删除，然后重新运行hive命令启动即可。

spark和zeppelin实践二：安装spark和zeppelin相关推荐

linux启动spark命令,在linux上安装spark
第一.通过xftp工具将spark安装包上传到linux上第二.解压spark到指定目录: tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz ...
编写一个脚本判断某个用户是否处在活动模式_大数据技术之Spark内核解析（二）Spark 部署模式...
Spark支持3种集群管理器(Cluster Manager),分别为: 1. Standalone:独立模式,Spark原生的简单集群管理器,自带完整的服务,可单独部署到一个集群中,无需依赖任何其他 ...
Spark内核解析之二：Spark 部署模式
前言 Spark支持3种集群管理器(Cluster Manager),分别为: Standalone:独立模式,Spark原生的简单集群管理器,自带完整的服务,可单独部署到一个集群中,无需依赖任何其他 ...
二、安装Spark集群
[一个很疑惑的问题]为什么我们一直在反复做一个操作:就是scp拷贝过来拷贝过去? [答案]这是为了将文件或目录的权限修改成hadoop所属组. 一. 下载Spark安装包并传给mster机器,使权限是 ...
基于Spark的机器学习实践 (三) - 实战环境搭建
0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配 ...
基于Spark的机器学习实践 (九) - 聚类算法
0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类.回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类.回归算法 ...
Spark机器学习实战 (十二) - 推荐系统实战
0 相关源码将结合前述知识进行综合实战,以达到所学即所用.在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统. 1 ...
Spark教程（三）—— 安装与使用
Spark可以独立安装使用,也可以和Hadoop一起安装使用.本教程中,我们采用和Hadoop一起安装使用,这样,就可以让Spark使用HDFS存取数据.需要说明的是,当安装好Spark以后,里面就自 ...
基于Spark的机器学习实践 (七) - 回归算法
0 相关源码 1 回归分析概述 1.1 回归分析介绍 ◆ 回归与分类类似,只不过回归的预测结果是连续的,而分类的预测结果是离散的 ◆ 如此,使得很多回归与分类的模型可以经过改动而通用 ◆ 因此对于回归 ...

spark和zeppelin实践二：安装spark和zeppelin

spark和zeppelin实践二：安装spark和zeppelin相关推荐

最新文章

热门文章