Zeppelin的求学之路（1）—— 简介 和 从源码Build的安装并配置他的Spark解析器
Zeppelin
Zeppelin的简介
上面的截图就是官网对zeppelin的介绍，简洁明了——基于web端的notebook可以实现数据驱动，交互式数据分析，支持多种数据处理引擎，比如SQL,Scala,Spark,Hive等。当然我理解的Zeppelin就是整合了多种编程语言，比如Java，Scala，SQL,Python等，支持多种数据处理引擎进行数据处理分析，并且实现WEB可视化的一个工具，即将数据处理分析的多路英雄好汉汇集在一起！
Zeppelin的安装：
我安装的是最新版本0.73版的zeppelin，但是安装之前，你一定要明确你的环境，它要求java jdk1.7以上，window7以上具体看下面的截图吧。
Zeppelin有两种安装方式:
1:直接下载他的二进制安装包，官方提供了二种安装包，一种含有all interpreters；另一种net-install interpreters，对于我们这样的新手小白，当然推荐第一种。具体的傻瓜式tar命令解压安装就不扯了，
并且附上各种版本下载传送门，小伙伴自己对照要求自己挑新娘：
命令行duceker命令下载：http://zeppelin.apache.org/download.html
一键点击下载：http://www.apache.org/dyn/closer.cgi/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz
2:自己根据集群不同的interpreters版本，Building from Source,因为我集群Hadoop2.5的，和最新版的Zeppelin 存在这版本不兼容问题，所以我采取了第二种build方式。大家可以对照一下自己可不可以安装0.73版本的。但是该有的硬性环境要求还是该有的，请看⬇️
| Name | Value |
|---|---|
| Git | (Any Version) |
| Maven | 3.1.x or higher |
| JDK | 1.7 |
-Pspark-2.1
-Pspark-2.0
-Pspark-1.6
-Pspark-1.5
-Pspark-1.4
-Pcassandra-spark-1.5
-Pcassandra-spark-1.4
-Pcassandra-spark-1.3
-Pcassandra-spark-1.2
-Pcassandra-spark-1.1-Phadoop-0.23
-Phadoop-1
-Phadoop-2.2
-Phadoop-2.3
-Phadoop-2.4
-Phadoop-2.6
-Phadoop-2.7-Pscala-2.10
-Pscala-2.11Building from Souce:
在build之前，先对下面要用到的命令做个简单的介绍。
（1）git ：Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。想更具体了解git命令和介绍的请点击下面的传送门
git教程传送门：https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/001373962845513aefd77a99f4145f0a2c7a7ca057e7570000
git下载传送门：https://git-scm.com/downloads
（2）mvn：Maven是现在Java社区中最强大的项目管理和项目构建工具
maven教程传送门：https://www.cnblogs.com/jingmoxukong/p/5591368.html
maven下载传送门：http://maven.apache.org/download.cgi
Step1: 解决你自己的环境问题，1: install requirement 2:install maven
1:install requirement
sudo apt-get update
sudo apt-get install git
sudo apt-get install openjdk-7-jdk //如果你的jdk版本比这个高可以忽略这一条命令
sudo apt-get install npm
sudo apt-get install libfontconfig2:install maven
wget http://www.eu.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
sudo tar -zxf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
sudo ln -s /usr/local/apache-maven-3.3.9/bin/mvn /usr/local/bin/mvnStep2:利用git clone命令 克隆zeppelin仓库到你的机子上
git clone https://github.com/apache/zeppelin.git 首先看完git教程的你，要建立一个自己的本地git仓库，然后cd到仓库内进行命令操作
Step3: Build Source
mvn clean package -DskipTests [Options] 利用mvn下载各种解析器的包，【options】可以换成各种解析器版本# update all pom.xml to use scala 2.11
./dev/change_scala_version.sh 2.11 不要忘了敲这条命令，我开始没注意，各种失败，各种坑
# build zeppelin with all interpreters and include latest version of Apache spark support for local mode.
mvn clean package -DskipTests -Pspark-2.0 -Phadoop-2.4 -Pyarn -Ppyspark -Psparkr -Pr -Pscala-2.11 具体你需要哪种解释器版本可以有选择的修改和删减，可以参考上面发的大版本选择。当然你也可以选择更详细版本的解析器比如：
mvn clean package -Pspark-1.5 -Dhadoop.version=2.6.0-cdh5.5.0 -Phadoop-2.6 -Pvendor-repo -DskipTestsStep4（可选）: 如果你需要将它build 成一个distribution包的话，然后将这个快照压缩包上传到你的无外网集群上可以选择下面这个命令。
mvn clean package -Pbuild-distr -Pspark-1.5 -Phadoop-2.4 -Pyarn -Ppyspark比如我的：注意
蓝色关键字命令 与 Step3 不Build 成 distribution的区别
DskipTests 命令是跳过build中间的 繁琐的test环节
mvn clean package -DskipTests -Pbuild-distr -Pspark-2.1 -Phadoop-2.4 -Pyarn -Pscala-2.11
Step5:开启本地的单机版的zeppelin
build成功或者安装成功之后，cd 到bin目录，就可以用下面的命令启动它的脚本了。登陆到web： localhost：8080 你就可以尝试它的功能，请看下图！
./bin/zeppelin-daemon.sh start ;//启动./bin/zeppelin-daemon.sh stop; //停止./bin/zeppelin-daemon.sh status;//查看状态坑：zeppelin默认的启动端口是8080，如果你的这个端口被占用了，需要进入conf目录下，
将 zeppelin-site.xml.template 修改为 zeppelin-site.xml（可以修改端口等基本配置信息）
修改 zeppelin-site.xml中的 zeppelin.server.port 端口改成8089
将zeppelin-env.sh.template 修改为zeppelin-env.sh ，并且配上JAVA_HOME,SPARK_HOME 等相关配置。
Zeppelin的求学之路（1）—— 简介 和 从源码Build的安装并配置他的Spark解析器相关推荐
- Java_io体系之BufferedWriter、BufferedReader简介、走进源码及示例——16
Java_io体系之BufferedWriter.BufferedReader简介.走进源码及示例--16 一:BufferedWriter 1.类功能简介: BufferedWriter.缓存字符输 ...
- Java_io体系之RandomAccessFile简介、走进源码及示例——20
Java_io体系之RandomAccessFile简介.走进源码及示例--20 RandomAccessFile 1. 类功能简介: 文件随机访问流.关心几个特点: 1.他实现的接口不再 ...
- LambdaMART简介——基于Ranklib源码（一 lambda计算）
LambdaMART简介--基于Ranklib源码(一 lambda计算) 时间:2014-08-09 21:01:49 阅读:168 评论:0 收藏:0 ...
- LambdaMART简介——基于Ranklib源码（二 Regression Tree训练）
LambdaMART简介--基于Ranklib源码(二 Regression Tree训练) 上一节中介绍了 λ λ 的计算,lambdaMART就以计算的每个doc的 λ λ 值作为label ...
- Java_io体系之CharArrayReader、CharArrayWriter简介、走进源码及示例——13
转载自 Java_io体系之CharArrayReader.CharArrayWriter简介.走进源码及示例--13 一:CharArrayReader 1.类功能简介: 字符数组输入流car ...
- OTA 简介和常见源码目录-1
OTA 简介和常见源码目录 1.OTA 简介 OTA(OVER-the-air Technology)空中下载技术.是通过移动通信(GSM或CDMA)的空中接口对SIM卡数据以及应用进行远程管理的技术 ...
- Java_io体系之PipedInputStream、PipedOutputStream简介、走进源码及示例——06
Java_io体系之PipedInputStream/PipedOutputStream简介.走进源码及示例--06 --管道输出流.必须建立在管道输入流之上.所以先介绍管道输出流.可以先看源码或者总 ...
- Java_io体系之PipedWriter、PipedReader简介、走进源码及示例——14
Java_io体系之PipedWriter.PipedReader简介.走进源码及示例--14 --管道字符输出流.必须建立在管道输入流之上.所以先介绍管道字符输出流.可以先看示例或者总结.总结写的有 ...
- MD5简介及其算法源码
MD5简介 (源码下载) (摘自百度http://baike.baidu.com/view/7636.htm) MD5的全称是Message-digest Algorithm 5(信息-摘要算法),在 ...
- 【Android 逆向】整体加固脱壳 ( 脱壳点简介 | 修改系统源码进行脱壳 )
文章目录 一.脱壳点简介 二.修改系统源码进行脱壳 一.脱壳点简介 在上一篇博客 [Android 逆向]整体加固脱壳 ( DEX 优化流程分析 | DexPrepare.cpp 中 rewriteD ...
最新文章
- interceptor拦截器典型应用实例----数据稽核
- 不想当管理者、甚至连项目经理都也不想当，只想静心写写代码、不做管理
- Ehcache（06）监听器
- 转: 用 Eclipse 平台进行 C/C++ 开发
- java程序里繁体字显示为方块_网页 俄罗斯方块
- android通过代码设置铃声_第六十四回：Android中UI控件之SeekBar
- 殊途同归？ 亚马逊和微软都选了云业务老大当公司CEO
- 华为媒体服务器在哪个文件夹,plex媒体服务器地址
- 用Flask封装下Ansible提供后端API
- solr索引大小对比
- 9.1.4 前端 - HTML body标签 - 标题,段落,分割线,换行，特殊符号，列表，超链接，图片，div/span,表格，表单，input标签，多行文本，单选／多选，下拉，按钮...
- sqlalchemy mysql配置中怎么设置utf8_python – 使用SQLAlchemy和pymysql,如何设置连接以使用utf8mb4？...
- 动态规划-背包问题求解过程【代码 from eason】
- 【excel入门学习】
- 【协程】MyCoroutine轻量级协程框架代码详细剖解
- 工业用科技激光SLAM拣货潜伏式AGV多层料箱机器人｜海格里斯HEGERLS助你实现生产全自动化
- 如何通过AWS Route53注册域名
- 我叫mt4最新服务器,我叫MT4手游开服表_我叫MT4手游开服时间表_新服新区预告_第一手游网...
- 华为发布新一代5G网络解决方案，加速5G生态发展
- 企业如何成功？先看公司战略(二）