Spark2.0.2+Zeppelin0.6.2 环境搭建 初探
0.抱怨与其他(此部分与标题没有太多联系):
首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人。
就在写这篇博客的同一天,我还写了另一篇,是
Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程
坑人的地方在哪里呢,Zeppelin0.6.2不支持Spark2.1.0这个版本
于是我又仔细的查看了官网的教程:
得出的结论是我必须要装老版本的,还好的是支持Spark2.0,于是我又安装了Spark2.0.2
不过呢如果你没有任何的集群环境,上面这篇是值得参考的,只不过你得自己改下版本号,从2.1.0到2.0.2,其他完全一样。
1.下载Zeppelin
wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz
2.解压并移动到相应的文件夹:
tar -xvf zeppelin-0.6.2-bin-all.tgzmv zepplin-0.6.2-bin-all /opt
3.安装并修改配置文件:
(1)安装
网络安装版需要运行下面的命令:
./bin/install-interpreter.sh --all
而完整版不需要,直接进入到zeppelin的根目录修改配置文件即可。
cd zepplin-0.6.2-bin-all
(2)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_112/ export MASTER="spark://master:7077" export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/export HADOOP_HOME=/opt/hadoop-2.7.3/ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
(3)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-site.xml
为了防止端口冲突我们将8080改为8099,具体情况要看自己的机子决定:
<property><name>zeppelin.server.port</name><value>8099</value><description>Server port.</description> </property>
4.启动或关闭:
修改之前的启动脚本为:
#!/bin/bash echo -e "\033[31m ========Start The Cluster======== \033[0m" echo -e "\033[31m Starting Hadoop Now !!! \033[0m" /opt/hadoop-2.7.3/sbin/start-all.sh echo -e "\033[31m Starting Spark Now !!! \033[0m" /opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh echo -e "\033[31m Starting Zeppelin Now !!! \033[0m" /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start echo -e "\033[31m The Result Of The Command \"jps\" : \033[0m" jps echo -e "\033[31m ========END======== \033[0m"
修改之前的关闭脚本为:
#!/bin/bash echo -e "\033[31m ===== Stoping The Cluster ====== \033[0m" echo -e "\033[31m Stoping Zeppelin Now !!! \033[0m" /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh stop echo -e "\033[31m Stoping Spark Now !!! \033[0m" /opt/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh echo -e "\033[31m Stopting Hadoop Now !!! \033[0m" /opt/hadoop-2.7.3/sbin/stop-all.sh echo -e "\033[31m The Result Of The Command \"jps\" : \033[0m" jps echo -e "\033[31m ======END======== \033[0m"
5.运行官网的例子:
在浏览器里输入地址:
z-ip 指代 zepplin所在机子的ip(xxx.xxx.xxx.xxx)
即:http://z-ip:8099/#/
如下图:
然后我们点Notebook->Zeppelin Tutorial
然后点击save
然后在最上面的部分点击如下图所示的位置:
运行结果在截取两张图给大家:
最后一个要注意的是,这是我自己摸索着搞得,有问题发生是正常的,所以标题加上了初探两个字!
转载于:https://www.cnblogs.com/purstar/p/6294412.html
Spark2.0.2+Zeppelin0.6.2 环境搭建 初探相关推荐
- Cocos2d-x 3.0正式版及android环境搭建
开发环境是:mac + xcode + eclipse ,在win以下的环境和这个都是一样的,唯一不一样的就是环境变量的配置. 以下主要介绍cocos2d-x环境的设置以及android的环境搭建 1 ...
- SpringBoot2.0基础案例(01):环境搭建和RestFul风格接口
一.SpringBoot 框架的特点 SpringBoot2.0 特点 1)SpringBoot继承了Spring优秀的基因,上手难度小 2)简化配置,提供各种默认配置来简化项目配置 3)内嵌式容器简 ...
- 0、Java项目开发环境搭建
Java项目开发环境搭建详解 工欲善其事,必先利其器. 一.环境搭建 1.JDK安装及环境变量配置 点击查看 2.Maven安装及环境变量配置 点击查看 Maven配置远程仓库地址: 打开ma ...
- OWT (Open WebRTC Toolkit) 5.0 初体验与开发环境搭建
介绍 OWT是Intel前些年开源的基于互联网的视频会议解决方案,可以支持WebRTC和SIP终端.这几年WebRTC应用的特别广泛,使用OWT可以快速搭建一个WebRTC视频会议系统.OWT最初仅支 ...
- ThinkPHP5.0(一)PHPStorm+XAMPP开发环境搭建
PHPStorm+XAMPP开发环境搭建 下载Phpstorm:http://www.jetbrains.com/phpstorm/download/#section=windows-version ...
- python3.6 django教程_【Python3.6+Django2.0+Xadmin2.0系列教程一】环境搭建及项目创建
由于工作需要,接触了大半年时间的Django+xadmin框架,一直没空对这块对进行相关的梳理.最近在同事的怂恿下,就在这分享下笔者的学习及工作经验吧. 好了,话不多说,下面开始进入正题: 环境需求: ...
- CUDA 8.0 + VS2013 + win10 x64开发环境搭建
前言 工欲善其事,必先利其器. CUDA开发,搭建Windows下的环境 准备 作为CUDA开发的第一篇,先介绍一下CUDA环境的搭建吧,这里主要讲的是CUDA在WINDOWS上的环境搭建,后续会专门 ...
- Spring Security系列(11)- Security5.0版本Oauth2开放平台环境搭建
前言 上篇文档,我们了解了OAuth2.0的相关知识,接下来我们搭建一个自己的Oauth2开放平台. 从流程图中,可以看到,后台需要搭建一个认证服务器,负责用户登录.第三方授权等功能,还需要搭建自己的 ...
- OpenCV 4.1.0 + Visual Studio 2019 开发环境搭建 超级简单
先说一下其实根本无需修改环境变量等系统设置,只需要对 project 进行一些设置就好. 编译需要的是 .h 文件和 .lib 文件,运行需要的是 .dll 文件,调试需要的是代码源文件和 .pdb ...
最新文章
- oracle电子商务套件视频,Oracle电子商务套件培训 Oracle EBS R12 制造模块培训视频教程 Oracle管理套件教程...
- python 什么是先验概率?
- [攻防世界 pwn]——int_overflow
- display属性_CSS之使用display:inline-block来布局
- 数据结构7.3_图的遍历
- 如何自动导出内存映像文件?
- 一些不起眼但非常有用的 Vim 命令
- 凑钱1,2,5凑20元钱有多少可能 共有哪几种可能
- 关于WINDOWS超级终端的使用来调试MODEM,串口.
- 如何做肌电信号手势识别?
- 「程序猿 DD」星球活动第一期正式开启!
- openstack rabbitmq报错导致识别不到计算节点 解决方案
- Kolmogorov复杂性 简介
- 根据具体地址计算经纬度
- elementUI表格合并单元格详解
- Lombok介绍、使用方法和总结
- 在快手工作是一种什么样的体验?
- zxing 生成二维码,可设置logo、二维码颜色、白边大小
- JDK1.8 关于list集合Lambda的使用
- buu-[ACTF新生赛2020]Universe_final_answer
热门文章
- Android深入理解Fragment
- flex 返回数据到 html5,Flex与javascript通信
- html加载富文本_Uniapp基础实战富文本框解析 WordPress rest api实例
- 常遇问题及一些可能的解决方案
- oracle:用户购买平台案例分析与优化
- 安卓增删改查用sql语句号码_详解Android中一些SQLite的增删改查操作
- 二层交换机 不在同一子网_从二层交换机来说为什么三层交换机比路由器转发速率快...
- apollo修改配置刷新bean_微服务配置中心完全解读
- 95-36-220-ChannelHandler-RejectedExecutionHandlers
- 【Elasticsearch】 es GZIP造成JAVA Native Memory泄漏案例