zeppelin入门使用
Display System
- text
- 默认使用scala语言输出text内容
- shell
- 默认使用scala语言输出text内容
- html
- scala 输出html
- shell 输出html
- scala 输出html
- table
- scala
- shell
- table
scala:
shell:
html:
- scala
Manual
动态表格
- 使用表格模板
文本输入格式:
使用 formName模板,使用 {formName} 模板,使用 {formName=defaultValue} 提供默认值
- 下拉选择表格
${formName=defaultValue,option1|option2…}
k-v格式,${formName=defaultValue,
option1(DisplayName)|option2(DisplayName)…}
- 动态编程
z 是ZeppelinContext对象 - 文本输入格式
- 带默认值的文本输入格式
- 下拉选择表格
- 使用表格模板
Notebook as Homepage
这部分不是很重,直接看这个链接吧,http://zeppelin.incubator.apache.org/docs/manual/notebookashomepage.html
Interpreter
- spark,http://zeppelin.incubator.apache.org/docs/interpreter/spark.html
- hive
- md
- sh
- flink
- and so on
上面都有涉及,如何使用
Tutorial with Local File
- Data Refine
下载需要bank数据,http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip
首先,将csv格式数据转成Bank对象RDD,并过滤表头列
val bankText = sc.textFile("/home/cluster/data/test/bank/bank-full.csv")case class Bank(age:Integer, job:String, marital : String, education : String, balance : Integer)val bank = bankText.map(s=>s.split(";")).filter(s=>s(0)!="\"age\"").map(s=>Bank(s(0).toInt, s(1).replaceAll("\"", ""),s(2).replaceAll("\"", ""),s(3).replaceAll("\"", ""),s(5).replaceAll("\"", "").toInt)
)// Below line works only in spark 1.3.0.
// For spark 1.1.x and spark 1.2.x,
// use bank.registerTempTable("bank") instead.
bank.toDF().registerTempTable("bank")
- Data Retrieval
Suppose we want to see age distribution from bank. To do this, run:
执行以下语句,可看到年龄的分布:
%sql select age, count(1) from bank where age < 30 group by age order by age
动态输入maxAge参数(默认是30岁):
%sql select age, count(1) from bank where age < ${maxAge=30} group by age order by age
根据婚姻状况选项,查看年龄分布状况:
%sql select age, count(1) from bank where marital="${marital=single,single|divorced|married}" group by age order by age
Zeppelin的工作方式和Spark的Thrift Server很像,都是向Spark提交一个应用(Application),然后每一个查询对应一个stage。
因此,在启动Zeppelin前,可以通过配置环境变量ZEPPELIN_JAVA_OPTS来对即将启动的Spark driver进行配置,例如“-Dspark.executor.memory=6g -Dspark.cores.max=32”。
尊重原创,拒绝转载,http://blog.csdn.net/stark_summer/article/details/48318059
zeppelin入门使用相关推荐
- Flink on Zeppelin (4) - 机器学习篇
今天我来讲下如何在 Zeppelin 里做机器学习.机器学习的重要性我就不多说了,我们直奔主题. Flink 在机器学习这个领域发力较晚,社区版没有一个完整的机器学习算法库可以用,Alink[1]是目 ...
- Flink从入门到精通100篇(二十)-Zeppelin SDK在Flink 中的应用(附测试代码)
前言 用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI,因为 Zeppelin 的主要使用场景都是交互式,用户需要手动来操作.那除了这种手动的方式,还有其他的方式吗?如果你不想用 ...
- flink入门_阿里巴巴为何选择Flink?20年大佬分11章讲解Flink从入门到实践!
前言 Apache Flink 是德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目,之前叫做 Stratosphere.他们在2014 年开源了这个项目,起名为 Flink. Apache ...
- 区块链技术:智能合约入门
什么是智能合约 一个智能合约是一套以数字形式定义的承诺(promises) ,包括合约参与方可以在上面执行这些承诺的协议.一个合约由一组代码(合约的函数)和数据(合约的状态)组成,并且运行在以太坊虚拟 ...
- 大数据入门基础系列之初步认识大数据生态系统圈(博主推荐)
不多说,直接上干货! 之前在微信公众平台里写过 大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大 ...
- 大数据学习规划(新手入门)
前言: 一.背景介绍 二.大数据介绍 正文: 一.大数据相关的工作介绍 二.大数据工程师的技能要求 三.大数据学习规划 四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...
- 以太坊概念知识入门篇 1
翻译自:https://medium.com/@mattcondon/getting-up-to-speed-on-ethereum-63ed28821bbe 如果你想了解以太坊当前可以做到什么程度, ...
- 手把手教你入门Hadoop(附代码资源)
作者:Piotr Krewski&Adam Kawa 翻译:陈之炎 校对:丁楠雅 本文约6000字,建议阅读10分钟. 本文为你介绍Hadoop的核心概念,描述其体系架构,指导您如何开始使用H ...
- 使用Zeppelin时出现sh interpreter not found错误的解决办法(图文详解)
不多说,直接上干货! 问题详解 http://192.168.80.145:8099/#/notebook/2CSV2VT5S 相关博客是 Zeppelin的入门使用系列之使用Zeppelin运行sh ...
最新文章
- python生成对象内部执行过程
- java.lang.UnsatisfiedLinkError
- gym/100633/J Ceizenpok’s formula
- FFmpeg 硬件加速方案概览 (下)
- java调用exe_Windows系统中Java调用cmd命令及执行exe程序的方法
- 计算机绘图图库的创建,工程制图与计算机绘图.doc
- 实现文件下载的java代码
- 将16进制unsigned char数组转换成整数
- DBI接口和DPI接口的区别
- android之字体阴影效果
- 机器学习之SMOTE算法
- css背景颜色设置后没生效
- Mysql按天数据统计
- Python索引设置
- linux各种命令手册
- 解读神经网络十大误解,再也不会弄错它的工作原理
- 风之王纳什,言念君子,温其如玉
- 钢条切割问题(自顶向下)
- 三维地图开发平台-支持离线地图开发
- Linux CentOS6和CentOS7设置静态ip
热门文章
- 基于Pytorch的强化学习(DQN)之 REINFORCE with baseline
- 如何做好数字化运营,打造战略落地的最佳武器?他们这么说|2021全球数字价值峰会...
- oracle定时任务实例
- 【个人作品】推荐一个SIP客户端-软电话,基于SIP协议,语言C++,界面QT4 开源,asterisk,tribox测试成功
- 15.6课后习题(Java Web程序设计)
- SQLServer 查询表的列名称、说明、备注、类型等
- 【MATLAB】矩阵元素及其基本运算
- 推荐引擎 - Summary Analysis
- Google map API3 标注、添加事件、地图查询
- ora-03114处理