Flink从入门到精通100篇(二十)-Zeppelin SDK在Flink 中的应用(附测试代码)
前言
用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI,因为 Zeppelin 的主要使用场景都是交互式,用户需要手动来操作。那除了这种手动的方式,还有其他的方式吗?如果你不想用 Zeppelin UI,但又想用 Zeppelin 提交和管理大数据作业 (比如 Flink Job)的能力该怎么办?或者是你在 Zeppelin 里写好了代码,想定时调度起来,或者集成到其他系统里,该怎么办?
如果你有这样的诉求,那么 Zeppelin Client API (SDK)就是你所需要的东西。
Zeppelin 简介
对于不熟悉 Zeppelin 的人,可以用一句话来解释 Zeppelin:大数据引擎的入口,交互式大数据分析平台底座。Zeppelin 最大的特点是连接多种引擎,具有可插拔式,下面这张图例举了一些常用的引擎,当然 Zeppelin 还支持其他很多引擎,这里就不一一例举。
虽然 Zeppelin 有 Rest API,但是 Zeppelin 的 Rest API 太多,对
Flink从入门到精通100篇(二十)-Zeppelin SDK在Flink 中的应用(附测试代码)相关推荐
- Flink从入门到精通100篇(十八)-CentOS环境中搭建Flink分布式集群
一. Flink的下载 安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载 [admin@node21 soft ...
- Flink从入门到精通100篇(十九)-基于 Flink 的大规模准实时数据分析平台的建设实践
前言 如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基 ...
- Flink从入门到精通100篇(十二)-如何分析和定位 Flink 作业 OOM 问题?
前言 生产环境,我们的 Flink 作业偶尔会出现 heap OOM,那么当出现这种情况我们会怎么办?通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来,可是 jmap 导出的 ...
- Flink从入门到精通100篇(十五)-Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略
前言 本文先通过源码简单过一下分区提交机制的两个要素--即触发(trigger)和策略(policy)的实现,然后用合并小文件的实例说一下自定义分区提交策略的方法. PartitionCommitTr ...
- Flink从入门到精通100篇(七)-如何基于 Flink 搭建一个实用有效的在线实时反欺诈平台?
前言 在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力.这个过程中,某些中介机构会搜集大量的号并进行"养号"工作,即在一年周期里让这些号形成正常的消费.通讯 ...
- Flink从入门到精通100篇(十)-双亲委派模型与 Flink 的类加载策略
前言 我们知道,在 JVM 中,一个类加载的过程大致分为加载.链接(验证.准备.解析).初始化5个阶段.而我们通常提到类的加载,就是指利用类加载器(ClassLoader)通过类的全限定名来获取定义此 ...
- Flink从入门到精通100篇(十四)-Flink开发IDEA环境搭建与测试
一.IDEA开发环境 1.pom文件设置 <properties><maven.compiler.source>1.8</maven.compiler.source> ...
- Flink从入门到精通100篇(二十一)-万字长文详解 Flink 中的 CopyOnWriteStateTable
前言 现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...
- Flink从入门到精通100篇(二十二)- Flink应用实战案例:如何实现网络流控与反压机制
目录 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Fli ...
- Flink从入门到精通100篇(二十二)-Apache Flink OLAP引擎性能优化及应用
前言 本次分享的主题为Apache Flink新场景--OLAP引擎,主要内容包括: 背景介绍 Apache Flink OLAP引擎 案例介绍 未来计划 1. OLAP及其分类 OLAP是一种让用户 ...
最新文章
- shell /dev/null
- 病理分析常见数据集及常用模型方法总结
- (Mac-使用问题)Mac升级到 10.12后,下载的一些安装包提示损坏。
- mac 安装 python mysqlclient 遇到的问题及解决方法
- duilib获取字符串的像素长
- 未来计算机作文1000字,未来的生活作文1000字
- android消息提示方法自定义,Android自定义消息提示容器
- c语言实验交换字母,新C语言实验学生版
- Google 将于明年彻底关闭 Chrome Apps,以后就是 PWA 的天下了
- Linux使用pyinstaller 编译py成可执行程序
- sql in关键字使用长度超过1000问题处理
- 搭建简单的企业网站,华为云速建站和阿里建站哪个好?
- 泰坦之路手机版怎么登陆服务器未响应,泰坦之旅一直登入不进去怎么办
- python爬虫库scrapy_使用Python爬虫Scrapy框架爬取数据
- SVM学习笔记-对偶形式的SVM
- 计算机格式化什么意思,格式化硬盘是什么意思?怎么格式?格式了有什么用?会有什么后果?...
- 知识图谱基础知识之三——知识图谱的构建过程
- 谷歌浏览器Chrome无法翻译的解决办法
- F28027-Flash介绍
- IOS字体设置及展现效果