Flink on Zeppelin 流计算处理最佳实践

2024-06-06 02:19:16

简介： 欢迎钉钉扫描文章底部二维码进入 EMR Studio 用户交流群直接和讲师交流讨论~ 点击以下链接直接观看直播回放：https://developer.aliyun.com/live/247106

开源大数据社区 & 阿里云 EMR 系列直播第十二期

主题：Flink on Zeppelin 流计算处理最佳实践

讲师：简锋，阿里云 EMR 数据开发平台负责人

内容框架：

大数据概览
Flink 学习框架
EMR Studio 上的流计算最佳实践
演示

直播回放：扫描文章底部二维码加入钉群观看回放，或进入链接https://developer.aliyun.com/live/247106

一、大数据概览

大数据处理 ETL (Data → Data)
大数据分析 BI (Data → Dashboard)
机器学习 AI (Data → Model)

二、Flink 学习框架

Flink 要点

Stateful
Time
Flink Architecture
Flink API
Flink Configuration
Flink Log

Stateful:

Why

• 流计算的及时性

• 流计算的 unbounded

When

• Window

• Join

• Pattern

How

• statebackend

Time

Event time
Processing time
Watermark

Flink Architecture

Flink API

Flink Configuration

Cluster Configuration
Job Configuration
Statebackend
Resource Manager
SQL/Python

参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/

Flink Log

三、EMR Studio 上的流计算最佳实践

EMR Studio 特性：

兼容开源组件
EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。

支持连接多个集群
适配多个计算引擎
交互式开发 + 作业调度无缝衔接
适用多种大数据应用场景
计算存储分离

Flink Clients

Flink on Zeppelin (Phase 1) - Interactive Flink Client

Flink on Zeppelin (Phase 2) - Interactive JobManager

Flinkon Zeppelin 主要 Feature

四、演示

具体产品介绍和演示，可以点击以下链接直接观看回放：

https://developer.aliyun.com/live/247106

原文链接

本文为阿里云原创内容，未经允许不得转载。

Flink on Zeppelin 流计算处理最佳实践相关推荐

腾讯基于 Flink 的实时流计算平台演进之路
原文地址:https://www.infoq.cn/article/TjDeQDJQpKZ*NpG71pRW 大家好,我是来自腾讯大数据团队的杨华(vinoyang),很高兴能够参加这次北京的 QCo ...
基于Flink+ClickHouse构建实时游戏数据分析最佳实践
简介:本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算.云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务. 直达 ...
实时计算的最佳实践：基于表格存储和Blink的大数据实时计算
表格存储: 数据存储和数据消费All in one 表格存储(Table Store)是阿里云自研的NoSQL多模型数据库,提供PB级结构化数据存储.千万TPS以及毫秒级延迟的服务能力.在实时计算场景 ...
apache geode项目结构_Apache Flink-基于Java项目模板创建Flink应用（流计算和批计算）...
Apache Flink创建模板项目有2种方式: 1. 通过Maven archetype命令创建: 2. 通过Flink 提供的Quickstart shell脚本创建: 关于Apache Flin ...
ajax 请求二进制流图片文件 XMLHttpRequest 请求并处理二进制流数据之最佳实践
本文转自一位高人的博客:情郎 Blog 写在前面 :从提出需求到完美的解决问题,实现过程是曲折的. 需求:在前(web client)后(Restful Service)端完全解耦的模式框架下,web ...
【Flink 监控系列】Flink on yarn 任务实时监控最佳实践(Prometheus + Grafana)打造企业级监控方案
我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等 ...
Flink SQL 1.11 新功能与最佳实践
#2020云栖大会#阿里云海量offer来啦!投简历.赢阿里云限量礼品及阿里云ACA认证免费考试资格!>>> 整理者:陈婧敏(清樾) 本文整理自 Apache Flink PMC,阿 ...
Flink JDBC Connector：Flink 与数据库集成最佳实践
整理:陈政羽(Flink 社区志愿者) 摘要:Flink 1.11 引入了 CDC,在此基础上, JDBC Connector 也发生比较大的变化,本文由 Apache Flink Contribut ...
数据湖：流计算处理框架Flink概述
系列专题:数据湖系列文章大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapReduce.Hive等大数据技术.实时计算也被称作流计算,代表是Storm. ...

最新文章

热门文章