Flink 实战:如何解决生产环境中的技术难题?
(扫码预约培训)
参与培训课程你能收获什么?
你将准确了解分布式数据流、事件时间和状态等核心概念以及在 API 中的体现,并学习如何将这些概念组合在一起来解决实际问题。
你能充分学习 Flink 应用程序的部署和操作相关的实践性介绍、Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
你将知道如何更好的发挥用 SQL 编写 Flink 作业的潜力,现场研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配等。
你能够提前了解流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并为大家提供超实用的故障诊断工具集,还将介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧,帮助你从 Flink 小白成长为 Flink 技术专家。
中阶一:Apache Flink 开发人员培训
课程介绍
课程时长:1.5 天
课程目标:
本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。
培训将重点介绍分布式数据流、事件时间和状态等核心概念。
这些练习将使您有机会了解这些概念在 API 中是如何被体现的,并了解如何将这些概念组合在一起来解决实际问题。
Tips:本课程为纯英文授课,同时配有中文技术专家支持解答问题。
讲师介绍:
主讲:
David:负责 Ververica 培训,Data Science Retreat 的老师和导师,建立了大数据工程课程并且带领团队构建了分析管道,推荐系统和可视化产品等。
协助:
Qinjun:Ververica 解决方案架构师,因斯布鲁克大学博士,专注于分布式计算和系统架构。
戴资力(Gordon):Apache Flink PMC,Ververica Software Engineer,主要负责 Flink 的系统开发。
宋辛童(五藏):阿里巴巴高级开发工程师,主要负责 Apache Flink 及阿里云实时计算中资源调度与管理机制的研发工作。
课程目录:
介绍流计算和 Apache Flink
DataStream API 的基础
为 Flink 开发做准备(包括练习)
有状态的流处理(包括练习)
时间、定时器和 ProcessFunction(包括练习)
连接多个流(包括练习)
测试(包括练习)
说明:不需要 Apache Flink 的相关知识。
中阶二:Apache Flink 运维培训
课程介绍
课程时长:1.5 天
课程目标:
本课程是针对 Apache Flink 应用程序的部署和操作相关的实践性介绍。
目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。
演示将重点介绍 Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
讲师介绍:
主讲:
伍翀(云邪):Apache Flink PMC,阿里巴巴技术专家,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算。
李锐:Apache Hive PMC,阿里巴巴技术专家,主要参与 Hive、HDFS、Spark 等开源项目。
程鹤群(军长):阿里巴巴技术专家,核心参与 Flink Table API 相关的研发。
陈玉兆(玉兆):Apache Calcite PMC,阿里巴巴高级工程师,参与 Flink 相关的研发。
协助:
张冉,主要协助阿里巴巴集团内部及广大外部用户使用实时计算产品上的疑难杂症,致力于优化实时计算产品。
课程目录:
介绍流计算和 Apache Flink
数据中心里的 Flink
分布式架构介绍
容器化部署(包括实际操作)
状态后端和容错(包括实际操作)
升级和状态迁移(包括实际操作)
指标(包括实践)
容量规划
说明:不需要对 Apache Flink 有先验知识。
中阶三:SQL 开发人员培训
课程介绍
课程时长:1.5 天
课程目标:
您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 作业的潜力。
我们将研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配(这是 SQL 2016 新提出的标准)。
讲师介绍:
主讲:
徐帅(辅机):阿里巴巴实时计算平台高级专家,目前负责 Flink CEP 引擎及部分 Runtime 模块。
高赟(云骞):阿里巴巴技术专家,主要从事 Flink Runtime 层的设计与研发。
朱翥(长耕):阿里巴巴技术专家,主要负责阿里云实时计算的调度和容错相关的工作。
协助:
沙晟阳(成阳):阿里巴巴技术专家,目前主要关注 K8s 生态下的 Flink 研发。
赵开兴(纯庚):阿里巴巴技术专家,对 Flink 和阿里云实时计算产品的技术特点、应用场景、应用过程可能遇到的问题有丰富的经验和理解。
课程目录:
介绍 SQL on Flink
使用 SQL 查询动态表
连接动态表
模式匹配与 match_recognition
生态系统&写外部表
说明:不需要 Apache Flink 的先验知识,但是需要基本的 SQL 知识。
高阶:Apache Flink 调优和问题排查
课程介绍
课程时长:1.5 天
课程目标:
介绍将流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并且帮助大家一起消除它。
提供有用的故障诊断工具集,并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。
有机会使用新学习到的知识来解决一些异常 Flink 作业表现出来的问题。
归纳那些使作业没有进展或吞吐量没有达到预期,或作业延迟的常见原因。
讲师介绍:
主讲:
唐云(茶干):阿里巴巴高级研发工程师,长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。
邱从贤(山智):阿里巴巴高级研发工程师,专注于 Flink 核心引擎开发,主要从事 Flink State&Checkpoint 相关研发工作。
周凯波(宝牛): 阿里巴巴技术专家,专注于基于Flink的一站式计算平台的建设。
协助:
何健超(迟南):阿里巴巴技术专家,专注于基于 Flink 的新一代实时计算平台的建设。
方舒:参与阿里巴巴实时计算产品服务,为集团内部及广大外部用户使用实时计算提供技术支持及产品方案的优化。
课程目录:
时间和水印
状态处理和状态后端
Flink 的容错机制
检查点和保存点
DataStream API 和 ProcessFunction。
培训课程预约说明
参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1,高阶培训购买 VIP 套票 2。
VIP 套票 1 可参与中阶所有课程,VIP 套票 2 可参与包括高阶、中阶培训在内的所有课程。
培训课程咨询:微信(ID:candy1764)
▼ 关注 Ververica,Flink 爱你 ▼
点个「在看」或许能少写个 bug(・_・;
Flink 实战:如何解决生产环境中的技术难题?相关推荐
- 重磅福利!《Apache Flink 十大技术难点实战》发布,帮你从容应对生产环境中的技术难题...
精选30+云产品,助力企业轻松上云!>>> 简介: 总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别.问题定位.性能优化等全链路过程,实现从基础概念的准确理解到上手实操的 ...
- 使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题
使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题 参考文章: (1)使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题 (2)https://www.cnblogs. ...
- 关于websocket 在生产环境中遇到的问题 及 解决办法
关于websocket 在生产环境中遇到的问题 及 解决办法 参考文章: (1)关于websocket 在生产环境中遇到的问题 及 解决办法 (2)https://www.cnblogs.com/ta ...
- 生产环境中on yarn模式是否采用yarn session
flink on yarn包括 yarn session以及per job两种方式. 那么生产环境中到底采用哪种呢? 下面是社区群中的讨论: 所以on yarn模式在生产环境中我们使用per job ...
- 在java.library.path中找不到允许在生产环境中实现最佳性能的基于APR的Apache Tom.....
在java.library.path中找不到允许在生产环境中实现最佳性能的基于APR的Apache Tom- 2021-6-2 19:55:17 org.apache.catalina.core.Ap ...
- Dubbo Mesh 在闲鱼生产环境中的落地实践
本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是"借力开源. ...
- 一文教你如何在生产环境中在Kubernetes上部署Jaeger
作者 | Dotan Horovit 翻译 | 火火酱~ 责编 | 晋兆雨 出品 | CSDN云计算 日志.指标和跟踪是"可观察性"领域的三大支柱.最近几个月,随着OpenTel ...
- 写一段代码提高内存占用_记录一次生产环境中Redis内存增长异常排查全流程!...
点击上方 IT牧场 ,选择 置顶或者星标 技术干货每日送达 最近 DBA 反馈线上的一个 Redis 资源已经超过了预先设计时的容量,并且已经进行了两次扩容,内存增长还在持续中,希望业务方排查一下容量 ...
- Vue Nginx反向代理配置 解决生产环境跨域
Vue本地代理举例: module.exports = {publicPath: './',devServer: {proxy: {'/api': {target: 'https://movie.do ...
- (17/24) webpack实战技巧:生产环境和开发环境并行设置,实现来回切换
(17/24) webpack实战技巧:生产环境和开发环境并行设置,实现来回切换 1. 概述 生产环境和开发环境所需依赖是不同: --开发依赖:就是开发中用到而发布时用不到的.在package.jso ...
最新文章
- java set 包含_Java Set.contains()方法:判断Set集合是否包含指定的对象
- hdu1261 JAVA
- win7访问windows server 2003服务器出现未知的用户名或者错误的密码(转载)
- 550 黑苹果_HFP虾青素原液 | 多年黑黄皮,熬夜肌都能轻松变白!
- 禁用一个计算机用户,系统小技巧:Windows 10账户删除 禁用与启用
- c语言指针自定义函数,c语言函数指针定义,指针函数和函数指针的区别
- 我在30岁之前做了三件骄傲的事
- 应用Rational 工具简化基于J2EE的项目(一)
- python同步远程文件夹_利用python实现两个文件夹的同步
- python简单应用_python之Click的简单应用
- [数据][xml格式] 2012年统计用区划代码和城乡划分代码
- 2.过滤函数-filter/filter-out
- 使用EndNote对Word论文的参考文献进行管理
- Chrome浏览器取色器
- php session fixation,聊聊session fixation attacks
- 2019复旦大学计算机分数线,复旦大学2019年各省各批次录取分数线和招生专业
- 数据获取与处理(以CV任务为主)
- LIO-SAM:点云预处理前端---畸变矫正数据预处理
- 罗技无线鼠标导致windows 8.1不正常唤醒的问题
- 哈夫曼树的概念与特点
热门文章
- java分形树_java画分形树实例
- bootstrap-select 插件使用详解
- 论文笔记_S2D.30_2017-CSVT_使用全卷积深度残差网络,作为分类问题,从单目图像估计深度
- 视觉SLAM十四讲_3-李群和李代数
- LIO-SAM探秘第三章之代码解析(五) --- imuPreintegration.cpp
- HDU-1994-利息计算
- 巨星陨落!图灵奖得主Edmund Clarke感染新冠逝世,教计算机自己检查错误的人走了...
- ValueError: Cannot feed value of shape (784,) for Tensor 'Placeholder:0', which has shape '(?, 784)'
- HOG特征提取算法解析
- 学习笔记 9.22 - 9.29