flink的基础介绍

Flink 学习资料

官方文档：https://flink.apache.org
Flink 中文社区视频课程：https://github.com/flink-china/flink-training-course
Flink 中文社区：https://www.slidestalk.com/FlinkChina
ververica 教程：https://training.ververica.com/
ververica 教程中文文档:https://ci.apache.org/projects/flink/flink-docs-master/zh/
源码：https://github.com/apache/flink
Flink 知识图谱：https://ververica.cn/developers/special-issue/

第一章 flink介绍

1.1 flink发展历程

2008，柏林理工大学一个研究性项目Stratosphere，Next Generation Big Data Analytics Platform（目标是建立下一代大数据分析引擎）； 2014-04-16，Stratosphere成为Apache孵化项目，从Stratosphere 0.6开始，正式更名为Flink。由Java语言编写； 2014-08-26，Flink 0.6发布； 2014-11-04，Flink 0.7.0发布，介绍了最重要的特性：Streaming API； 2016-03-08，Flink 1.0.0，支持Scala； 2016-08-08，Flink 1.1.0； 2017-02-06，Flink 1.2.0； 2017-11-29，Flink 1.4.0； 2018-05-25，Flink 1.5.0； 2018-08-08，Flink 1.6.0； 2018-11-30，Flink 1.7.0； 2019-02-15，Flink 1.7.2； 2019-04-09，Flink 1.8.0； 2019-07-10，Flink 1.8.1； 2019-09-12，Flink 1.8.2； 2019-08-22，Flink 1.9.0； 2019-10-18，Flink 1.9.1； 2020-02-11，Flink 1.10.0； 2020-05-08(昨天)，Flink 1.10.1-rc3； 2019年初，阿里收购flink产品所属公；不久必然会升级到2.x。

老版本架构图：

1.2 Flink定义

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any scale.

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

1.3 为什么选择flink

流式数据更为真实地反映了我们的生活方式
传统的数据架构是基于有限数据集
流批计算融合
基于事件进行纯实时计算(连续事件处理)
一款优秀的实时流计算框架，应该满足：低延迟高吞吐结果的准确性和良好的容错性

1.4 flink应用行业和场景

1.4.1 应用行业

电商和市场营销数据报表、广告投放、业务流程需要

物联网传感器实时数据采集和显示、显示报警、交通运输业

电信业基站流量调配

银行和金融业实时结算和通知推送，实时检测异常行为

1.4.2 应用场景

flink也常用于离线和实时数仓中！！！

首先我们来看看数仓架构演变(借用阿里云数仓架构)。演变如下图：

离线数仓架构：

Lambda架构：实时和离线计算融于一体。

Kappa架构：Lambda架构的简化版本，去掉其离线部分。

flink认为批次也是实时的特例！！！