Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践

前言

随着大数据的快速发展，行业大数据服务越来越重要。同时，对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。

今天的介绍会围绕下面三点展开：

Flink的现状与改进
平台化的探索和实践：实时计算平台
Flink业务案例

01Flink的现状与改进

1. Flink现状

首先和大家分享下爱奇艺大数据服务的发展史。

2012年搭建了第一个Hadoop集群，当时只有大概20几个节点，使用的计算框架是MapReduce和Hive等
到2013，2014年，开始使用Hadoop 2.0，上线了Storm和Spark，由于Storm的使用性和稳定性不够好，被放弃使用，转而使用Spark
2015年发布了第一个实时计算平台Europa，上线了Kafka
2017年使用了Flink，同时我们基于Spark和Flink打造了流式计算引擎St

Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践相关推荐

基于Apache Flink的爱奇艺实时计算平台建设实践
导读:随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
Flink从入门到精通100篇（十七）-Spark/Flink广播如何实现作业配置动态更新？
前言在实时计算作业中,往往需要动态改变一些配置,举几个栗子: 实时日志ETL服务,需要在日志的格式.字段发生变化时保证正常解析: 实时NLP服务,需要及时识别新添加的领域词与停用词: 实时风控服务, ...
Flink从入门到精通100篇（十四）-Flink开发IDEA环境搭建与测试
一.IDEA开发环境 1.pom文件设置 <properties><maven.compiler.source>1.8</maven.compiler.source> ...
Flink从入门到精通100篇（十五）-Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略
前言本文先通过源码简单过一下分区提交机制的两个要素--即触发(trigger)和策略(policy)的实现,然后用合并小文件的实例说一下自定义分区提交策略的方法. PartitionCommitTr ...
Flink从入门到精通100篇（十三）-Flink的入门教学
前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topi ...
Flink从入门到精通100篇（二十三）-Apache Flink在滴滴的应用与实践
前言 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算.可部署在各种集群环境,对各种大小的数据规模进行快速计算. 滴滴基于 Apache Flink 做了 ...
Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践
前言如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基 ...
Flink从入门到精通100篇（二十一）-万字长文详解 Flink 中的 CopyOnWriteStateTable
前言现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...
Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析
前言本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...

Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践

前言

01Flink的现状与改进

1. Flink现状

Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践相关推荐

最新文章

热门文章