Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践

前言

如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台的建设实践。

本次分享主要分为四个方面：

Lyft 的流数据与场景

准实时数据分析平台和架构

平台性能及容错深入分析

总结与未来展望

一、Lyft 的流数据与场景

Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践相关推荐

Flink从入门到精通100篇（五）-flink变种Alink，对阿里巴巴算法平台Alink简介
前言近日,阿里云计算部门已在 GitHub 上发布了其 Alink 平台的"核心代码",并上传了一系列算法库,它们支持批处理和流处理,这对支持机器学习任务至关重要. Alink ...
Flink从入门到精通100篇（六）-Flink 应用之对Release 文档进行深度解读
集群和部署支持 Hadoop 3.0 及更高的版本:Flink 不再提供任何 flink-shaded-hadoop- 依赖.用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 ...
Flink从入门到精通100篇（十三）-Flink的入门教学
前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topi ...
Flink从入门到精通100篇（九）-滴滴是如何在 Flink平台建立实时数仓的？
前言随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践.本文主要以顺风车这个业务为引子,从引擎侧.平台侧和业务侧各个不同 ...
Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析
前言本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...
Flink从入门到精通100篇（二十二）- Flink应用实战案例：如何实现网络流控与反压机制
目录 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Fli ...
Flink从入门到精通100篇（二十）-跨境电商 Shopee 的实时数仓之路
前言本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括: 实时数仓建设背景 Flink 在实时数据数仓建设中 ...
Flink从入门到精通100篇（二十）-Zeppelin SDK在Flink 中的应用（附测试代码）
前言用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI,因为 Zeppelin 的主要使用场景都是交互式,用户需要手动来操作.那除了这种手动的方式,还有其他的方式吗?如果你不想用 ...
Flink从入门到精通100篇（十八）-CentOS环境中搭建Flink分布式集群
一. Flink的下载安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载 [admin@node21 soft ...

Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践

前言

一、Lyft 的流数据与场景

Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践相关推荐

最新文章

热门文章