基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策，更好地进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

如何更好的建设实时数仓、有哪些优秀的生产实践经验可借鉴？聚焦 Flink 实时数仓在数据链路中扮演的角色与在智能商业中的重要价值，分享实时数仓的应用实践及平台智能化的探索与思考。

美团点评基于 Apache Flink 的实时数仓平台实践

鲁昊

美团点评高级技术专家

美团点评的业务众多，涉及几十条业务线；数据量大，处理峰值达到 1.5 亿条每秒，每天数据增长量超过 3 万亿条；大多数业务都是交易场景，链路长、状态多样，业务在数仓建设中面临着很大挑战。随着业务对时效性的要求越来越高，如即时配送、实时营销，越来越多的业务对实时数仓提出了需求和探索。实时计算团队调研汇总了多个业务线在实时数仓方面的建设经验，建设了一站式的实时数仓开发平台，以更好得支持业务发展。

本次分享将主要介绍实时计算的业务应用和规模、多个业务在实时数仓方面的建设情况，以及基于 Flink 的实时计算平台和实时数仓平台。

小米流式平台架构演进与实践

夏军

小米流式平台负责人，高级研发工程师

小米集群业务线众多，从信息流，电商，广告到金融等覆盖了众多了领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。伴随着小米业务的发展，流式平台也经历三次大升级改造，满足了众多业务的各种需求。

最新的一次迭代基于 Apache Flink，对于流式平台内部模块进行了彻底的重构，同时小米各业务也在由 Spark Streaming 逐步切换到 Flink。本次分享主要包括小米流式平台架构演进、基于 Flink 的新版本流式平台架构设计与产品化，小米典型业务应用实践，未来挑战与规划等。

Netflix：Evolving Keystone to an Open Collaborative Real-time ETL Platform

徐振中

Senior Software Engineer at Netflix

Netflix 致力于我们会员的喜悦。我们不懈地专注于提高产品体验和高质量内容。近年来，我们一直在技术驱动的 Studio 和内容制作方面进行大量投资。在这个过程中，我们发现在实时数据平台的领域里中出现了许多独特并有意思的挑战。例如，在微服务架构中，Domain object 分布在不同的 App 及其有状态存储中，这使得低延迟高一致性的实时报告和 entity 搜索发现特别具有挑战性。

在本次演讲中，我们将讨论一些有趣的案例，分享分布式系统基础方面的各种挑战以及解决方案。我们还将讨论在开发运维过程中的收获，对开放式自助式实时数据平台的一些新愿景，以及我们对 Realtime ETL 基础平台的一些新思考。

菜鸟供应链实时数仓的架构演进及应用场景

贾元乔

菜鸟高级数据技术专家

贾元乔老师就职于菜鸟网络供应链数据团队，致力于菜鸟供应链数仓建设、数据产品开发以及数据技术创新。

本次分享主要从数据模型、数据计算、数据服务等几个方面介绍菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中，典型的实时应用场景及Flink实现方案。

OPPO 基于 Apache Flink 的实时数仓实践

张俊

Apache Flink Contributor，OPPO大数据平台研发负责人

张俊老师主导了 OPPO 涵盖“数据接入-数据治理-数据开发-数据应用”全链路的数据中台建设。曾先后工作于摩根士丹利、腾讯，具有丰富的数据系统研发经验，目前重点关注数仓建设、实时计算、OLAP引擎方向，同时也是Flink开源社区贡献者。本次演讲主要分享 OPPO 基于 Flink 构建实时数仓的：

1.建设背景

2.顶层设计

3.落地实践

4.未来展望

你也「在看」吗？

基于 Flink 的实时数仓生产实践相关推荐

美团点评基于 Flink 的实时数仓平台实践
摘要:数据仓库的建设是"数据智能"必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色.本文中,美团点评高级技术专家鲁昊为大 ...
快手基于 Flink 构建实时数仓场景化实践
摘要:本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题<快手基于 Flink 构建实时数仓场景化实践>,内容包括: 快手实时计算场景快手实 ...
ULTRON — 360基于Flink的实时数仓平台
前言:ULTRON项目从去年开始立项,伴随着Flink社区的成熟不断迭代.在开发过程中,面临着许多困难,一方面是人手紧张,另一方面是需要打通和实现的功能点复杂,从底层K8S/YARN到FLINK核心的 ...
美团点评基于 Flink 的实时数仓建设实践
来自:美团技术团队引言近些年,企业对数据服务实时化服务需求日益增多.本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效.稳健的实时数 ...
滴滴基于 Flink 的实时数仓建设实践
简介:随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践.本文主要以顺风车这个业务为引子,从引擎侧.平台侧和业务侧各个不同 ...
美团基于 Flink 的实时数仓平台建设新进展
摘要:本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲.主要内容包括: 平台建设现状遇到的问题及解决未来规划点击查看直播回放 & ...
小米基于 Flink 的实时数仓建设实践
摘要:本文整理自小米软件开发工程师周超,在 Flink Forward Asia 2022 平台建设专场的分享.本篇内容主要分为四个部分: 小米数仓架构演变 Flink+Iceberg 架构升级实践 ...
美团买菜基于 Flink 的实时数仓建设
摘要:本文整理自美团买菜实时数仓技术负责人严书,在 Flink Forward Asia 2022 实时湖仓专场的分享.本篇内容主要分为四个部分: 背景介绍技术愿景和架构设计典型场景.挑战与应对 ...
ULTRON-360基于Flink的实时数仓平台
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源作者:360-朱广彬大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 大数据真好玩点 ...
首汽约车驶向极速统一之路！出行平台如何基于StarRocks构建实时数仓？
作者:王满,高级数据架构工程师首汽约车(以下简称 "首约")是首汽集团为响应交通运输部号召,积极拥抱互联网,推动传统出租车行业转型升级,加强建设交通强国而打造的网约车出行平台. ...

基于 Flink 的实时数仓生产实践

基于 Flink 的实时数仓生产实践相关推荐

最新文章

热门文章