Apache Flink Meetup · 上海站,超强数据湖干货等你!
简介:Apache Flink x Iceberg Meetup 上海站
你是否有过流批技术栈不统一的抓狂?
你是否有过流批数据对不上的烦恼?
你是否有过,海量数据更新时效性跟不上的无奈?
Apache Flink 社区 2021 首场 Meetup 来啦!
4月17日 | 上海 | 线下
来一场 Flink x 数据湖的干货体验之旅~
本次 Meetup 邀请了来自阿里巴巴、腾讯、Dell 科技集团、汽车之家的四位技术专家,聚焦 Flink 数据湖应用主题,围绕湖仓一体架构实践、Iceberg 和对象存储的数据湖构建方案、超大规模数据入湖实践以及数据入湖面临的挑战等,全方位解析数据湖生产应用难题!
【活动亮点】
- 超多实用干货,从数据湖应用面临的挑战入手,解析数据湖架构升级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实践,轻松 get 数据湖正确打开方式;
- 活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;
- 丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!
嘉宾及议题介绍
《汽车之家基于 Apache Iceberg 的湖仓一体架构实践》
邸星星 | 汽车之家 实时计算平台负责人
演讲简介:
近年来,批流一体、湖仓一体成为大数据领域十分火热的话题,汽车之家也在持续探索如何对大数据架构进行升级转型,充分发挥“新鲜”数据的价值,为用户带来更好的使用体验。本文将分享汽车之家基于 Apache Iceberg 进行数仓架构升级过程中的一些实践。
嘉宾简介:
邸星星,汽车之家实时计算平台负责人,长期从事实时计算与 OLAP 方面的平台建设工作,致力于为公司提供大规模、高效、稳定的计算与查询服务。
《Iceberg 和对象存储构建数据湖方案》
孙伟 | Dell科技集团 高级软件研发经理
演讲简介:
本演讲主题将论述如何基于对象存储和 Iceberg 来构建数据湖生态。讲述对象存储作为 Iceberg 的数据湖存储支撑所需要解决的一些问题以及优化思路,提供了开源 S3 catalog 可行实现方案,并给出对比其他存储方案(如 HDFS)的优势。
演讲将进一步给出商业对象存储与 Iceberg 适配的另一种最佳实践方法,并构建 Flink+Iceberg+对象存储的数据湖进行实例演示。同时本演讲将基于面向存储空间优化的思路,通过改造对象存储和 Iceberg 结合方式,给出一种源数据和 Iceberg table 共享数据源的方法来适配不同的应用场景。
嘉宾简介:
孙伟,Dell 科技集团,高级软件研发经理,2014年加入 Dell 科技集团,深入参与 Atmos 到 ECS 两代对象存储产品的设计和研发,有丰富的分布式系统和对象存储架构设计经验。现致力于将对象存储和开源大数据平台深度结合,帮助客户搭建完整数据湖方案。
《百亿级实时数据入湖实战》
陈俊杰 | 腾讯 数据湖研发高级工程师
演讲简介:
你是否有过流批技术栈不统一的抓狂?你是否有过流批数据对不上的烦恼?你是否有过,海量数据更新时效性跟不上的无奈?
腾讯应用业界最新技术 Flink + Iceberg 技术帮助多个业务方实现了业务数据实时入仓入湖,端到端数据可见性提高到秒级。本次分享将介绍腾讯如何将 Flink + Iceberg 技术应用到多个百亿级数据入湖任务,入湖过程中遇到的挑战,入湖数据如何进行优化保证分析引擎的高效查询。
嘉宾简介:
陈俊杰,腾讯数据湖研发高级工程师,多年大数据工作经验,开源大数据组件 Spark、 Iceberg、Parquet 等贡献者。
《Flink 和 Iceberg 如何解决数据入湖面临的挑战》
胡争 | Apache Iceberg Committer,阿里巴巴技术专家
演讲简介:
我们经常会把来源不同的数据定期或实时地同步到数仓/数据湖中,其中有一些令人头痛的问题:
任务同步一半数据中断,导致原有的数据湖报表不准确,这时怎么办?
持续的数据导入后,业务方发现作业越跑越慢?
老板说:怎么把 MySQL 的数据报表做的更实时一些,比如分钟级别?
数据同步作业跑着跑着突然中断,原来是上游改了 schema ?
其他问题
本次分享我们将借助 Flink 和 Iceberg 来尝试解决上述数据入湖的相关挑战,帮助业务同学更加高效地聚焦在自身的业务挑战上。
嘉宾简介:
胡争(子毅),目前主要负责 Apache Flink 数据湖方案的设计和研发工作,是 Apache Iceberg 及 Apache Flink 项目的长期活跃贡献者。同时也是 Apache HBase PMC 成员,合著有《HBase 原理与实践》。
活动议程及报名
■ 活动议程
■ 活动详情
时间:4月17日 13:00-17:30
地点:上海市长宁区上海金钟路968号凌空SOHO 携程12号楼11层
直播观看:https://developer.aliyun.com/live/246619
原文链接:https://developer.aliyun.com/article/783290?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Apache Flink Meetup · 上海站,超强数据湖干货等你!相关推荐
- 高能预警!Apache Flink Meetup · 上海站返场啦
精选30+云产品,助力企业轻松上云!>>> 近期,Flink 社区上线了一系列好玩有趣又干货十足的活动.错过的小伙伴可以看这里:如果您是 Flink 爱好者想快速上手入门,Flink ...
- Apache Flink 在实时金融数据湖的应用
简介:本文由中原银行大数据平台研发工程师白学余分享,主要介绍实时金融数据湖在中原银行的应用. 本文由中原银行大数据平台研发工程师白学余分享,主要介绍实时金融数据湖在中原银行的应用.主要内容包括: 1. ...
- 活动回顾 | 8月7日Apache Flink Meetup
简介:8.7 线上 Meetup 视频和 PPT 分享来啦-另外,下一期实时数仓 Meetup 议题征集中! GitHub 地址 https://github.com/apache/flink 欢迎大 ...
- Apache Flink Meetup 8.7 深圳站,企业实践 + 1.14 版本预热
简介:深圳,好久不见- 8 月 7 日 Apache Flink Meetup,同学们快来报名- 时隔 10 个月,Apache Flink Meetup 又来到了深圳这个与 Flink 契合度很高的 ...
- Apache Flink Meetup 8.7 深圳站,企业实践 + 1.14 新特性预览
时隔 10 个月,Apache Flink Meetup 又来到了深圳这个与 Flink 契合度很高的城市.正如改革和创新是深圳的标签,Apache Flink 给技术开发者们带来的,也是摒弃旧的 & ...
- Apache Flink Meetup,1.13 新版本发布 x 互娱场景实践分享的开发者盛筵!
简介: Flink 1.13 版本新功能的深入解读+Flink 在互娱行业典型实践应用. 对于广大的 Flink 开发者同学来说, 什么内容是最期待的? 什么信息又是最有用的? 最期待的内容,自然是 ...
- Flink 如何实时分析 Iceberg 数据湖的 CDC 数据
简介:数据湖的架构中,CDC 数据实时读写的方案和原理 本文由李劲松.胡争分享,社区志愿者杨伟海.李培殿整理.主要介绍在数据湖的架构中,CDC 数据实时读写的方案和原理.文章主要分为 4 个部分内容: ...
- Apache Hudi 在袋鼠云数据湖平台的设计与实践
在大数据处理中,实时数据分析是一个重要的需求.随着数据量的不断增长,对于实时分析的挑战也在不断加大,传统的批处理方式已经不能满足实时数据处理的需求,需要一种更加高效的技术来解决这个问题.Apache ...
- Uber 如何使用 Apache Hudi 支撑 PB 级数据湖
1. 引言 从确保准确预计到达时间到预测最佳交通路线,在Uber平台上提供安全.无缝的运输和交付体验需要可靠.高性能的大规模数据存储和分析.2016年,Uber开发了增量处理框架Apache Hudi ...
最新文章
- iOS 开发之时间选择器
- linux 压缩 解压zip 命令
- Restive.js – 轻松让网站变成响应式和自适应
- windows下面使用nssm设置新的服务实现开机自启等
- Unity3D:Graphics.BlitMultiTap方法
- 6s android,Android死忠粉自述为何必买iPhone 6S
- #pragma once 和 #ifndef ... #define ... #endif 的区别【转载】
- 基础选择器之通配符选择器(CSS、HTML)
- extjs中滚动条属性_前端学习随笔6 盒模型及相关属性
- 如何给AWARD BIOS刷L5420微码?
- 领域驱动设计落地经验
- SQL 语句判断英文大小写
- 1931CIE基础知识
- windows11安装wsa安卓子系统
- android高德地图计算行驶里程,高德地图批量统计驾车轨迹的用时及总里程
- window 开启 Telnet 客户端
- 日月光华深度学习(一、二)深度学习基础和tf.keras
- python实现抽签功能(不放回抽样)
- 多表查询时,执行速度耗时太多
- 面试 - 阿里华为资深HR面试套路全揭晓