Apache SeaTunnel Doris7月联合Meetup,从数据集成到分析实践
随着大数据时代的来临,数据的处理对企业的技术团队挑战越来越高,数据在同步时能否支持各种数据源?应对海量的增量数据实例如何拥有更好的性能?数据聚合平台是否能开箱即用/方便二次开发?应对数据采集多场景和工具的是否具备良好的拓展性等,都是数据开发工程师关心的切实痛点问题,而对于企业来说,海量数据如何更好更快的分析应用,数据如何驱动业务更好的发展,成为相当重要的一环。
而庞大的数据增量以及业务多变的数据分析需求,对于企业以及工程师都是极大的挑战,在这样迫切的需求下,数据集成及数据分析就显得尤为重要。
如今,我们也可以看到,大数据领域的开源项目繁荣带来了强大的大数据平台,而对于负责数据工作流的开发者而言,平台的技术门槛是另一种挑战。如果能将数据的处理能力统合,并不断地优化和迭代,数据的生产力和处理效率将得到大幅度的提升。
基于此,7月24日 14:00,Apache Doris和Apache SeaTunnel(incubating) 两个社区强强联手,将在本月联合举办线上 Meetup 活动。本次活动为「数据集成及数据分析开发实践」专场,我们将围绕 SeaTunnel 和 Doris 进行开发实践分享。这些优秀的项目,相互结合将会碰撞出何种火花,我们一起拭目以待!
值得一提的是, Apache Doris 从 Apache 软件基金会(ASF)毕业后,这次联合技术活动是 Doris 的毕业首秀,值得期待!
本次 Meetup 我们邀请到了来自小米、新浪微博、白鲸开源、SelectDB 等企业的 5 位技术大咖,针对不同场景应用进行深度解读和实践经验分享!
活动亮点
基于 SeaTunnel 接入 Doris 的优化与实践
Apache SeaTunnel 新 Api 连接器开发实践、Apache SeaTunnel-server 的价值、现状和未来展望
Apache Doris 基于不同场景下的应用与实践经验
和来自小米、新浪微博、SelectDB、白鲸开源等企业的技术大咖线上“零距离”交流机会
报名通道
7月线上直播报名通道已开启,赶快预约吧!
时间:2022-7-24 14:00-17:20
形式:线上直播
直播链接:https://live.csdn.net/room/wl5875/LbPMeRdr
活动议程
吴迪
SelectDB 大数据开发工程师
Apache Doris Committer
演讲时间:14:00-14:30
演讲题目: 基于 SeaTunnel 接入 Doris 的优化与实践
演讲概要:目前 SeaTunnel Doris Sink 的现状,以及针对存在的问题做的一些优化及效果
刘黎
白鲸开源高级工程师
Apache SeaTunnel(Incubating)
Arrow-DataFusion Contributor
演讲时间:14:30-15:10
演讲题目: Apache SeaTunnel 新Api连接器开发流程演示
演讲概要: 如何基于 SeaTunnel 新 Api 开发一个连接器,解读当前新 Api 下有哪些可用连接器
抽奖环节:15:10-15:15 福利抽奖
魏祚
小米集团引擎研发工程师
Apache Doris PMC
演讲时间:15:15-15:55
演讲题目:Apache Doris 在小米数据场景的落地实践与优化
演讲概要:自从 2019 年 9 月小米集团首次引入 Apache Doris 以来, Apache Doris 已经在小米集团得到了广泛的使用,目前已经服务了小米数十个业务,并且已经在小米内部形成了一套以 Apache Doris 为核心的数据生态。在小米的使用场景中,我们对 Apache Doris 也完成了多项功能开发和性能优化。本次演讲会对 Apache Doris 在小米数据场景的落地实践进行分享,同时也会分享一些小米对 Apache Doris 的优化。
狄杰
SeaTunnel 社区神秘的开源贡献者
演讲时间:15:55-16:35
演讲题目: Apache Seatunnel 的服务化之路
演讲概要:主要围绕 seatunnel-server 模块,阐述为什么要做这件事以及能够给用户、给社区带来什么样的价值,以及我们目前的进度和未来发展。
抽奖环节:16:35-16:40 福利抽奖
袁小志
新浪微博 数据中台工程师
演讲时间:16:40-14:30
演讲题目:Apache Doris 在建设 DMP 架构中的应用与实践
演讲概要:主要方向为广告业务多维度报表产出以及用户的画像多级标签分析
7月 24 日 14:00,Apache SeaTunnel (Incubating) 联合Apache Doris 7月Meetup期待您的到来,我们不见不散!
关于 Apache SeaTunnel(Incubating)
Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。2021 年 12 月 9 日,SeaTunnel 正式通过世界顶级开源组织 Apache 软件基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目!
关于 Apache Doris
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
2022 年 6 月 16 日,Apache Doris 成功从 Apache 孵化器毕业,正式成为顶级项目。目前 Apache Doris 社区已经聚集了 340 余位贡献者,社区用户人数超过 5000+ 。在全球范围内获得超过 500+ 家企业的应用,在中国市值或估值排行前 50 的互联网公司中,有超过 80% 的公司长期使用 Apache Doris,同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。
福利环节
更多直播互动,参与本期即有机会获得社区小礼品
SeaTunnel,来,和社区一同成长!
Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。
仓库地址:
https://github.com/apache/incubator-seatunnel
网址:
https://seatunnel.apache.org/
Proposal:
https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal
Apache SeaTunnel(Incubating) 2.1.0 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
能够进入 Apache 孵化器,SeaTunnel(原 Waterdrop) 新的路程才刚刚开始,但社区的发展壮大需要更多人的加入。我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
提交问题和建议:
https://github.com/apache/incubator-seatunnel/issues
贡献代码:
https://github.com/apache/incubator-seatunnel/pulls
订阅社区开发邮件列表 :
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-123jmewxe-RjB_DW3M3gV~xL91pZ0oVQ
关注 Twitter:
https://twitter.com/ASFSeaTunnel
SeaTunnelApache SeaTunnel(Incubating)是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。
Apache SeaTunnel Doris7月联合Meetup,从数据集成到分析实践相关推荐
- 知乎的 Flink 数据集成平台建设实践
简介:本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践.内容如下: 1. 业务场景 : 2. 历史设计 : 3. 全面转向 Flink 后的设计 : 4. 未来 Fl ...
- 知乎数据集成平台建设实践
摘要:本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践.内容如下: 业务场景 历史设计 全面转向 Flink 后的设计 未来 Flink 应用场景的规划 01 业务场 ...
- 【活动预告】数据集成海外专场Meetup:走进Shopee,聊透SeaTunnel优化实践
优秀的数据集成能力能帮助企业最大限度挖掘数据价值,同时解决企业内部数据团队各系统口径不统一.数据交互难.缺乏统一的数据集成平台等痛点问题. 而SeaTunnel不仅在Spark和Flink之上运行 ...
- Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink
点击蓝字 关注我们 2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 进入 Apache 孵化器.4 个月后的 2022 年 3 月 18 日,其首个 Apache 版 ...
- Pentaho 7.0更新:数据准备和分析两不误
Pentaho公司的软件定位一直是做整合数据集成和分析,不过在即将发布的7.0平台中,该公司提供了用于加速和提升数据准备流程的功能. 升级后的分析.集成.数据准备工具于11月发布,支持用户在处理和准备 ...
- 数据集成方法发展与展望
数据集成方法发展与展望 一. 摘要 二. 发展概要 三. 技术综述 3.1 早期数据集成技术 3.2 后续集成算法的发展 3.3 面向网页表格的数据集成技术 3.4 基于众包的数据集成技术 3.5 数 ...
- 数据集成到可视化分析,轻松驾驭数据洞察力:ETLCloud与帆软BI完美结合
在当今数据驱动的业务环境中,企业需要快速而准确地获取.处理和分析大量的数据.为了满足这一需求,ETLCloud通过和帆软BI的集成提供了一种强大的数据采集和数据分析解决方案,通过可视化的ETL工具和灵 ...
- 可视化任务编排拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成
这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获. 本次演讲主要包括五个部分: 关于Scale ...
- 社区动态|Apache Doris 携手 Tapdata,联合共建开放数据生态
近日, 专注实时数据服务平台的 Tapdata ,宣布开源其数据源开发框架--PDK(Plugin Development Kit),并同步启动 PDK 插件生态共建计划 ,Apache Doris ...
最新文章
- 深入理解JVM——(三)为什么JVM新生代需要两个Survivor区
- FileNameFilter过滤器的使用和Lambda优化程序
- 关于bacula网络备份软件的安装以及配置3
- java如何解压rar文件怎么打开,java解压rar文件
- java源码影视源码搭建教程_新版千月影视app源码+搭建教程
- 字符设备驱动高级篇5——静态映射表、动态映射结构体方式操作寄存器
- Spring Cloud Alibaba Nacos 的 2 种健康检查机制!
- sitemesh3.0的配置以及在静态html中的使用
- java基础----多态性
- C++---异常处理
- 酷客多小程序携手Richly network Pte Led正式进军新加坡市场
- synchronized 线程同步
- TiledMap的使用
- 《基于双阶段支持向量机的电力系统暂态稳定预测及控制》总结
- 互联网卫星地图服务比较
- 数字图像处理(MATLAB版
- (差分)洛谷P4231 三步必杀
- imac下修改本地hosts文件解决react项目中的跨域问题
- 2022年全球市场花生酱威士忌总体规模、主要生产商、主要地区、产品和应用细分研究报告
- vue移动端实现拖拽
热门文章
- 单细胞RNA测序技术之入门指南
- 【Google Glass开发平台】谷歌眼镜开发工具包(GDK)快速...
- 奇安信发布冬奥网络安全“零事故”态势感知研判系统
- python3-基础篇-11-文件操作
- interrupt()方法和InterruptException异常
- 牛客编程巅峰赛S1第6场 - 黄金钻石王者题解
- 检验科LIS系统功能模块简介
- cocos2dx游戏之适配iPhoneX屏幕
- 自然语言处理算法工程师笔试题目_NLPer-Interview - NLP 算法工程师相关的面试题...
- 【C】字符串库函数及重点函数的模拟实现(下)—— strstr | strtok | strerror