Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink
点击蓝字 关注我们
2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 进入 Apache 孵化器。4 个月后的 2022 年 3 月 18 日,其首个 Apache 版本正式发布,并且保证了首个版本一次性通过检查。这意味着 2.1.0 版本,是经过 SeaTunnel 社区和 Apache 孵化器投票检查发布的官方版本,企业和个人用户可以放心安全使用。
2.1.0 下载地址:
https://seatunnel.apache.org/download
GitHub Release:
https://github.com/apache/incubator-seatunnel/releases/tag/2.1.0
备注:
软件许可协议是一种具有法律性质的合同或指导,目的在于规范受著作权保护的软件的使用或散布行为。通常的许可方式会允许用户来使用单一或多份该软件的复制,因为若无许可而径予使用该软件,将违反著作权法给予该软件开发者的专属保护。效用上来说,软件许可是软件开发者与其用户之间的一份合约,用来保证在符合许可范围的情况下,用户将不会受到控告。
进入孵化器前后,我们花费了大量的时间来梳理整个项目的外部依赖以确保整个项目的合规性。需要说明的是,开源软件选择怎样的 License 并不意外着项目本身就一定合规。而 ASF 严苛的版本检查最大程度地保证了软件 License 的合规性,以及软件合理合法的流通分发。
01
本次发布版本说明
新特性
1.对微内核插件化的架构内核部分进行了大量优化,内核以 Java 为主,并对命令行参数解析,插件加载等做了大量改进,同时插件扩展可根据用户(或贡献者)所擅长的语言去做开发,极大程度地降低了插件开发门槛。
2.全面支持 Flink,但同时用户也可自由选择底层引擎,本次更新也为大家带来了大量的 Flink 插件,也欢迎大家后续贡献相关插件。
3.提供本地开发极速启动环境支持(example),贡献者或用户可以在不更改任何代码的情况下快速丝滑启动,方便本地快速开发调试体验。对于需要自定义插件的贡献者或者用户来讲,这无疑是个令人激动的好消息。事实上,我们在发布前的测试中,也有大量贡献者采用这种方式快速对插件进行测试。
4.提供 Docker 容器安装,用户可以极快地通过 Docker 部署安装使用 SeaTunnel,未来我们也会围绕 Docker&K8s 做出大量迭代,欢迎大家讨论交流。
具体功能说明
使用 JCommander 来做命令行参数解析,使得开发者更关注逻辑本身。
Flink 从 1.9 升级至 1.13.5,保持兼容旧版本,同时为后续 CDC 做好铺垫。
支持 Doris 、Hudi、Phoenix、Druid 等 Connector 插件,完整的插件支持你可以在这里找到 [plugins-supported-by-seatunnel] 。
本地开发极速启动环境支持,你可以在使用 example 模块,不修改任何代码的前提下快速启动,方便开发者本地调试体验。
支持通过 Docker 容器安装和试用 SeaTunnel。
Sql 组件支持 SET 语句,支持配置变量。
Config 模块重构,减少贡献者理解成本,同时保证项目的代码合规 (License)。
项目结构重新调整,以适应新的 Roadmap。
CI&CD 的支持,代码质量自动化管控,(后续会有更多的计划来支持 CI&CD 开发)。
02
致谢
感谢以下参与贡献的同学(为 GitHub ID,排名不分先后):
Al-assad, BenJFan, CalvinKirs, JNSimba, JiangTChen, Rianico, TyrantLucifer, Yves-yuan, ZhangchengHu0923, agendazhang, an-shi-chi-fan, asdf2014, bigdataf, chaozwn, choucmei, dailidong, dongzl, felix-thinkingdata, fengyuceNv, garyelephant, kalencaya, kezhenxu94, legendtkl, leo65535, liujinhui1994, mans2singh, marklightning, mosence, nielifeng, ououtt, ruanwenjun, simon824, totalo, wntp, wolfboys, wuchunfu, xbkaishui, xtr1993, yx91490, zhangbutao, zhaomin1423, zhongjiajie, zhuangchong, zixi0825.
同时也诚挚的感谢我们的 Mentor :
Zhenxu Ke,Willem Jiang, William Guo,LiDong Dai ,Ted Liu, Kevin,JB
在这个过程中给予的帮助。
03
未来几个版本的规划
CDC 的支持;
监控体系的支持;
UI 系统的支持;
更多的 Connector 支持,以及更高效的 Sink 支持,如 ClickHouse,很快会在下个版本跟大家见面。
后续 Feature 是由社区共同决定的,Apache SeaTunnel (Incubating) 呼吁大家一同参与社区后续建设。
04
社区发展
近期概况
自进入 Apache 孵化器以来,贡献者从13 人增长至 55 人,且持续保持上升趋势,平均周 commits维持在20+,来自不同公司的三位贡献者(Lei Xie, HuaJie Wang,Chunfu Wu,) 通过他们对社区的贡献被邀请成为Committer。
我们举办了两场MeetUp,来自 B 站,OPPO、唯品会等企业讲师分享了 SeaTunnel 在他们在企业中的大规模生产落地实践(后续我们也会保持每月一次的 meetup,欢迎各位使用 SeaTunnel 的用户或者贡献者分享 SeaTunnel 和你们的故事)。
Apache SeaTunnel (Incubating) 的用户
Note:
仅包含已登记用户 Apache SeaTunnel (Incubating) 目前登记用户如下,如果您也在使用 Apache SeaTunnel,欢迎在 Who is using SeaTunne!
(链接:https://github.com/apache/incubator-seatunnel/issues/686)
中登记!
05
PPMC 感言
Apache SeaTunnel (Incubating) PPMC LiFeng Nie 在谈及首个 Apache 版本发布的时候说,从进入 Apache Incubator 的第一天,我们就一直在努力学习 Apache Way 以及各种 Apache 政策,第一个版本发布的过程花费了大量的时间(主要是合规性),但我们认为这种时间是值得花费的,这也是我们选择进入 Apache 的一个很重要的原因,我们需要让用户用得放心,而 Apache 无疑是最佳选择,其 License 近乎苛刻的检查会让用户尽可能地避免相关的合规性问题,保证软件合理合法的流通。另外,其践行 Apache Way,例如公益使命、实用主义、社区胜于代码、公开透明与共识决策、任人唯贤等,可以帮助 SeaTunnel 社区更加开放、透明,向多元化方向发展。
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
活动推荐
2022 年 3 月 26 日(星期六), Apache DolphinScheduler 和 Apache ShenYu(Incubating) 两大新生开源力量将携手,邀请来自 YY 直播、自如、政采云等团队的实战型专家,更有 Apache ShenYu 创始人 & PPMC & Dromara 开源组织创始人,以及Apache ShenYu Committer 为企业大数据开发者、开源技术爱好者带来一场技术盛宴。
本次活动受疫情影响仍以线上直播的形式开展,活动现已开放免费报名,欢迎扫描下图二维码,或点击“阅读原文”免费报名!
扫码观看直播
扫码入直播群
☞全面拥抱 K8s,ApacheDolphinScheduler 应用与支持 K8s 任务的探索
☞Apache DolphinScheduler&ShenYu(Incubating)联合 Meetup,暖春 3 月与你相约
☞杭州思科对 Apache DolphinScheduler Alert 模块的改造
☞日均处理 10000+ 工作流实例,Apache DolphinScheduler 在 360 数科的实践
☞Apache DolphinScheduler 2.0.5 发布,Worker 容错流程优化
☞Apache DolphinScheduler 版本控制核心原理揭
☞喜讯 | Apache DolphinScheduler PMC Chair 代立冬,PMC 郭强获邀成为 ASF Member
☞途家大数据平台基于 Apache DolphinScheduler 的探索与实践
点击阅读原文,免费报名!
你“在看”我吗?
Apache SeaTunnel (Incubating) 2.1.0 发布,内核重构、全面支持 Flink相关推荐
- AgileConfig轻量级配置中心1.4.0发布,重构了发布功能
加入 NCC 先说一个事,AgileConfig 在 7 月底终于通过了 NCC 社区的审核,正式成为了 NCC 大家庭的一员.这对 AgileConfig 来说是一个里程碑,希望加入 NCC 后能更 ...
- 可视化任务编排拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成
这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获. 本次演讲主要包括五个部分: 关于Scale ...
- Apache SeaTunnel Doris7月联合Meetup,从数据集成到分析实践
随着大数据时代的来临,数据的处理对企业的技术团队挑战越来越高,数据在同步时能否支持各种数据源?应对海量的增量数据实例如何拥有更好的性能?数据聚合平台是否能开箱即用/方便二次开发?应对数据采集多场景和工 ...
- 马蜂窝毕博:分析完这9点工作原理,我们最终选择了 Apache SeaTunnel!
点亮 ⭐️ Star · 照亮开源之路 https://github.com/apache/incubator-seatunnel 讲师简介 毕博 马蜂窝 数据工程师 在10月15日,Apac ...
- 编写贩卖《和平精英》游戏外挂,5人被判刑;苹果推出轻App码;Firefox 84.0发布|极客头条...
整理 | 郑丽媛 头图 | CSDN 下载自东方 IC 快来收听极客头条音频版吧,智能播报由出门问问「魔音工坊」提供技术支持. 「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「 ...
- 开发工具|DingStudio1.1.0发布
什么是DingStudio DingStudio是一款辅助应用开发的桌面端应用程序,旨在提高前端开发效率,通过提供各种小工具以及集成钉钉微应用研发.调试等能力,让web开发调试更简单. DingStu ...
- mysqlsql varchar类型只取前四个_Apache Doris0.12.0 发布,进入 Apache 孵化器后第四个正式版本...
Apache Doris(Incubating) 0.12.0 已经发布了,这是 Doris 进入 Apache 孵化器后第四个正式版本. 此版本带来的新功能包括: 全新的存储格式SegmentV2 ...
- 版本动态 | Apache Linkis(Incubating) 计算中间件1.1.2 版本发布
Linkis 1.1.2 版本简介 GitHub:https://github.com/apache/incubator-linkis 本次发布主要支持在无 HDFS 的环境下进行精简化部署(支持部分 ...
- 腾讯即将开源微信、QQ都在用的动画神器;Linux Mint与Mozilla达成合作;Apache Flink ML 2.0.0发布 | 开源日报
整理 | 宋彤彤 责编 | 屠敏 开源吞噬世界的趋势下,借助开源软件,基于开源协议,任何人都可以得到项目的源代码,加以学习.修改,甚至是重新分发.关注「开源日报」,一文速览国内外今日的开源大事件吧! ...
最新文章
- 地表最强VLP模型!谷歌大脑和CMU提出极简弱监督模型
- 日本公司用人工智能帮人做金融交易
- 【NLP】NLP任务增强:通过引入外部知识来提供额外信息
- RTMPdump(libRTMP) 源代码分析 7: 建立一个流媒体连接 (NetStream部分 2)
- 1059 C语言竞赛(PAT乙级 C++)
- Spring的PropertyPlaceholderConfigurer应用
- 大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006
- 河南城建计算机网络试卷,河南城建计算机网络技术学习心得体会.docx
- 2020年9月“省时查报告”十大热门报告盘点(附下载链接)
- 编译安装PHP出现Cannot load /usr/local/apache/modules/libphp5.so
- 游戏筑基开发之利用文件函数取出配置文件(ini文件)的数据实体(C语言)
- fuzzy仿真 MATLAB,基于Matlab的Fuzzy-PID控制器的设计与仿真
- js判断当前的访问是手机还是电脑
- MySQL指令集集合
- macos ntfs插件_NTFS for Mac 助手 - Mac读写NTFS磁盘工具
- 思科模拟器Cisco Packet Tracer语言汉化包设置(附下载链接)
- 罗老师算法竞赛专题解析
- python画图--柱状图
- 京东七夕报名要注意什么?四川万顿思
- 久坐伤身,这个3D坐垫能让危害降到最低,办公自驾必备!