近日,孙金城老师在 “Open Source Promotion Plan - Summer 2020” 开源软件供应链点亮计划做了《如何成为一名合格的Apache项目Committer,参与Apache开源贡献的正确姿势》的分享,开源软件供应链点亮计划旨在鼓励大家关注开源软件和开源社区,发掘和培养更多优秀的开发者。

听了孙老师的介绍,想必伙伴们已经对如何参与 Apache 项目有了一定的了解。咱们Apache DolphinScheduler 作为 Apache 基金会旗下正在孵化的大数据任务调度项目,社区是非常 open 的,欢迎任何形式的讨论,十分期待大家的参与和贡献。下面是DolphinScheduler社区情况的介绍,目前社区正在进行 1.3.1 版本的发版投票,欢迎关注!

Apache DolphinScheduler社区介绍:

Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已100多名, 他们分别来自 30 多家不同的公司。 微信群用户3000人。

Apache DolphinScheduler 部分用户案例(排名不分先后)

已经有300多家企业和科研机构在使用DolphinScheduler,来处理各类调度和定时任务,另有500多家公司开通了海豚调度的试用:

Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

Apache DolphinScheduler项目起源 - 需求决定

Apache DolphinScheduler四大特性

Apache DolphinScheduler 能力:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作

  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败

  • 支持工作流全局参数及节点自定义参数设置

  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑

  • 支持任务日志在线查看及滚动、在线下载日志等

  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化

  • 支持对Master/Worker cpu load,memory,cpu在线查看

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数

  • 支持多租户

  • 支持国际化

即将发布的Apache DolphinScheduler 1.3.1 新特性

  • Worker实现重构,提升Worker性能

    • Master和Worker引入Netty通信

    • 去zookeeper任务队列

    • Worker节点的三种选择:随机、循环和CPU和内存的线性加权负载平衡

    • Worker去数据库操作

  • 资源中心支持多目录

  • 添加 if/else 条件任务

  • 添加 sqoop/datax 任务

  • 支持 k8s 部署

  • 添加DAG流程图一键格式化

  • 流程图美化

  • 支持 ambari 插件安装

  • 批量导出和导入工作流

  • 流程定义支持复制

  • 大幅简化配置项,简化部署

DolphinScheduler系统部分截图

在线DEMO试用

http://106.75.43.194:8888/

DolphinScheduler Slogan

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表或者github issue参与到 DolphinScheduler 的社区建设中来。

欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始,

- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系

如何成为一名合格的Apache项目Committer,参与Apache开源贡献的正确姿势相关推荐

  1. 如何做一名合格的甲方项目经理

    本人做过乙方的项目管理,也做过甲方的项目管理,所以结合"围城"内外以不同的角度对甲方项目经理这一角色进行了一些思考,个人认为,做为一名合格的甲方项目经理,应该有以下几个物质,这里说 ...

  2. 一名合格的IT项目经理 这八项核心技能不能缺

    优秀的IT项目管理者决定着业务举措的最终成败,但真正的顶尖人才还需要具备独特的综合性技能储备--既包括硬技术水平.又拥有软技能素养.在今天的文章中,我们将一同了解招募项目管理专家时需要关注的八项核心技 ...

  3. 由 Apache 说开,中国开源项目已经走向世界!

    整理 | 唐小引 头图 | CSDN 下载自东方 IC 出品 | CSDN(ID:CSDNnews) 开源的蓬勃发展离不开众多中立的.非营利性质的自由和开源软件(FOSS)基金会的治理,目前全球最大的 ...

  4. web前端是什么?如何能成为一名合格的前端开发工程师?

    对于刚刚接触前端,并且以后想从事前端开发行业的小伙伴们,肯定都有过这样的疑问,如何才能成为一名合格的前端开发工程师呢? 相信这个问题是所有刚刚准备入行的小伙伴们都比较关心的. 如果大家在一些搜索引擎上 ...

  5. 如何能成为一名合格的前端开发工程师?

    对于刚刚接触前端,并且以后想从事前端开发行业的小伙伴们,肯定都有过这样的疑问,如何才能成为一名合格的前端开发工程师呢? 相信这个问题是所有刚刚准备入行的小伙伴们都比较关心的. 如果大家在一些搜索引擎上 ...

  6. mongodb的数据怎么导入到hdfs上_如何成为一名合格的数据架构师?

    "本文作者:奇点云高级数据架构专家 天启,奇点云高级数据架构专家,原海尔集团数据架构师.原阿里巴巴政务团队数据架构师.精通数据仓库建模理论及数据开发技术,具备零售.政务.医药.制造等多个领域 ...

  7. 如何成为一名合格的数据架构师?

    "本文作者:奇点云高级数据架构专家 天启,奇点云高级数据架构专家,原海尔集团数据架构师.原阿里巴巴政务团队数据架构师.精通数据仓库建模理论及数据开发技术,具备零售.政务.医药.制造等多个领域 ...

  8. 开源指南|如何从零开始参与 Apache 顶级开源项目?(二)

    作者:苏奕嘉|SelectDB 生态研发工程师 写在开头 上一篇文章 如何从零开始参与 Apache 顶级开源项目?我们介绍了 Apache Doris 社区的工作机制.如何参与社区贡献以及如何完成第 ...

  9. 作为一名合格的JAVA程序员需要点亮那些技能树?

    转自:https://zhuanlan.zhihu.com/p/26035486 先看看这些程序员技能树,你掌握或了解哪些?OMG竟然有么多---震精!震精!!! 这是从450家企业的招聘信息中统计而 ...

最新文章

  1. [读书笔记]My Life--Bill Clinton
  2. 辨析 const指针 和 指向常量的指针
  3. android webview capturepicture,android webView截图的4种方法
  4. android view选中状态,RecyclerView选中
  5. OCR技术系列实践:银行卡、身份证、门牌号、护照、车牌、印刷体汉字识别
  6. 【实用工具】查看gcc/vs开启的宏
  7. IT职场人生系列之十九:危险职业(中)
  8. Win11显卡fps很低怎么办?Win11显卡fps很低的解决方法
  9. Apache Mina的用法
  10. 基于激光雷达点云数据的目标检测
  11. php中的get_called_class()方法
  12. Appscan的下载安装
  13. 基于时序哨兵数据的汛期监测(好文分享)
  14. matlab自定义colormap保存不,matlab自定义colormap
  15. 电脑一敲键盘就跳转计算机,Win10系统电脑关机后一敲键盘就开机 win10系统为什么按键盘任意键自动开机...
  16. windows11删除此电脑的6个图标,包括视频、图片、文档、下载、音乐、桌面
  17. 澤山咸 (易經大意 韓長庚)
  18. 使用adb命令卸载Android的apk软件失败
  19. php 指定大小缩略图片
  20. 化工人员定位系统提供智能安全保障

热门文章

  1. go语言byte类型报错cannot use c (type string) as type byte in assignment
  2. Auto-encoder(自编码器)的原理及最新的技术应用(李宏毅视频课整理和总结)
  3. 幂级数和函数经典例题_幂级数和函数的几种常见解法
  4. 第十五章 文正学院成绩录入系统
  5. 解决pip下载速度慢的问题:更换国内源
  6. mysql charset=utf-8_mysql数据库charset=utf-8
  7. Windows 11(ISO) 官方镜像文件下载
  8. 【Linux Centos6/7 Oracle11g 修改Oracle字符集为ZHS16GBK(附: 其它字符集查询命令)】
  9. aircrack-ng for windows的简单使用教程
  10. php天花板好吗,最近听了听平头塞天花板瑞弦D3,说说感受(对比钛铃)