java 调度etl_Easy Scheduler是一个工作流调度系统,主要解决数据研发ETL错综复杂的依赖关系...
Easy Scheduler
Easy Scheduler for Big Data
设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 其主要目标如下:
以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load,memory,cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化
还有更多等待伙伴们探索
与同类调度系统的对比
系统部分截图
文档
近期研发计划
EasyScheduler的工作计划:研发计划 ,其中 In Develop卡片下是1.1.0版本的功能,TODO卡片是待做事项(包括 feature ideas)
贡献代码
感谢
Easy Scheduler使用了很多优秀的开源项目,比如google的guava、guice、grpc,netty,ali的bonecp,quartz,以及apache的众多开源项目等等, 正是由于站在这些开源项目的肩膀上,才有Easy Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢!我们也希望自己不仅是开源的受益者,也能成为开源的 贡献者,于是我们决定把易调度贡献出来,并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来,一起为开源献出一份力!
帮助
The fastest way to get response from our developers is to submit issues, or add our wechat : 510570367
java 调度etl_Easy Scheduler是一个工作流调度系统,主要解决数据研发ETL错综复杂的依赖关系...相关推荐
- java 定时调度_怎么编写一个定时调度java程序
目前有两种流行Spring定时器配置:Java的Timer类和OpenSymphony的Quartz. 1.Java Timer定时 首先继承java.util.TimerTask类实现run方法 i ...
- 【Java项目】如何设计一个用户签到系统?并且这个签到系统支持7天,14天等不同天数的连续签到功能?
文章目录 问题 Redis的Bitmap MySQL实现 特殊实现思路 问题 这个问题是我再面试阿里的时候遇到的,他问的是: 如果我现在有一个需求,就是我要做一个用户的签到系统,这个签到系统要求做到能 ...
- MySQL 新增表中的数据为另外一个或多个表的数据(业务场景:创建关系表,复制旧表数据到新表)
问题 昨天同学问了我个问题 我想写个sql脚本,循环插入数据,数据是另一个表中的a.b字段 A表中的a.b字段数据,循环加入B表中a.b字段.就是这个意思 我问他为什么不用Java写,他说是数据维护, ...
- java异步调用第三方接口_Java调用第三方系统接口获取数据
1,调取接口代码 RestTemplate restTemplate=new RestTemplate();HttpHeaders headers=new HttpHeaders();MultiVal ...
- 工作流任务调度系统--DolphinSchedule-1.3.6 window 安装配置
DolphinSchedule 简介 Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台.解决数据研发ETL 错综复杂的依赖关系,不能直观监控任 ...
- Easy Scheduler 1.0.2 发布,分布式工作流任务调度系统
Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本.此版本增加了调度开放接口.worker分组(指定任务运行的机器组).任务流 ...
- 分布式工作流任务调度系统Easy Scheduler正式开源
分布式工作流任务调度系统Easy Scheduler正式开源 1.背景 在多位技术小伙伴的努力下,经过近2年的研发迭代.内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler ...
- 开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布
Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本.此版本增加了调度开放接口.worker分组(指定任务运行的机器组).任务流 ...
- python分布式任务调度开源_分布式工作流任务调度系统Easy Scheduler正式开源
分布式工作流任务调度系统Easy Scheduler正式开源 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代.内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于 ...
最新文章
- 我所感兴趣的iOS10新特性
- golang 数据库 连接与连接池
- mysql行锁和表锁
- 【视频】如何正确焊接贴片、直插元件?
- Linux进程通信之文件
- Cocos2dx中零散知识点
- CFI/CFG 安全防护原理详解(ROP攻击、DOP攻击、插装检测)
- 2019年网络规划设计师上午真题及答案解析
- ajax提交表单序列化(serialize())数据
- iBatis和Hibernate浅析
- [Android ] 进度条组件ProgressBar
- 计算机原理(3)-内存工作原理
- Android 购物选择颜色、尺码实现(二)
- Android 应用进程保活APP常驻内存研究方案
- 关于log4j的参数含义
- 磁卡、ID卡、IC卡、M1卡、CPU卡的理解区分
- NV12图片裁剪算法
- 在线机器学习算法及其伪代码
- linux中zip文件解压命令,Linux中zip压缩和unzip解压缩命令使用方法
- python 深圳找工作_讲讲自己来深圳后找工作的经验吧!
热门文章
- oa工作流 源码_oa管理系统工作流是什么?类型、优势、功能有哪些?
- 使用Vscode进行Python开发环境配置
- lambda理解与应用
- 漫步数理统计十九——独立随机变量
- 漫步线性代数十九——快速傅里叶变换(上)
- 第二讲 数学模型方法
- [深度学习-TF2实践]应用Tensorflow2.x训练ResNet,SeNet和Inception模型在cifar10,测试集上准确率88.6%
- leetcode - 53. 最大子序和
- leetcode - 303.区域和检索-数组不可变(动态规划)
- linux下mysql连接错误解决