开源大数据：Apache DolphinScheduler

Apache DolphinScheduler 分布式易扩展的可视化DAG工作流任务调度系统

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用

Apache DolphinScheduler 架构

Apache DolphinScheduler 特性

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化
还有更多等待伙伴们探索

Apache DolphinScheduler 启动流程活动

DolphinScheduler 界面图

开源大数据：Apache DolphinScheduler相关推荐

阿里云EMR 2.0：重新定义新一代开源大数据平台
摘要:本文整理自阿里云高级产品专家何源(荆杭)在阿里云EMR2.0线上发布会的分享.本篇内容主要分为三个部分: 开源大数据的痛点及EMR产品历程 EMR2.0 新特征总结一.开源大数据的痛点及 ...
开源大数据周刊-第30期
阿里云E-MapReduce实践泰为在E-MapReduce上的考量与实践阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户 ...
开源大数据周刊-第49期
摘要: 开源大数据周刊-第49期资讯实时流数据分析--2017 年的 27 个预测概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元 ...
开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
开源大数据周刊-第34期
阿里云E-MapReduce实践使用E-MapReduce服务处理阿里云文件存储(NAS)的数据文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即 ...
开源大数据查询分析引擎
引言大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce.Bigtable被称为云计算底层技术三大基石.GFS.Ma ...
时下最热开源大数据技术TOP10
文章讲的是时下最热开源大数据技术TOP10,眼下大数据成为最热技术,并且呈现爆炸式增长.全世界的新项目雨后春笋般的出现.对于这些新的公司.项目来说,利好就是所有可用的技术是开放源代码的,直接采用. 海 ...
大数据平台常用组件_这款大数据智能服务平台火了！全自动化配置30+款开源大数据组件...
在互联网市场的头部效应下,企业所面临的竞争压力越来越大,如何有效解决获客成本高.用户黏性低.变现能力弱等问题,正是越来越多的企业开始构建大数据平台的初衷.但由于大数据解决方案所涉及的组件错综复杂.技术 ...
开源大数据平台的安全实践
开源大数据平台的安全实践刘杰百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...
开源大数据平台HBase对接OBS操作指南
1 背景介绍华为云对象存储服务可以与HBase大数据生态进行对接,为用户提供计算存储分离的大数据解决方案.该方案具备高性能.低成本的优势,且无扩容问题. 本操作指导书旨在帮助华为云用户在开 ...

开源大数据：Apache DolphinScheduler

Apache DolphinScheduler 架构

Apache DolphinScheduler 特性

Apache DolphinScheduler 启动流程活动

DolphinScheduler 界面图

开源大数据：Apache DolphinScheduler相关推荐

最新文章

热门文章