【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测
评测说明
本评测方案主要从自身实用的角度出发，对比主流的开源任务调度方案，评选出最适合自己的方案，以作为自己的调度工具。
评测目标
短期目标
- 可调度多台机器的shell/python脚本；
- 可管理有依赖的任务执行；
- 支持mysql/postgresql数据库；
- 支持接口管理任务(定时，取消定时)；
中长期目标
- 任务运行状态和完成状态容易获得；
- 支持秒级调度；
- 支持任务分片；
- 支持任务可视化；
- Hadoop,Spark生态支持；
选型范围
| 软件 | 理由 |
|---|---|
| dolphinscheduler | 文档齐全，社区活跃。 |
| xxl-job | 应用广泛，支持多种调度方式。 |
| azkaban | 任务调度应用广泛。 |
| airflow | 调度新秀，人性化操作。 |
| quartz | 被大多数调度方案引用。 |
| oozie | 老牌大数据调度方案，在中大型企业中被广泛使用。 |
评测环境
服务器环境
【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测相关推荐
- 即将直播：新一代大数据技术构建PB级云端数仓实践
今晚19点,准时进入收看直播
- PB级区块链开源存储引擎“泓”Huge
区块链的特有属性使数据可追溯.不可篡改的同时弊端也很明显,采用的分布式存储技术需要每一个节点保存一份数据库,存储成本高:网络中发生的每笔交易都需要其它节点认证和记录,处理速度慢:这让区块链的系统的存储 ...
- 阿里PB级Kubernetes日志平台建设实践
阿里PB级Kubernetes日志平台建设实践 QCon是由InfoQ主办的综合性技术盛会,每年在伦敦.北京.纽约.圣保罗.上海.旧金山召开.有幸参加这次QCon10周年大会,作为分享嘉宾在刘宇老师的 ...
- 干货分享 | 阿里PB级Kubernetes日志平台建设实践
嘉宾 | 元乙 随着近两年的发展,Kubernetes 早已成为容器编排领域的标准,现在非常多的企业基于 Kubernetes 构建整个微服务的开发.运维平台,而日志是其中必不可少的核心功能.本文整理 ...
- 腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研,基于统一的 SQL 语言模型,面向机器学习智能调优,提供虚拟化数据和开放式计算引擎的大数据智能融合平台.在开放融合的 Data Cloud 上,业务方可以消费完整的 ...
- 华为云PB级数据库GaussDB(for Redis)揭秘第九期：与HBase的对比
本文分享自华为云社区<华为云PB级数据库GaussDB(for Redis)揭秘第九期:与HBase的对比>,原文作者:高斯Redis官方博客. 0. 引言 HBase是一个分布式的.面向 ...
- 付力力: 基于 ImpalaS 构建实时用户行为分析引擎
本文来自神策数据联合创始人&首席架构师付力力在 QCon 北京 2017 年全球软件开发者大会上的精彩分享,主题是"基于 ImpalaS 构建实时用户行为分析引擎". 付力 ...
- PB级分布式大数据的处理和分析应用
文章讲的是PB级分布式大数据的处理和分析应用,对于大数据,串行的处理方式难以满足人们的要求,现在主要采用并行计算方式.现有的并行计算可以分为两种: ·细粒度的并行计算.这里细粒度主要是指指令或进程级别 ...
- clickhouse hbase性能对比_QQ音乐PB级ClickHouse实时数据平台架构演进之路
OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾 ...
最新文章
- es6 generator_让我们探索一下ES6 Generators
- [魔方]28秒！地铁站真是个破纪录的好地方
- 在python多进程中使用manager和Barrier
- （HDU）1056 --HangOver( 悬住）
- chapter1:The way of the program
- 【转】删除过期数据通用程序
- 【❤️算法系列之顺序二叉树的实现（前序遍历、中序遍历、后序遍历）❤️】
- Nginx与Serssion一致性问题
- Scrum失败/成功案例分析
- laravel5.8笔记八：数据库（单库和多库）
- 最大子序和—leetcode53
- python---异常处理结构
- python调用ctypes中windll中的方法超时处理_python中使用ctypes调用MinGW生成的动态链接库（dll）...
- Flex里Application和TitleWindow数据交互方法
- centos 安装oracle java,CentOS 4.4下安装Oracle 10
- 数据库课程设计大作业大盘点【建议在校生收藏】
- 网站建设教程：新手如何自己建网站？
- [ALAPI]免费聚合视频无水印接口分享
- Android Studio 模拟器Emulator 设置代理网络 | WIFI图标有叉号但是有网络解决方案
- 今日算法笔试练习【5】（08-06）（历年笔试题）