Fuzer：华坤道威自研百万级任务调度系统
日前，华坤道威发布了自主研发的任务调度系统Fuzer。作为一个去中心化分布式易扩展的任务调度平台，Fuzer适用于常见任务调度场景，支持多种任务类型，丰富的任务操作等全任务特性调度平台，解决复杂了的大数据场景任务调度，为数据中台调度赋能。
发展背景
大数据任务调度系统是数据中台的重要组成部分，它负责数据领域所有离线任务的编排调度。我们在日常工作中，会碰到很多调度的场景，例如通过定时任务每天发送日报或者选择合适的负载机器来执行任务等。任务调度系统负责关注任务及时准确地执行，为使用者提供任务定时、工作流调度等能力。常见的任务调度系统包括DolphinScheduler，Airflow，Azkaban等。
华坤道威自研的平台调度系统Fuzer，正是基于DolphinScheduler系统而研发。华坤道威数据中台之前便是以DolphinScheduler作为任务调度引擎，但随着时间的推移，公司业务快速发展，任务规模也日益扩大，DolphinScheduler的性能、稳定性和任务多样性不再满足发展要求。因此，为了解决问题，我们自研了任务调度系统Fuzer。经历多个产品迭代与大大小小的技术难题之后，Fuzer实现了从0-1的第一个版本的上线。相比较于原本的DolphinScheduler，Fuzer拥有更高性能的任务调度、更高稳定的调度性能、更强功能的调度执行，任务调度形式更加多样化，并且高度融合离线、实时等丰富的计算组件、数据源组件及多租户设计思想，为上层应用提供便捷服务，充分为中台调度赋能。
关键性能
作为华坤道威自主研发的任务调度系统，Fuzer具备着更为强大的性能，除支持百万级任务的复杂调度，还拥有着包括最小化易用能力、多场景调度能力、多样化的执行能力和高可用等关键特性。
（Fuzer调度框架）
- 最小化中间件，易上手
Fuzer实现了中间件的最小化，支持mysql5.7与nacos2.0，组件少、易部署，大大减少了上手难度。
- 支持多种任务类型，更具开放力
Fuzer可支持多种任务类型，包括DataX/FlinkDo/SPARK/SQL/SHELL/PYTHON等常见任务类型，并基于SPI机制，快速扩展自定义任务插件，具备极强的开放能力。
- 丰富任务操作，性能更强
支持百万级任务复杂调度的Fuzer拥有更为丰富的任务操作，包括测试、手动、周期调度、暂停、恢复、超时、单时间窗口补数，实例依赖补数等；系统会自动解析任务依赖，并生成任务流依赖关系，无需人工构建任务流，支持即时和定时的动态实例管理以及灵活调度编排（任务、任务流、组合依赖），能力更丰富，性能更为强大，充分满足常见业务场景的调度需求。
- 高可用，稳定性更佳
Fuzer采用去中心化设计，确保稳定性，同时支持任务队列，任务队列保活机制，本地Executor提供过载容错能力，并支持负载均衡、接口限流，确保任务的高可靠执行。
未来发展
Fuzer的问世，为数据中台调度提供了优秀的技术支持，而数据中台技术和隐私计算技术正是华坤道威为广大成长型企业提供一站式DaaS服务的重要技术底座。在未来，Fuzer将继续向着更通用化、更高性能、更丰富功能的方向继续发展，增加更高规模的任务调度能力，丰富组件资源管理能力。同时，华坤道威也将效仿DolphinScheduler，逐步在开源社区做出自己的贡献，为数据中台建设带来一些建设性作用。通过我们的努力，我们希望让技术取于开源归于开源，使核心技术自主可控，也能让更多不同行业的企业更好地掌握技术的自主权。
Fuzer：华坤道威自研百万级任务调度系统相关推荐
- 高能分享，直击华坤道威（Fuzer）调度系统架构设计专题线上技术讨论沙龙
从「鲜为人知」的专业名词,到 2006 年的精准定义,再到如今全面上云时代的「百花齐放」,云计算的发展趟过蛮荒之地,已形成极具规模.高可靠性.通用性的服务,而开源是创新的基础,也是这一场技术革命中的重 ...
- 技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访
随着大数据领域的迅速发展和普惠化,数据建设越来越受到企业的高度关注,而"湖仓一体化"也成为数据建设中重要的组成部分,越来越多企业把"湖仓一体化"视为数字变革的重 ...
- 数据价值安全释放 华坤道威详解隐私计算技术
聚焦数据安全,企业数字化转型再遇挑战 数字经济时代,数据作为重要的生产要素,已成为企业和国家发展的重要战略资源,也是推动市场经济发展的强大动力.在这样的背景下,企业价值创造的基础不再只是资产,而是更多 ...
- 新一代DaaS产品：数聚核DataN产品社区交流会 | 华坤道威专访
数字经济时代,数据作为重要的生产要素之一,已然成为国家大数据战略的重点.企业挖掘数据价值.积极开展数字化转型.实现规模化的数据智能.用数据驱动业务发展,成为大数据时代企业发展的必由之路.然而,数据中台 ...
- 清华博士段安：隐私计算如何打破数据孤岛 实现数据价值最大化 l 华坤道威专访
去年,随着国家数安法和个保法的相继出台,监管重拳的落地,个人隐私安全.隐私泄露等问题越来越受到人们的重视. 在此背景下,如何在合法合规的情况下,让企业经营持续不断增长,如何解决数据孤岛壁垒,真正让数据 ...
- 企业数字化转型高级解决方案专家柳京活：元宇宙背景下的大数据之路 l 华坤道威专访
近两年,元宇宙成为时下热门话题之一,从概念的形成到观念的传播,从技术的创新再到资本驱动的产业迭代升级,可谓是说风头正劲,而"大数据"也成为推动元宇宙发展的关键部分,越来越多企业把& ...
- 华坤道威创始人孟宪坤：站上思维巨塔，看清未来
他的眼神里,有一种豹子般的敏锐和犀利 所谓"一生二,二生三,三生万物".天.地.人,合为"三才". 中国战场历来讲求"天时地利人和",在战略 ...
- 高级解决方案专家吴帆：元宇宙与智慧城市管理 l 华坤道威专访
在元宇宙带来新的一轮数字经济发展的浪潮中,基于元宇宙的空间构建.时空感知和社会应用,催生了对智慧城市管理新的认知模式.在元宇宙的影响之下,智慧城市将产生新的社会交往方式.形成新的经济运行形式,进而给生 ...
- 类似微信陌陌app百万级并发系统源码转让
产品包含WEB端/android/IOS端/web管理端 功能完善, 具体请联系团队 QQ 2768232187 产品为客户上线产品,目前单台服务器并发15W用户左右,系统做过百万级压力测试,产品功 ...
最新文章
- 计算机操作系统——作业调度算法
- db2设置数据库增量备份_DB2在线增量备份 还原增量备份及前滚恢复
- mybatis主键返回
- java寻路算法_具有指定距离/节点数的寻路算法
- 浪潮服务器可管理和维护性,专注用户需求，浪潮服务器提供优质高效的产品
- 多核cpu的特殊中断
- 树莓派安装qq linux,2019年树莓派运行新版原生LinuxQQ?【已更新】
- 基于51单片机的简易计算器
- influxdb数据过期_influxdb 清空数据库
- wh计算公式_锂电池计算公式wh 锂电池的mah和wh如何换算？
- 联想win7旗舰版忘记开机密码--有效处理办法
- 搭建图像搜索引擎（之0）：霍比特人直方图
- 数论进阶——莫比乌斯反演
- 史上最难的初等几何问题？分享一个参考答案
- multiset用法详解
- 什么是QT（轻松的帮你做带界面的软件）
- Java 埃拉托色尼筛选法
- DW与JavaScript
- cisco packet tracer_交换机配置/mac地址表(图解version:8+)
- 《奇幻的森林》观后感 (r8笔记第72天)