阿里任务调度SchedulerX2.0和阿里云大数据任务结合

2024-04-05 23:06:58

简介

在schedulerx可支持定时调度dataworks任务，并将dataworks任务与其他业务定时任务进行在schedulerx上进行混合依赖编排完成相应的定期业务数据处理。

接入指南

客户端接入步骤：

1、schedulerx客户端升级至1.3.4及以上版本

2、配置具备访问dataworks（需开通企业版）的用户AK/SK

# dataworks访问的账户信息配置
spring.schedulerx2.aliyunAccessKey=阿里云账号AK
spring.schedulerx2.aliyunSecretKey=阿里云账号SK

任务创建

dataworks侧操作

1、进入dataworks控制台

2、在对应项目空间下进入数据开发，创建手动业务流程，该流程可认为是dataworks任务相关的一个业务分组。

3、在对应业务流程下创建所需对所有业务任务（无需编排依赖），并开发配置相关任务内容；完成后对该手动业务流程进行提交。

4、进入dataworks运维中心，查看确认手动业务流程及其任务已正确提交，则dataworks侧任务开发创建完毕。

schedulerx侧操作

1、已创建相应对业务，且worker已对接该业务应用

2、在相应业务应用下创建业务流程，该流程用于串联dataworks任务以及普通Java业务处理任务

3、在对应对业务流程下，导入或创建dataworks任务节点进行任务绑定

4、根据业务需要导入或创建其他类型业务处理任务，并完成依赖编排后进行发布；至此所有任务操作全部完成

任务运行

1、对业务流程设置定时触发，当触发运行上面创建的业务流程后，可在流程实例列表中查看流程执行状态以及各个节点状态

2、右击节点可查询对应节点的执行结果信息（待dataworks跳转链接支持后，会提供直接链接跳转）

3、任务实例列表，可查看对应任务节点的执行详情，以及支持停止重跑等操作

4、在dataworks的运维中心，可查询到本次调度的执行实例信息

原文链接：阿里分布式任务调度SchedulerX2.0支持Dataworks任务-阿里云开发者社区

阿里任务调度SchedulerX2.0和阿里云大数据任务结合相关推荐

任务调度Schedulerx2.0分布式计算之MapReduce模型
简介阿里巴巴任务调度Schedulerx2.0自研轻量级分布式模型MapReduce,可以进行大数据的实时/离线跑批.通过一个map方法就能将海量数据分布式到多台机器上执行,通过process方法处 ...
阿里巴巴任务调度SchedulerX2.0支持一次性任务
应用场景未来固定时间点跑一次,任务自动销毁.常见场景订单超时未支付自动关闭定时日历提醒优势精准时刻 SchedulerX的一次性任务与延时消息相比,没有固定延迟多少时间或者在多少天内的限制, ...
阿里云大数据型实例规格族d1配置性能详解
阿里云大数据型实例规格族d1配置性能CPU.内存.适用场景.d1实例规格族,InstanceTypes分享大数据型实例规格族d1实例详解: 大数据型实例规格族d1配置特性 I/O优化实例仅支持SSD ...
阿里新一代分布式任务调度平台Schedulerx2.0破土而出
1. 产品简介 Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台,提供定时.任务编排.分布式跑批等功能.使用Schedulerx2.0,您可以在控制台配置管理您的 ...
阿里新一代分布式任务调度平台Schedulerx2.0破土而出...
1. 产品简介 Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台,提供定时.任务编排.分布式跑批等功能.使用Schedulerx2.0,您可以在控制台配置管理您的 ...
Schedulerx2.0工作流支持数据传输
1. 前言 Schedulerx2.0是阿里中间件自研的基于akka架构的新一代分布式任务调度平台,提供定时.任务编排.分布式跑批等功能,具有高可靠.海量任务.秒级调度等能力. Schedulerx2 ...
Akka in Schedulerx2.0
1. 前言 Schedulerx2.0是阿里中间件自研的基于akka架构的新一代分布式任务调度平台,提供定时.任务编排.分布式跑批等功能,具有高可靠.海量任务.秒级调度等能力. 本篇文章以Schedu ...
阿里云大数据开发一面面经，已过，面试题已配答案
参考答案来源:大数据面试题V3.0,523道题,679页,46w字二面:阿里云大数据开发二面面经,已过,面试题已配答案_蓦然_的博客-CSDN博客 1.实习经历这一点就不多说了,每个人都不一样,根 ...
阿里云大数据组件的基本介绍
阿里云大数据组件的基本介绍注意:本文结合了本人对Hadoop生态和Spark的理解,阅读本文需要对传统的大数据组件有基本的认识和了解.本文不具备权威性,若要准确地了解阿里云大数据组件的特性请直接查看 ...

最新文章

热门文章