java任务系统设计_任务调度系统-任务依赖的设计
1.任务依赖需求描述:
例子:
一个作业分为如下子任务:
任务1,任务2,任务3,任务4
执行的顺序为,任务1---》任务2,任务3---》任务4
其中任务2,任务3可以并行执行,我们用下图描述:
这是一个图形结构,我们预设,任务的起始点永远都是一个根节点,不管你业务如何,遵从这个设计是没有难度的,以后的流程,可以并行,也可以串行,任何一个阶段,都能支持并行和串行,因此,我们的子任务关系构成的数据结构为一个图。
2.任务调度简单流程
首先定义一个job代表一次业务的调度,job维护了任务1到任务4之间的关系。
找到job的根节点任务1,先执行任务1,因为是根节点,没有父类,因此没有先决条件,任务被调度时,即可执行。
执行完根节点之后,看该节点是否有子节点,没有则不继续,有则并行执行所有子节点的任务。
此时任务2和任务3会被并行调用,我们假设调用指令先到任务2,任务2发现有1个父节点,且调用指令中表示父节点已经执行完成,那么就开始执行任务2的调度,同理任务3也是同样的逻辑。
任务2和任务3执行完成之后,会先后或者同时调用任务4,我们这里为了避免同时并发造成的困扰,任务被调用这个方法要设置成同步,那么假设任务2先调用任务4,此时我们在内存中记录任务2已完成,并且任务4发现自己的2个父节点中,任务3的指令并没有来到,因此,此次调度跳过,等待任务3指令的到来。
当任务3的指令到来,我们根据jobid,找到之前暂停的job,此时发现任务2,3都执行完成,那么开始执行任务4,本次业务调度完成。
3.数据结构java类描述
//jobConfig及其子任务的依赖关系描述
public class JobConfig {
private Long id; //id
private TaskConfig task; //子任务根节点
private String corn; //corn表达式
}
// TaskConfig描述子任务之间的依赖关系
public class TaskConfig {
Long id;
String name; //任务名称
private Long jobId; //jobid
private String target; //目标任务
List parent; //父节点
List child; //子节点
}
//job类,描述每次任务调度的job
public class Job {
Long id;
JobConfig jobConfig; //所属job_config
int status; //执行状态
}
//task类,描述每次任务调度的task
public class Task {
Long id;
TaskConfig taskConfig; //所属task_config
Job job; //所属job
int status; //执行状态
//父task
List parentList;
}
4.表结构描述
我们需要定义一些表来描述作业子任务之间的静态关系
和执行时的任务状态动态关系
/*
job_config表
用来描述job及其子任务的静态关系
*/
create table job_config(
id,
root_task_id --任务根节点
corn --corn表达式
);
/*
task_config表,描述job下的子任务之间的静态依赖关系
属于job_config表的子表
*/
create table task_config(
id, --id
name, --任务名称
parent_id --父节点,多个用逗号隔开
child_id --子节点,多个用逗号隔开
job_id --所属的job_id
target --目标任务
)
/*
job执行状态表
*/
create table job(
id,
job_config_id, --所属job_config
status, --执行状态
);
/*
task执行状态表
job的子表
*/
create table task(
id,
task_config_id, --所属task_config
job_id, --所属job
status, --执行状态
);
5.伪代码描述job执行流程
捞取所有job_config表记录,根据corn去触发定时任务
事先构造job_config及其子任务之间的关系,从数据库中根据job_id捞取出
所有的task_config,然后根据其child,parent等构造一个关系对象
JobConfig jobConfig = buildJobConfig();
Job job =buildJob(); //包含持久化job
job.setJobConfig(jobConfig);
job.execute();
job.execute()方法详细代码:
//执行任务
public void execute(){
//构造task树,描述task及其子task的关系
//并持久化到数据库中
Task root = buildRootTask();
root.execute();
}
//task.execute 方法
public void execute(){
String target = taskConfig.getTarget();
//是否能执行,要判断先决条件,如果父节点未全部执行完,则跳过此次执行
if(this.canRun()){
boolean success = callTargetTask(target);
if(success){
//更新状态为成功
this.updateStatusToSuccess();
}else{
//更新状态为失败
this.updateStatusToFailed();
}
}
if(childList.size()>0){
//递归执行子任务
for(Task task : childList){
task.execute();
}
}
}
private boolean canRun(){
for(Task task : parentList){
if(!task.isFinished()){
return false;
}
}
return true;
}
Buildjobconfig代码:
6.任务失败重试设计
待续
分布式任务系统
任务调度系统,和任务执行系统应该分开部署
任务执行系统可以部署多台。调度系统也可以部署多台。
任务调度系统在callTargetTask的时候,用远程调用的形式,这样可以尽可能的提高并发的性能
和系统稳定性。
java任务系统设计_任务调度系统-任务依赖的设计相关推荐
- java 中心度_任务调度中心 (优化版)【原】
任务调度中心 主要依赖quartz.jar相关类 判断cron表达式 , 在下次即将执行的时间在指定时间内时, 从线程池中取线程进行调度 (优化版) 为什么要有调度中心 因为在集群环境,多server ...
- 任务调度系统就该这么设计(万能通用),稳的一批!
点击上方"芋道源码",选择"设为星标" 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | ...
- 点名系统在c++中怎么做_栅格系统是怎么做设计的
本文由:"学设计上兔课网"原创,图片素材来自网络,仅供学习分享 栅格系统是怎么做设计的?印刷中也会用到栅格,但就本文而言,我主要想讨论的是用于PC和移动设备上的栅格系统设计. 紫色 ...
- 延迟任务调度系统—技术选型与设计(上篇)
本文来自网易云社区 延迟任务的场景是? 现有的解决方案是? 存在的问题是什么? 希望达到的目标是? 可以实现的方案有? RabbitMQ实现 通过死信和死信路由实现 通过延迟消息插件来实现 Redis ...
- java排队系统设计_医院排队系统之简易设计
有关排队系统的应用是很多的,本文是针对医院的排队挂号流程进行的简易设计.要设计排队系统,首先要分别设计出病人和专家的类,然后编写服务器类模拟出若干等侯的病人.最后分别编写出专家与病人的客户端.具体步骤 ...
- java邮件系统设计_基于java技术的邮件系统设计与实现
论文字数:17915,页数:38 摘 要 电子邮件(简称E-mai1)又称电子信箱.电子邮政,它是-种用电子手段提供信息交换的通信方式.它是全球多种网络上使用最普遍的一项服务.这种非交互式的通信,加 ...
- java 酒店系统设计_基于Java的酒店管理系统的设计与实现
数据库与信息管理本栏目责任编辑 :代 影 ComputerKnowledgeand Technology 电脑知识与技术第 7 卷第 27 期 (2011 年 9 月) 基于 Java 的酒店管理系统 ...
- java告警系统设计_告警系统的设计
现在告警系统可以说是系统的必备部分,只要有监控,就需要一个告警系统来帮忙主动推送消息,以此减少人不停的主动查看监控的作用. 在最初的告警系统中,基本主要就是设置阈值,达到阈值就发生告警.这个在机器数量 ...
- 考勤系统java源码_考勤系统 - WEB源码|JSP源码/Java|源代码 - 源码中国
JSP+SQL学生考勤系统的设计与实现\admin\account_manager\accountmanager.jsp JSP+SQL学生考勤系统的设计与实现\admin\account_manag ...
最新文章
- #第六次会议#(4.21)
- PP 关于工单领料的总结
- golang rpc demo
- linux怎么远程命令,Linux远程命令
- 国外优秀技术站点推荐
- SparkSQL源代码:GlobalTempView与LocalTempView
- VS 2008 和 .NET 3.5 Beta 2 发布了
- poj1068Parencodings
- 4a安全管控 java cas_单点登录与权限管理本质:单点登录介绍
- 明汯投资掌门人裘慧明:今年特别难,未来两三年也难
- 重要知识结构-持续更新中
- “征信污点”可消除?征信中心:不可能
- 派生类的构造函数xu(c++)
- JAVA Applet——绘制心形曲线
- C语言用函数指针实现数组排序
- 前端面试题整理(会不断更新哦!~~~~~)
- 时尚文化概论结课论文
- 使用John the ripper破解密码
- (尺取法模板题) QLU_ACM 2021 专题训练(一) D - Subsequence 题解
- phpStrom+google谷歌浏览器+debug断点调试php程序