分布式任务调度中心xxl-job
xxl-job
- 分布式任务调度中心优点
- xxl-job简介
- 部署调度中心
- 执行器的配置
- 任务配置
分布式任务调度中心优点
1.多台机器集群部署保证定时任务不被重复执行
2.动态的调整定时任务的执行时间,不需要重启服务器
3.对定时任务进行监控
4.业务量大时解决单一服务器的性能瓶颈
5.实现故障转移等
xxl-job简介
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展
项目结构
架构图
整体分为两个部分:调度中心 和 执行器
调度中心:可以理解为服务端,需要单独部署,提供的UI界面来管理定时任务,负责发起调度,本身不承接业务逻辑。把调度和任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块
执行器:可以理解为客户端,需要跟我们实际开发的项目整合,用来执行具体的任务逻辑。
部署调度中心
1.初始化数据库,文件所在目录/xxl-job/doc/db/tables_xxl_job.sql
2.修改配置文件
### 调度中心JDBC链接:链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文;
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能;
xxl.job.logretentiondays=30
完成以上两步就可以启动我们的任务中心
调度中心访问地址:http://localhost:8080/xxl-job-admin (该地址执行器将会使用到,作为回调地址)
默认登录账号 “admin/123456”, 登录后运行界面如下图所示。
执行器的配置
1.引入xxl-job的核心jar包
<dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.3.1</version></dependency>
2.配置文件
# 端口
server.port=8082
# 日志配置
logging.config=classpath:logback.xml
### 任务中心的地址
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 安全验证的token不为空时使用 任务中心和执行器保持一至
xxl.job.accessToken=default_token
# 执行器的名字
xxl.job.executor.appname=xxl-job-springboot-demo
### 执行器的注册地址 为空会自动获取http://ip + 端口
xxl.job.executor.address=
### 执行器的IP 为空会自动获取
xxl.job.executor.ip=
### 执行器的唯一端口号 单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### 执行器日志保存路径 需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能
xxl.job.executor.logretentiondays=30
3.xxl-job配置类
@Configuration
public class XxlJobConfig {private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);@Value("${xxl.job.admin.addresses}")private String adminAddresses;@Value("${xxl.job.accessToken}")private String accessToken;@Value("${xxl.job.executor.appname}")private String appname;@Value("${xxl.job.executor.address}")private String address;@Value("${xxl.job.executor.ip}")private String ip;@Value("${xxl.job.executor.port}")private int port;@Value("${xxl.job.executor.logpath}")private String logPath;@Value("${xxl.job.executor.logretentiondays}")private int logRetentionDays;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppname(appname);xxlJobSpringExecutor.setAddress(address);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;}}
4.编写一个简单的任务
@XxlJob("demoJobHandler1")public void demoJobHandler() throws Exception {System.out.println("xxl-job hello world");}
以上完成后,执行器所有的就配置完成,下面我们开始在调度中心创建一个任务
任务配置
任务详解
基础配置:- 执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;- 任务描述:任务的描述信息,便于任务管理;- 负责人:任务的负责人;- 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
触发配置:- 调度类型:无:该类型不会主动触发调度;CRON:该类型将会通过CRON,触发任务调度;固定速度:该类型将会以固定速度,触发任务调度;按照固定的间隔时间,周期性触发;固定延迟:该类型将会以固定延迟,触发任务调度;按照固定的延迟时间,从上次调度结束后开始计算延迟时间,到达延迟时间后触发下次调度;- CRON:触发任务执行的Cron表达式;- 固定速度:固件速度的时间间隔,单位为秒;- 固定延迟:固件延迟的时间间隔,单位为秒;
任务配置:- 运行模式:BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 "JobHandler" 属性匹配执行器中任务;GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "shell" 脚本;GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;- JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;- 执行参数:任务执行所需的参数;
高级配置:- 路由策略:当执行器集群部署时,提供丰富的路由策略,包括;FIRST(第一个):固定选择第一个机器;LAST(最后一个):固定选择最后一个机器;ROUND(轮询):;RANDOM(随机):随机选择在线的机器;CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;LEAST_RECENTLY_USED(最近最久未使用):最久未使用的机器优先被选举;FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;- 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。- 调度过期策略:- 忽略:调度过期后,忽略过期的任务,从当前时间开始重新计算下次触发时间;- 立即执行一次:调度过期后,立即执行一次,并从当前时间开始重新计算下次触发时间;- 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;- 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;- 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
以上操作完成后就可以在调度中心验证了
分布式任务调度中心xxl-job相关推荐
- SpringBoot集成XxlJob分布式任务调度中心(超详细之手把手教学)
一.前言 废话就不多说了,介绍Xxl-Job的网上已经有很多,本文就不多加复制粘贴了,直接步入第二步.(PS:本文包括Xxl-Job分布式定时任务调度中心的搭建,以及SpringBoot集成XxlJo ...
- 第二十章 分布式任务调度中心DolphinScheduler架构设计
1.调度系统概述 1.1.调度系统介绍 含义:在指定时间协调器通过分布式执行器并行执行任务. (1)目标 分布式环境下处理任务调度,在基于给定的时间点,给定的时间间隔或者给定执行次数自动的执行任务 ...
- xxl-job分布式任务调度中心部署实践(1)
文章目录 前言 环境说明 一.xxl-job是什么? 二.使用步骤 1.下载源码 2.工程介绍 3.xxl-job-admin配置 3.1 初始化数据库 3.2 修改xxl-job-admin配置 3 ...
- ScheduleMaster分布式任务调度中心基本使用和原理
文章目录 一.ScheduleMaster 核心概念 二.ScheduleMaster 应用场景 三.ScheduleMaster 项目落地 四.ScheduleMaster 运行原理 五.Sched ...
- 分布式任务调度平台一站式讲解
文章目录 一.传统的定时任务 1. 传统的定时任务存在那些缺点 2. 定时任务集群幂等性问题 二.传统定时任务的实现方案 2.1. 多线程 2.2. TimeTask 2.3. 线程池 2.4. Sp ...
- xxl-job(许雪里开发),分布式任务调度平台+定时任务
xxl-Job(分布式任务调度中心(许雪里开发) 面试题:你的项目是分布式的,项目的定时任务是怎么做的? 分布式任务调度如果让你来实现,有什么思路,怎么实现? 有没有了解过一些开源的方案来解决这一块问 ...
- xxl子任务_阿里面试官:聊一下分布式任务调度有那些解决方案?
作者:黄兆平 来源:http://blog.freshfood.cn/article/39 # 简介 随着系统规模的发展,定时任务数量日益增多,任务也变得越来越复杂,尤其是在分布式环境下,存在多个业务 ...
- 系列学习分布式任务调度 XXL-JOB 之第 1 篇 —— XXL-JOB 介绍(调度中心、执行器)
一般来说,我们在 SpringBoot 项目里,如果需要定时处理一件事,我们最常用的做法是:在启动类增加注解 @EnableScheduling 启用任务调度,然后在 task 任务类的某个方法上增加 ...
- xxl子任务_XXL-JOB v2.0.2,分布式任务调度平台 | 多项特性优化更新
v2.0.2 Release Notes 1.底层通讯方案优化:升级较新版本xxl-rpc,由"JETTY"方案调整为"NETTY_HTTP"方案,执行器内嵌n ...
最新文章
- ORA-25155: NATURAL 联接中使用的列不能有限定词
- java反编译工具_Android APP 取证之逆向工具篇
- oracle 去除重复的信息
- Google Maps——页面提示[For development purposes only]解决方案
- 操作系统:体验Windows 11,不到1M的小工具来了!
- Android入门之简单拨号器
- php pm.status path,phpfpm开启pm.status_path配置,查看fpm状态参数
- 29 顺时针打印矩阵(四-画图让抽象问题形象化)
- 【前台技术】-播放音频
- InletexEMC绿色好用的电脑屏幕共享软件
- win10资源管理器如何添加PDF文件预览
- SparkSQL的入门实践教程
- Android Kotlin之Flow数据流
- Chromium浏览器下载
- 虚拟实验工场计算机科学导论论文,计算机科学导论论文
- 【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically
- Python打开文件并进行处理,txt、excel、pdf、word!
- Java竞赛活动特色,电子信息系AAA软件特色专业java知识竞赛圆满落下帷幕
- 计算机组成原理:乘法运算
- 《Gartner 2018 BI与数据分析魔力象限》报告解读
热门文章
- PayPal收款后的注意事项(PAYPAL用户必看)
- WPF,Silverlight与XAML读书笔记第三十七 - 可视化效果之Brush
- SECS半导体设备通讯-1 SECS的基本概念
- Java Spliterator接口总结 Spliterator接口注释翻译和解析中英文对照版
- 【论文】优秀的论文记录
- Android公共工具库使用说明文档
- 2021年制冷与空调设备运行操作新版试题及制冷与空调设备运行操作免费试题
- mysql报错:Column count doesn‘t match value count at row 1
- windows 10 开启vt-x
- 鸿蒙开发实例 | 分布式涂鸦