欢迎关注方志朋的博客,回复”666“获面试宝典

单点定时任务

JDK原生

自从JDK1.5之后,提供了ScheduledExecutorService代替TimerTask来执行定时任务,提供了不错的可靠性。

public class SomeScheduledExecutorService {public static void main(String[] args) {// 创建任务队列,共 10 个线程ScheduledExecutorService scheduledExecutorService =Executors.newScheduledThreadPool(10);// 执行任务: 1秒 后开始执行,每 30秒 执行一次scheduledExecutorService.scheduleAtFixedRate(() -> {System.out.println("执行任务:" + new Date());}, 10, 30, TimeUnit.SECONDS);}
}

Spring Task

Spring Framework自带定时任务,提供了cron表达式来实现丰富定时任务配置。新手推荐使用https://cron.qqe2.com/这个网站来匹配你的cron表达式

@Configuration
@EnableScheduling
public class SomeJob {private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class);/*** 每分钟执行一次(例:18:01:00,18:02:00)* 秒 分钟 小时 日 月 星期 年*/@Scheduled(cron = "0 0/1 * * * ? *")public void someTask() {//...}
}

单点的定时服务在目前微服务的大环境下,应用场景越来越局限,所以尝鲜一下分布式定时任务吧。

基于 Redis 实现

相较于之前两种方式,这种基于Redis的实现可以通过多点来增加定时任务,多点消费。但是要做好防范重复消费的准备。

通过ZSet的方式

将定时任务存放到ZSet集合中,并且将过期时间存储到ZSet的Score字段中,然后通过一个循环来判断当前时间内是否有需要执行的定时任务,如果有则进行执行。

具体实现代码如下:

/*** Description: 基于Redis的ZSet的定时任务 .<br>** @author mxy*/
@Configuration
@EnableScheduling
public class RedisJob {public static final String JOB_KEY = "redis.job.task";private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);@Autowired private StringRedisTemplate stringRedisTemplate;/*** 添加任务.** @param task*/public void addTask(String task, Instant instant) {stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());}/*** 定时任务队列消费* 每分钟消费一次(可以缩短间隔到1s)*/@Scheduled(cron = "0 0/1 * * * ? *")public void doDelayQueue() {long nowSecond = Instant.now().getEpochSecond();// 查询当前时间的所有任务Set<String> strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond);for (String task : strings) {// 开始消费 taskLOGGER.info("执行任务:{}", task);}// 删除已经执行的任务stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);}
}

适用场景如下:

  • 订单下单之后15分钟后,用户如果没有付钱,系统需要自动取消订单。

  • 红包24小时未被查收,需要延迟执退还业务;

  • 某个活动指定在某个时间内生效&失效;

优势是:

  • 省去了MySQL的查询操作,而使用性能更高的Redis做为代替;

  • 不会因为停机等原因,遗漏要执行的任务;

键空间通知的方式

我们可以通过Redis的键空间通知来实现定时任务,它的实现思路是给所有的定时任务设置一个过期时间,等到了过期之后,我们通过订阅过期消息就能感知到定时任务需要被执行了,此时我们执行定时任务即可。

默认情况下Redis是不开启键空间通知的,需要我们通过config set notify-keyspace-events Ex的命令手动开启。开启之后定时任务的代码如下:

自定义监听器
/*** 自定义监听器.*/
public class KeyExpiredListener extends KeyExpirationEventMessageListener {public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {super(listenerContainer);}@Overridepublic void onMessage(Message message, byte[] pattern) {// channelString channel = new String(message.getChannel(), StandardCharsets.UTF_8);// 过期的keyString key = new String(message.getBody(), StandardCharsets.UTF_8);// todo 你的处理}
}
设置该监听器
/*** Description: 通过订阅Redis的过期通知来实现定时任务 .<br>** @author mxy*/
@Configuration
public class RedisExJob {@Autowired private RedisConnectionFactory redisConnectionFactory;@Beanpublic RedisMessageListenerContainer redisMessageListenerContainer() {RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);return redisMessageListenerContainer;}@Beanpublic KeyExpiredListener keyExpiredListener() {return new KeyExpiredListener(this.redisMessageListenerContainer());}
}

Spring会监听符合以下格式的Redis消息

private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");

基于Redis的定时任务能够适用的场景也比较有限,但实现上相对简单,但对于功能幂等有很大要求。从使用场景上来说,更应该叫做延时任务。

场景举例:

  • 订单下单之后15分钟后,用户如果没有付钱,系统需要自动取消订单。

  • 红包24小时未被查收,需要延迟执退还业务;

优劣势是:

  • 被动触发,对于服务的资源消耗更小;

  • Redis的Pub/Sub不可靠,没有ACK机制等,但是一般情况可以容忍;

  • 键空间通知功能会耗费一些CPU

分布式定时任务

引入分布式定时任务组件or中间件

将定时任务作为单独的服务,遏制了重复消费,独立的服务也有利于扩展和维护。

quartz

依赖于MySQL,使用相对简单,可多节点部署,通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面,使用相对麻烦。

elastic-job-lite

依赖于Zookeeper,通过zookeeper的注册与发现,可以动态的添加服务器。

  • 多种作业模式

  • 失效转移

  • 运行状态收集

  • 多线程处理数据

  • 幂等性

  • 容错处理

  • 支持spring命名空间

  • 有图形化管理页面

LTS

依赖于Zookeeper,集群部署,可以动态的添加服务器。可以手动增加定时任务,启动和暂停任务。

  • 业务日志记录器

  • SPI扩展支持

  • 故障转移

  • 节点监控

  • 多样化任务执行结果支持

  • FailStore容错

  • 动态扩容

  • 对spring相对友好

  • 有监控和管理图形化界面

xxl-job

国产,依赖于MySQL,基于竞争数据库锁保证只有一个节点执行任务,支持水平扩容。可以手动增加定时任务,启动和暂停任务。

  • 弹性扩容

  • 分片广播

  • 故障转移

  • Rolling实时日志

  • GLUE(支持在线编辑代码,免发布)

  • 任务进度监控

  • 任务依赖

  • 数据加密

  • 邮件报警

  • 运行报表

  • 优雅停机

  • 国际化(中文友好)

总结

微服务下,推荐使用xxl-job这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性,适用于规模较小、对未来扩展要求不高的服务。

相对而言,基于spring task的定时任务最简单快捷,而xxl-job的难度主要体现在集成和调试上。无论是什么样的定时任务,你都需要确保:

  • 任务不会因为集群部署而被多次执行。

  • 任务发生异常得到有效的处理

  • 任务的处理过慢导致大量积压

  • 任务应该在预期的时间点执行

中间件可以将服务解耦,但增加了复杂度

来源:juejin.cn/post/6930912870058328071

热门内容:
  • 面试官:有了 for 循环 为什么还要 forEach ?

  • 网传铁饭碗职业排名,公务员仅排第八!

  • 为什么 Java 中“1000==1000”为false,而”100==100“为true?

  • 别再写 main 方法测试了,太 Low!这才是专业 Java 测试方法!

  • 新来的同事问我 where 1=1 是什么意思

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ♡

几种主流的分布式定时任务,你知道哪些?相关推荐

  1. NLP:Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介、使用方法、案例应用之详细攻略

    NLP:Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介.使用方法.案例应用之详细攻略 目录 词嵌入(一种主流的分布式表示)的简介 词嵌入的案例理解

  2. redis实现轮询算法_Dcron:基于redis与一致性哈希算法的分布式定时任务库

    背景 最近项目中的定时任务越来越多,为了防止任务重复执行曾经使用过的方案: 只启用了一个节点. 固定循环间隔,使用分布式事务锁. 部署一套分布式任务调度系统. 方案一 没有容错机制,当单个节点宕机,所 ...

  3. 分布式定时任务原理以及解决方案-指定时间执行定时任务

    分布式定时任务原理以及实现 一.单机指定时间执行定时任务实现方式 Timer运行机制 ScheduledThreadPoolExecutor的运行机制 原理图 Leader/Follower模式 Ti ...

  4. 主流的分布式调度框架、Elastic-job简介、功能和常用介绍

    主流的分布式调度框架.Elastic-job简介.功能和常用介绍 主流的分布式调度框架 Elastic-job简介 功能 常用 主流的分布式调度框架 elastic-job:由当当网基于quartz ...

  5. Elastic-job实现分布式定时任务

    Elastic-job实现分布式定时任务 前言 最近接了一个新的需求,需要使用到定时任务,由于我们的系统是分布式的,所以Spring自带的定时任务无法满足我们当前系统对定时任务的需要.我们需要一个能够 ...

  6. quartz 分布式_6大分布式定时任务对比

    作者 | sharedCode 来源 | blog.csdn.net/u012394095/article/details/79470904 分布式定时任务简介 把分散的,可靠性差的计划任务纳入统一的 ...

  7. 聊聊分布式定时任务中间件架构及其实现--转

    原文来自微信公众号:聊聊架构 在互联网应用中,各式各样的定时任务存于系统各个角落.我们希望由一个平台统一将这些作业管理起来.通过这个系统,作业的宕机.崩溃等状态就可收入运维同学掌控,直接对接报警系统, ...

  8. 6大分布式定时任务对比

    作者 | sharedCode 来源 | blog.csdn.net/u012394095/article/details/79470904 分布式定时任务简介 把分散的,可靠性差的计划任务纳入统一的 ...

  9. 悉数11种主流NoSQL文档型数据库

    悉数11种主流NoSQL文档型数据库 文档型数据库是NoSQL中非常重要的一个分支,它主要用来存储.索引并管理面向文档的数据或者类似的半结构化数据.顾名思义,文档型数据库(面向文档数据库)的关键核心概 ...

最新文章

  1. 小米立Flag:要做年轻人的第一个深度学习框架
  2. hibernate中validate的使用(转)
  3. 使用html测试数据库连接与操作(含界面) 第二步 功能实现
  4. expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {@org.spring
  5. 联想笔记本电脑,重新安装系统之U盘启动方法
  6. 调试代码和解决问题的总体思路和 技术路线应该持有的心态
  7. cameraman matlab 自带图,[转载]【MATLAB】MATLAB的自带数据及可生成数据的函数——图片形式...
  8. MapGIS67打开mpj文件无内容
  9. 台币转换计算机,Soulver 内建自动计算机功能的备忘录工具 货币换算、複杂数学式也支援...
  10. 我看大学培训机构--大学生到底要不要参加培训机构 一个参加培训的大学生的真实感受
  11. 前端学习--PS移动和选区工具
  12. 父级fixed_父元素设置absolute,子元素设置fixed定位失效
  13. Linux——MySQL-MMM
  14. 网路工程师工作中常用的几款软件
  15. 鼠标作为画笔 | 八
  16. 最详细最容易理解的HMM文章
  17. 计算机二级软件java_全国计算机等级考试使用的java软件版本
  18. 通讯:岁寒情深 电暖农村
  19. pythond的执行原理_深入理解Python 关于supper 的 用法和原理
  20. 下半年计算机二级什么时候出成绩,2021下半年计算机二级考试时间 成绩什么时候出来...

热门文章

  1. java io 缓冲流_记忆系列-Java IO的缓存输入输出流(高效流)
  2. Matlab for Linux常用设置
  3. java 查询sql_java如何实现sql连接和查询的代码?
  4. Python中从cmd获得.py文件的参数
  5. Mavlink自定义协议
  6. vc++图像保存,重绘
  7. BZOJ1901Zju2112 Dynamic Rankings——树状数组套主席树
  8. 【BZOJ5311/CF321E】贞鱼/Ciel and Gondolas(动态规划,凸优化,决策单调性)
  9. P1034 矩形覆盖
  10. 自动布局的 弊端 (后续)