一个著名的调度系统是怎么设计的？
实习生张大胖
这是个代码写得很烂的电商系统，只要运行一段时间，服务器就会出现Out Of Memory。
别人都忙得四脚朝天，于是实习生张大胖被抓了壮丁去研究为什么会出现OOM。
刚入行的张大胖技术水平一般，“装模作样”地看代码，研究日志，请教老员工，一个星期过去了，还是一无所获。
周一例行的项目会议上， 大家似乎要看张大胖的笑话了，没想到他却提了一个歪招：“这个OOM问题非常复杂，一时半会儿也解决不了，要不我们定时重启服务器怎么样？”
一脸严肃的项目经理老梁点点头：“以目前的情况看，也只能如此了。但是不能让服务中断，这样吧，公司有两台服务器，一台在凌晨1点重启， 另外一台在凌晨2点重启。”
得到了领导的首肯，张大胖赶紧行动，周末他其实已经做了准备，研究了Linux上的crontab，它的格式是这样样子：
每天凌晨一点重启系统，可以这么写：
0 1 * * * restart.sh
（注：这里只是个简单的例子， 实际上crontab及其灵活）
这个OOM的问题被张大胖灵机一动给解决了，或者说，被临时隐藏了。
crontab达人的烦恼
大家知道张大胖擅长crontab， 都把一些定时的任务扔给他去做： 什么定时统计报表，定时同步数据，定时删除表中的无效订单...... 等等。
张大胖整天面对的就是crontab和脚本，都快要吐了。
不仅如此，同事们还经常提出一些“变态”的需求：
“大胖，那个定时任务运行得怎么样了？”
“大胖，我想把那个定时任务给停掉。”
“大胖，那个定时任务今晚别运行啊！”
“......”
张大胖真是烦死了，他心想，要是提供个界面让大家使用就好了， 可是crontab似乎并不支持。
要不自己开发一个？
有一次张大胖偶然发现了JDK中的Timer类，似乎也是做这些定时任务的， 不由地眼前一亮，但是仔细研究以后就发现，JDK的Timer还是太简单了，做点简单的定时任务还行， 对于复杂的情况，尤其是复杂的时间策略，还是力不从心。
另起炉灶
看来自己需要从头设计了， 小张用“正交”的原则设计出了Logger, Appender, Formatter这些类。
我也可以使用同样的原则啊，小张能行，我凭什么不行？
说干就干，先想想需求，非常简单，不就是定时地执行任务嘛！
“任务”应该是正交中的一个“维度”，我可以抽象出一个接口叫做Task ， 嗯，还是叫做Job吧。
对使用者来说，他需要提供一个实现类出来，在实现类中描述要做什么事情，比如：生成报表，复制数据......
“定时”该怎么处理？ 定时，定时触发，干脆叫做Trigger吧。
这个Trigger 可以指定什么时间开始，时间间隔，运行多少次， 能覆盖大部分需求了。
可是张大胖转念一想，如果有人要求类似日历的重复间隔该怎么处理？ 比如每月的第一天运行，或者每周的最后一天运行，该怎么办？ crontab特别适合描述这种情况，对，可以搞一个类似于crontab的Trigger。
看来Trigger最好也是个接口，我来提供几个默认的实现，比如SimpleTrigger，CronTrigger，用户还可以扩展，这样就灵活了。
Job和Trigger也是正交的关系， 两者可以互不影响，可以独立扩展，真是不错， 张大胖不仅得意起来，这设计也很简单嘛！
但是怎么把这两个家伙结合起来？
必须得有个“大管家”才行，这个大管家应该可以接受Job， 然后按照各种Trigger去运行，嗯，叫做调度器Scheduler应该不错。
张大胖画了个草图，来展示三者之间的关系：
设计得差不多了，可以进入开发阶段了， 因为是自己要写一个类似于框架的东西，让别人去使用，张大胖开发起来非常有激情，即使是利用晚上和周末的时间来写代码，也是像打了鸡血一样，根本不觉得累。
一个月过去了，第一版新鲜出炉。
这个版本不仅有核心的API像Job, Trigger, Scheduler ，张大胖还专门开发了一个界面，用来展示定时任务的进展，例如什么时间运行，运行了几次，失败了几次......等等。
张大胖把它叫做“大胖定时任务调度系统”。
持久化
他兴奋地拿去让项目经理老梁看， 可是老梁并不感冒，面无表情地说：“你这个小软件有啥用啊。”
张大胖被泼了一盆冷水，依然热情满满地推销：“用了我的这个定时调度系统，任何人都可以轻松地启动，停止任务， 咱们项目中所有的定时任务一目了然。 大家就不用找我来手工调整了。”
老梁开玩笑地说：“奥，那你的实习工作就可以结束了，哈哈。”
正巧CTO Bill经过，他饶有兴趣地看了一会，提了一个问题：“假设你这个大胖调度系统在运行的时候，机器突然间Down掉了，怎么处理？”
张大胖一脸懵逼：“什么怎么处理，重启机器呗。”
Bill 说： “之前的任务还能接着运行吗，比如说一个任务需要运行100次，在机器down掉之前运行了90次，重启后能不能从第91次运行？”
张大胖有点发窘，不好意思地挠挠头：“这一点我还真没考虑到，我现在都是在内存中记录运行的情况，看来得做持久化了。”
Bill 听到持久化这个词，知道张大胖已经Get到了，他说，你把这个持久化实现了，到时候直接向我汇报。
得到了CTO的赏识，张大胖不敢怠慢，赶紧进行新的设计， 他抽象了一个叫做JobStore的接口，表示Job的存储，像什么Job，Trigger， Job运行情况都存储在其中。
下面有两个实现，分别对应内存存储和数据库存储。
虽然SQL是标准的，但是不同的数据库还是有细微的差异， 张大胖觉得得把这些差异给封装起来， 他又提取了一个接口叫做DriverDelegate， 屏蔽了数据库细节，让DbJobStore使用。
他还提供了一个缺省的实现StdJDBCDelegate，如果那些数据库还有独特的实现，那就写个子类就行了。
高可用
“大胖定时任务调度系统 2.0” 开发完成以后，张大胖仔细地想了一遍，似乎没有什么漏洞了，决定正式向CTO Bill去汇报。
Bill 亲切地询问了张大胖加班加点设计和开发的情况，对他这种不计较个人得失，一心一意为公司谋福利的精神表示了高度的赞赏。
张大胖受宠若惊。
Bill话锋一转：“我们的系统最近用户越来越多，老板特别提出了高可用的需求，系统的各个组件也得达到高可用！”
“高可用？ 拿我的定时调度系统来说，就是说可以部署在多个机器上，一个down掉了，其他的还可以运行，对吧？” 张大胖一点就透。
Bill 赞许地点点头：“你想好怎么去实现了吗？”
“很简单啊，把定时调度系统部署到多个机器上，形成几个备份就行了！”
张大胖还在白板上画了这么一个图：
“那同一个时刻，有多少个Scheduler 在运行？” Bill 终于抛出了重磅炸弹。
张大胖现在明白Bill的疑问了了，三个实例都在运行，那一个Job就有可能运行多次，这肯定是不行的！
他说道：“要不让三个实例A,B,C都去访问同一个数据库吧！”
Bill说：“那三个实例访问同一份数据，肯定会出现冲突，互相覆盖，那就乱套了！”
其实，实例A，实例B，实例C组成一个类似集群的东西，但是同一时刻，一个Job只能在一个实例上运行。
比如Job X 从凌晨1点开始，每隔1小时运行一次，那1:00 的时候Job X可能在实例A上运行， 2:00的时候可能在实例B上运行， 3:00的时候可能在实例C上运行。
也就是说，这三个实例部分地实现了负载均衡。
张大胖说：“这可就难办了。难道让这三个实例A,B,C之间互相通信？”
Bill说道：“那样有点麻烦，就变成一个分布式系统下的通信问题了，我们要不用这个数据库做点文章？ 反正这个数据库已经存了Job的信息，Trigger的信息，我们就多加一个表吧，就叫LOCKS，这个表里边每一行记录都可以当做一个‘锁’来用。”
张大胖表示不太明白。
“很简单，就是数据库的‘行’锁嘛， 比如SELECT * FROM LOCKS where LOCK_NAME='TRIGGER' FOR UPDATE ，这就把那一行记录给锁住了， 别的事务只能等待当前事务commit以后才能访问。”
张大胖还是不太明白。
“比如，服务器A的实例A在一个事务中先执行了上面SQL, 就把那一行给锁住了，当服务器B的实例B也去执行同样的SQL的时候， 只能等待，对吧？ 这不就相当于实例A获得了锁吗？”
“原来如此，以后任何一个调度器实例想要获取Job的运行时间，设置Job的下一次运行时间的时候，都必须先获得这个锁。这样这些分布式的调度器就不会冲突了，只会运行一个特定时间的Job。 我这就去做个详细设计，再来汇报。”
开源
两个月后，“大胖定时任务调度系统 3.0” 开发完毕，在Bill的大力支持和推动下，成功地应用在了公司的项目中。
灵活的设计和扩展性，加上持久化，集群等强大的功能， 系统受到了大家的欢迎。
考虑到很多公司都会有类似的需求，Bill决定把系统开源， 只是“大胖定时任务调度系统”这个名字有点俗，还有点长，Bill把它改名为“Quartz”。
Quartz从此流行开来。
一个著名的调度系统是怎么设计的？相关推荐
- 一个著名的任务调度系统是怎么设计的？
这是个代码写得很烂的电商系统,只要运行一段时间,服务器就会出现Out Of Memory. 别人都忙得四脚朝天,于是实习生张大胖被抓了壮丁去研究为什么会出现OOM. 刚入行的张大胖技术水平一般,&qu ...
- 一个著名的任务调度系统是怎么设计的？(转自码农翻身)
实习生张大胖 这是个代码写得很烂的电商系统,只要运行一段时间,服务器就会出现Out Of Memory. 别人都忙得四脚朝天,于是实习生张大胖被抓了壮丁去研究为什么会出现OOM. 刚入行的张大胖技术水 ...
- 【调度】一个著名的任务调度系统是怎么设计的？
实习生张大胖 这是个代码写得很烂的电商系统,只要运行一段时间,服务器就会出现Out Of Memory. 别人都忙得四脚朝天,于是实习生张大胖被抓了壮丁去研究为什么会出现OOM. 刚入行的张大胖技术水 ...
- 一个著名的日志系统是怎么设计出来的？
转自:公众号[码农翻身]/刘欣 1 前言 Java帝国在诞生之初就提供了集合.线程.IO.网络等常用功能,从C和C++领地那里吸引了大量程序员过来加盟,但是却有意无意地忽略了一个重要的功能: 输出日志 ...
- 报告论文：汽车GPS调度系统车载终端设计技术方案
汽车GPS调度系统车载终端设计技术方案 背景: 随着科技的发展,GPS民用化的趋势越来越让人期待.因为芯片小型化技术的日趋成熟,使得GPS芯片组在缩小体积或是降低耗电量等方面都有很大的突破. 这样,高 ...
- IP对讲服务器源码,IP广播对讲融合调度系统高可用设计
原标题:IP广播对讲融合调度系统高可用设计 云翌IP广播对讲系统基于NGN架构,使用国际标准SIP协议,具有极好的兼容性和功能可扩展性.可实现"语音广播+对讲+多媒体控制台"整体解 ...
- 阅读心得6：《首次公开！菜鸟弹性调度系统的架构设计》
本周阅读了老师推荐阅读的公众号:架构师中的推文<首次公开!菜鸟弹性调度系统的架构设计>,感想如下: 菜鸟裹裹是一款提供查快递.寄快递的应用软件,主要适用于全网包裹查询,支持淘宝.天猫.京东 ...
- 首次公开！菜鸟弹性调度系统的架构设计
阿里妹导读:菜鸟方舟(ark)是面向菜鸟所有研发的资源管理和运维平台,负责对菜鸟的基础设施资源进行管控,以支撑日常和大促的资源需求.弹性调度是菜鸟方舟的一个重要组成部分,也是方舟的一个重要的功能特性. ...
- 菜鸟弹性调度系统的架构设计——阅读心得
弹性调度的基本模式 方舟的弹性调度希望提供给用户的不只是一种弹性操作集群资源的能力,而是要对所有用户的成本和稳定性优化这件事负责.由于目标应用在各方面差异性很大,所涉及的配置项数以千计并且 ...
最新文章
- linux下，redis 3.2.1双节点集群安装部署
- python学习面向对象_python学习之面向对象学习
- Android开发工具新接触
- Android 打造自己的个性化应用(四)：仿墨迹天气实现--自定义扩展名的zip格式的皮肤...
- linux 权限 mask,Linux mask有效权限详解
- 基于Licode的WebRTC全球分布式架构
- .NET Core 2.1.5和.NET Core SDK 2.1.403发布
- C# XML添加删除/SelectNodes/xpath
- Android Studio如何快速生成get，set，tostring，构造函数
- pg数据库json数据类型_PostgreSQL与开发者起舞—让数据库更好服务于开发
- Android 系统性能优化（22）---dumpsys的使用
- 企业网站DDOS防护解决方案
- 1024程序员节，别人家的公司真香！羡慕ing~
- html5新增graph,Qunee for HTML5 - 中文 : Graph组件介绍
- 天猫商城多幅图片并排展示广告效果，鼠标指向高亮其它阴影
- win10无网络安装.Net Framework3.5
- Medusa 破解centos密码
- 大业达公司裁员风云2
- 计算机无法读取手机内存,手机内存卡不能读取如何解决
- 防火墙和上网行为管理组网中位置前后关系