asp python 定时任务_python定时任务最强框架APScheduler详细教程
APScheduler定时任务
上次测试女神听了我的建议,已经做好了要给项目添加定时任务的决定了。但是之前提供的四种方式中,她不知道具体选择哪一个。为了和女神更近一步,我把我入行近10年收藏的干货免费拿出来分享给女神,希望女神凌晨2点再找我的时候,不再是因为要给他调程序了。
Python中定时任务的解决方案,总体来说有四种,分别是:crontab、 scheduler、 Celery、 APScheduler,其中 crontab不适合多台服务器的配置、scheduler太过于简单、 Celery依赖的软件比较多,比较耗资源。最好的解决方案就是 APScheduler。
APScheduler使用起来十分方便。提供了基于日期、固定时间间隔以及 crontab类型的任务。还可以在程序运行过程中动态的新增任务和删除任务。在任务运行过程中,还可以把任务存储起来,下次启动运行依然保留之前的状态。另外最重要的一个特点是,因为他是基于 Python语言的库,所以是可以跨平台的,一段代码,处处运行!
在这里我来给大家详细介绍一下具体的用法。
一、安装:
安装非常简单,通过 pip install apscheduler即可。
二、基本使用:
先来看一段代码,然后再来给大家详细讲解其中的细节:
其中 BlockingScheduler是阻塞性的调度器,是最基本的调度器,下面调用 start方法就会阻塞当前进程,所以如果你的程序除了调度进程没有其他后台进程,那么是可以是否的,否则这个调度器会阻塞你程序的正常执行。
接下来就是定义一个 my_clock函数,这个函数就是需要定时调度的任务代码。
然后就是实例化一个 BlockingScheduler对象,并把 my_clock添加到任务调度中。然后看 interval参数,这里用的是间隔的方式来调度,调度频率是 seconds=3,也就是每3秒执行一次。
执行结果如下:
可以看到每隔3秒钟的时间会执行一次。说明定时任务已经成功执行了!
在了解了 APScheduler的基本使用后,再来对 APScheduler的四个基本对象做个了解,这样才能从全局掌握 APScheduler。
三、四个基本对象:
1. 触发器(triggers):
触发器就是根据你指定的触发方式,比如是按照时间间隔,还是按照 crontab触发,触发条件是什么等。每个任务都有自己的触发器。
2. 任务存储器(job stores):
任务存储器是可以存储任务的地方,默认情况下任务保存在内存,也可将任务保存在各种数据库中。任务存储进去后,会进行序列化,然后也可以反序列化提取出来,继续执行。
3. 执行器(executors):
执行器的目的是安排任务到线程池或者进程池中运行的。
4. 调度器(schedulers):
任务调度器是属于整个调度的总指挥官。他会合理安排作业存储器、执行器、触发器进行工作,并进行添加和删除任务等。调度器通常是只有一个的。开发人员很少直接操作触发器、存储器、执行器等。因为这些都由调度器自动来实现了。
四、触发器:
触发器有两种,第一种是 interval,第二种是 crontab。interval可以具体指定多少时间间隔执行一次。crontab可以指定执行的日期策略。以下分别进行讲解。
1. date触发器:
在某个日期时间只触发一次事件。示例代码如下:
更多请参考:https://apscheduler.readthedocs.io/en/stable/modules/triggers/date.html
2. interval触发器:
想要在固定的时间间隔触发事件。interval的触发器可以设置以下的触发参数:
weeks:周。整形。
days:一个月中的第几天。整形。
hours:小时。整形。
minutes:分钟。整形。
seconds:秒。整形。
start_date:间隔触发的起始时间。
end_date:间隔触发的结束时间。
jitter:触发的时间误差。
在每天的11点24分触发事件。更多请参考:https://apscheduler.readthedocs.io/en/stable/modules/triggers/interval.html
3. crontab触发器:
在某个确切的时间周期性的触发事件。可以使用的参数如下:
year:4位数字的年份。
month:1-12月份。
day:1-31日。
week:1-53周。
day_of_week:一个礼拜中的第几天( 0-6或者 mon、 tue、 wed、 thu、 fri、 sat、 sun)。
hour: 0-23小时。
minute: 0-59分钟。
second: 0-59秒。
start_date: datetime类型或者字符串类型,起始时间。
end_date: datetime类型或者字符串类型,结束时间。
timezone:时区。
jitter:任务触发的误差时间。
也可以用表达式类型,可以用以下方式:
示例如下:
五、调度器:
BlockingScheduler:适用于调度程序是进程中唯一运行的进程,调用 start函数会阻塞当前线程,不能立即返回。
BackgroundScheduler:适用于调度程序在应用程序的后台运行,调用 start后主线程不会阻塞。
AsyncIOScheduler:适用于使用了 asyncio模块的应用程序。
GeventScheduler:适用于使用 gevent模块的应用程序。
TwistedScheduler:适用于构建 Twisted的应用程序。
QtScheduler:适用于构建 Qt的应用程序。
六、任务存储器:
任务存储器的选择有两种。一是内存,也是默认的配置。二是数据库。使用内存的方式是简单高效,但是不好的是,一旦程序出现问题,重新运行的话,会把之前已经执行了的任务重新执行一遍。数据库则可以在程序崩溃后,重新运行可以从之前中断的地方恢复正常运行。有以下几种选择:
MemoryJobStore:没有序列化,任务存储在内存中,增删改查都是在内存中完成。
SQLAlchemyJobStore:使用 SQLAlchemy这个 ORM框架作为存储方式。
MongoDBJobStore:使用 mongodb作为存储器。
RedisJobStore:使用 redis作为存储器。
七、执行器:
执行器的选择取决于应用场景。通常默认的 ThreadPoolExecutor已经在大部分情况下是可以满足我们需求的。如果我们的任务涉及到一些 CPU密集计算的操作。那么应该考虑 ProcessPoolExecutor。然后针对每种程序, apscheduler也设置了不同的 executor:
ThreadPoolExecutor:线程池执行器。
ProcessPoolExecutor:进程池执行器。
GeventExecutor: Gevent程序执行器。
TornadoExecutor: Tornado程序执行器。
TwistedExecutor: Twisted程序执行器。
AsyncIOExecutor: asyncio程序执行器。
八、定时任务调度配置:
这里我们用一个例子来说明。比如我想这样配置
执行器:
配置 default执行器为 ThreadPoolExecutor,并且设置最多的线程数是20个。
<
存储器:
配置 default的任务存储器为 SQLAlchemyJobStore(使用SQLite)。
<
任务配置:
设置 coalesce为 False:设置这个目的是,比如由于某个原因导致某个任务积攒了很多次没有执行(比如有一个任务是1分钟跑一次,但是系统原因断了5分钟),如果 coalesce=True,那么下次恢复运行的时候,会只执行一次,而如果设置 coalesce=False,那么就不会合并,会5次全部执行。
max_instances=5:同一个任务同一时间最多只能有5个实例在运行。比如一个耗时10分钟的job,被指定每分钟运行1次,如果我 max_instance值5,那么在第6~10分钟上,新的运行实例不会被执行,因为已经有5个实例在跑了。
那么代码如下:
九、任务操作:
1. 添加任务:
使用 scheduler.add_job(job_obj,args,id,trigger,**trigger_kwargs)。
2. 删除任务:
使用 scheduler.remove_job(job_id,jobstore=None)。
3. 暂停任务:
使用 scheduler.pause_job(job_id,jobstore=None)。
4. 恢复任务:
使用 scheduler.resume_job(job_id,jobstore=None)。
5. 修改某个任务属性信息:
使用 scheduler.modify_job(job_id,jobstore=None,**changes)。
6. 修改单个作业的触发器并更新下次运行时间:
使用 scheduler.reschedule_job(job_id,jobstore=None,trigger=None,**trigger_args)
7. 输出作业信息:
使用 scheduler.print_jobs(jobstore=None,out=sys.stdout)
十、异常监听:
当我们的任务抛出异常后,我们可以监听到,然后把错误信息进行记录。示例代码如下:
from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR
import datetime
import logging
# 配置日志显示
以上便是 APScheduler库的详细用法了。如果我们需要在项目中开一个定时功能,完全可以选择 APScheduler,轻量又功能强大。
这次女神再也不用2点跑到公司去加班啦~
asp python 定时任务_python定时任务最强框架APScheduler详细教程相关推荐
- ThinkJS框架入门详细教程(二)新手入门项目
一.准备工作 参考前一篇:ThinkJS框架入门详细教程(一)开发环境 安装thinkJS命令 npm install -g think-cli 监测是否安装成功 thinkjs -v 二.创建项目 ...
- python数据可视化读取excell文件绘制图像详细教程
python数据可视化读取excell文件绘制图像详细教程 python数据可视化 python库中的基本用法 import pandas as pd # 调用pandas库 来读取excell的文件 ...
- python scheduler cron_Python轻量级定时任务调度框架“APScheduler”
APScheduler是Python的一个定时任务框架,用于执行周期或者定时任务,可以基于日期.时间间隔,及类似于云服务器Linux系统上的定时任务crontab类型的定时任务:该框架不仅可以添加.删 ...
- tensorflow2.0对应python版本_TensorFlow2.1.0最新版本安装详细教程
TensorFlow是一款优秀的深度学习框架,支持多种常见的操作系统,例如Windows10,Mac Os等等,同时也支持运行在NVIDIA显卡上的GPU版本以及仅使用CPU进行运算的CPU版本.此篇 ...
- Python中Tkinter 图形化界面设计(详细教程)
Python-Tkinter 图形化界面设计(详细教程) 一.图形化界面设计的基本理解 二. 窗体控件布局 2.1 根窗体呈现示例 2.2 tkinter 常用控件 2.2.1常用控件 2.2.2 控 ...
- Python数据分析【1】:matplotlib库详细教程
Python数据分析:matplotlib库详细教程 一.基本介绍 1. 数据分析 2. 环境安装 二.matplotlib 1. 基本介绍 2. 基本要点 3. 散点图/直方图/柱状图 4. 画图工 ...
- asp python 定时任务_Python定时任务轻量解决方案——Schedule
写后端的同学们可能都知道,工作中可能需要周期性执行一些任务,俗称定时任务.Linux环境下,可以借助于系统自带的crontab完成定时任务.但是很多时候,开发的同学们可能并没有权限去操作crontab ...
- python定时任务_Python 定时任务最佳实践
背景 最近有个需求,需要实现一个定时或定期任务的功能,需要实现每月.每日.每时.一次性等需求,必须是轻量级不依赖其它额外组件,并能支持动态添加任务.由于当前任务信息保存在集群 ETCD 数据库中,因此 ...
- python定时任务_Python定时任务(上)
在项目中,我们可能遇到有定时任务的需求.其一:定时执行任务.例如每天早上 8 点定时推送早报.其二:每隔一个时间段就执行任务.比如:每隔一个小时提醒自己起来走动走动,避免长时间坐着.今天,我跟大家分享 ...
最新文章
- pycharm打开python文件如何自动创建项目_pycharm 怎么自动创建python头文件?
- android标题栏添加按钮_[办公小技巧]Excel 添加页码,自定义和指定单元格页码添加...
- MYSQL常用函数以及分组操作
- 凭自己本事单的身是一种怎样的体验?你根本配不上如此优秀的我!
- js中的面向对象入门
- Java加密解密快速入门上篇【包括MD5、BASE64、DES、RSA等算法】
- 取得程序运行的目录[360度]
- python实现单链表快速排序升序linkedqueue_数据结构回顾
- Css布局:左边固定,右边自适应
- win7 由ie8升级ie11时安装不成功的一个原因
- 网吧游戏服务器制作教程,图文教程:网吧无盘系统服务端设置细节
- RootKit分析:主页保安推广病毒+独狼2 排查与分析全过程
- MATLAB做三维图时值为0的点不画出来
- 视频播放库Vitamio的使用以及功能扩展
- Matlab常用图像处理命令108例(二)
- 阿里云物联网平台搭建
- 工具篇——MoneyFormatUtil(用于将人民币小写金额转换成大写金额)
- Eclipse界面风格调整
- 小猫爪:i.MX RT1050学习笔记26-RT1xxx系列的FlexCAN详解
- html设置字体facename,CRichEdit控件操作使用
热门文章
- Text determination debug
- ABAP Pragma
- SAP Commerce的路由实现(Route Implementation)
- SAP专家培训之Netweaver ABAP内存管理和内存调优实践
- 观察者模式在SAP CRM One Order回调函数中的应用
- mysql怎么创建文字表_myMySQL数据库 如何将中文转拼音 MySQL数据库使用教程
- 丹东御空服务器维修,【正式服】3月14日例行更新维护公告
- linux防火墙没看3306访问不,Linux配置防火墙,开启80端口、3306端口
- 人类一败涂地做图教程_《人类一败涂地》形象绘画技巧图文指南
- 目前最厉害的象棋软件_qq什么引流方式最厉害,QQ引流目前最有效的方法