Django 扩展(一)
celery介绍
Celery - 分布式任务队列. Celery 是一个简单、灵活且可靠的, 基于python开发的分布式异步消息任务队列，
通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery.
使用场景:1.你想执行一个操作，可能会花很长时间，但你不想让你的程序一直等着结果返回，而是想有创建一个任务,这个任务会在其他地方执行,执行完毕后会你拿到结果， 在任务执行过程，你可以继续做其它的事情。 2.你想做一个定时任务，比如每个星期五发送一条会议通知.
同步：同一个线程中执行
异步：不同线程中执行Celery它是一个专注于实时处理的任务队列，同时也支持任务调度.Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度.
安装celery
现在这个项目只是django的一个小项目,可以不用创建新的虚拟环境,直接使用之前的env3
创建虚拟环境 mkvirtualenv celeryenv
使用pip安装pip install celery
redis操作:
安装redispip install redissudo apt install redis-server
启动redis服务redis-server
Django中使用celery
安装celery
pip install celery
安装redis
pip install redis
安装sqlalchemy
pip install sqlalchemy
启动celery服务
celery -A woker worker -l info
注意: proj是工程名称
mycelery项目
1.新建一个mycelery的django项目
在终端使用命令
workon env3 #进入虚拟环境
django-admin startproject mycelery #新建一个mycelery的django项目
cd mycelery #进入mycelery目录下
python manage.py startapp app #也可以在pycharm里建
2.用pycharm打开这个项目
2.1 在setting.py文件下注册一下app
2.2在项目根目录下新建一个tasks.py文件
在tasks.py下导入Celery
from celery import Celery
创建一个celery的app
'tasks’名称最好和文件名称一致
broker: 任务队列所在位置
格式: redis数据库:// ip : redis数据库的端口号/redis数据库1 redis的数据库可选从0-12
backend: 后端，Celery执行的结果保存的位置
格式和broker一样，redis数据库也可以是一样的，也可以不一样
app = Celery('tasks',broker='redis://127.0.0.1:6379/1',backend='redis://127.0.0.1:6379/1')
现在,这个异步任务队列就可以用了
2.3举个简单的例子介绍一下这个功能
2.3.1在tasks.py下定义一个函数add,导入时间模块模拟一下延迟
def add(a,b):time.sleep(5)return a+bif __name__ == '__main__':res=add(3,4)print(res)
右击run运行一下这个文件,可以知道,等5秒后才会打印结果7
2.3.2 现在,修改一下
给函数加上装饰器@app.task,在add后加上delay的函数,这个函数是在装饰器里的函数,表示这个函数可以去延迟
加上这个函数后,会将add函数的执行放到上面Celery里的异步队列里
@app.task
def add(a,b):time.sleep(5)return a+bif __name__ == '__main__':res=add.delay(3,4)print(res)
2.3.2 开启这个异步队列
在底部的Terminal栏输入命令celery会出来一些命令的参数,可以查看一下这些命令
输入命令
celery -A表示开启一个任务; 任务的文件是tasks .py ;这里开启一个tasks的worker; -l info表示打印所有返回的信息
celery -A tasks worker -l info
可以看到任务已经添加到队列里
然后右键点击’run’运行这个tasks.py文件
会出现一串16进制的的代码 '586ca304-9856-4f12-96bd-34cf183c18d6’这个是任务的标识
可以倒回去看一下Terminal栏中的信息
也就是这个任务,最后一句,任务在5秒左右的时间内成功执行,结果是7;
这个任务已经保存到了redis里,也可以在redis里看到这个执行的结果
这些内容也都有显示
上面keys里面的内容,也可以用type去查看一下类型
以上是一个简单的celery的功能的介绍,现在需要把这个和Django结合起来
2.3.3 将celery与Django结合
2.3.3.1 在项目根目录下创建一个worker包,然后在worker文件夹下新建一个config.py文件,这个文件是用来作为配置文件的
config .py文件
broker_url = 'redis://127.0.0.1:6379/13' #任务队列的位置
broker_pool_limit = 100 # Borker 连接池,能同时连接100个, 不写默认是10timezone = 'Asia/Shanghai'#时区
accept_content = ['pickle', 'json'] #接收两种格式,task_serializer = 'pickle'#接收的格式默认是pickle序列化result_backend = 'redis://127.0.0.1:6379/13' #后端的结果
result_serializer = 'pickle'#结果的序列化也是pickle
result_cache_max = 1000 # 任务结果最大缓存数量
result_expires = 3600 # 任务过期时间worker_redirect_stdouts_level = 'INFO'
#打印输出的等级引号里面可以是DEBUG,ERROR等
2.3.3.2 在worker文件夹下的 init .py 下新建celery的app
import osfrom celery import Celery
from worker import config# 调用django的环境
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'mycleery.settings')# 新建celery_app
celery_app = Celery('mycelery')# 读取配置
celery_app.config_from_object(config)#自动去发现celery的任务
celery_app.autodiscover_tasks()
2.3.3.3 在app下的views.py文件下写一下视图函数,调用异步任务队列
这里先不调用异步任务队列,试一下效果
import timefrom django.http import HttpResponse
from django.shortcuts import render
from worker import celery_app# worker文件夹下新建的celery_app
@celery_app.task
def add(a,b):time.sleep(5)return a+bdef index(request):# 不调异步任务add(5,8)# 调一下异步任务# add.delay(3,7)return HttpResponse('ok')
在mycelery文件夹下的urls.py文件下写一条url
在Terminal栏输入命令 python manage .py runserver 运行这个项目
在浏览器地址栏输入 : 127.0.0.1:8000/index/
浏览器会先刷新5秒(time sleep模拟了延迟),再显示 ok,也可以刷新一下网页,可以看到网页要刷新5秒
把不调异步任务注释,调用一下异步任务
点一下刷新,可以看到这时就不用延迟了,实际上是把任务放到了异步任务队列里
也可以去开启一下异步任务队列查看一下
输入一下命令,这个celery_app是在init文件里
可以在浏览器中开启多个网页,在浏览器的地址栏中都输入:127.0.0.1:8000/index/
网页立马弹出’ok’,没有延迟
然后查看一下Terminal栏中的信息,开启了三个异步任务,都是在5秒左右完成,打印了函数的结果10
(把延迟时间调长一点,可以看到Terminal栏的变化)
3. 通过异步任务队列发邮件
发邮件的协议是SMTP协议,收邮件的协议是pop3
以qq邮箱为例 设置–>账户
开启这些服务,腾讯会有一个授权码,把这个授权码保存下来
3.1 在mycelery文件夹下的setting.py文件下末尾加入几行代码
EMAIL_HOST = 'smtp.qq.com'
EMAIL_HOST_USER = 'xxxx@qq.com' #qq邮箱
EMAIL_HOST_PASSWORD = 'xxxxxx' ##授权码
3.1.1可以先测试一下,这时已经集成了发送邮件的相关内容
在pycharm的console栏输入
from django.core.mail import send_mail
可以用 send_mail??查看一些参数,主要这四个参数
然后输入代码
最后一个参数是列表,接收者可以是多个(可以是自己),这里用自己的账号测试
可以发现自己的qq邮箱里多了一个邮件
3.2 把发邮件放到异步任务队列里
在app文件夹下新建一个celery_tasks文件
from worker import celery_appfrom django.core.mail import send_mail# 发送邮件
@celery_app.task
def my_send_mail(reciept):# 把发给谁放到recieptsend_mail('django mail test', 'hello this is test', 'xxxxx@qq.com', recipient_list=[reciept,])
然后修改app下的views.py文件
from django.http import HttpResponse
from worker import celery_app
from app.celery_tasks import my_send_maildef index(request):# 发送邮件 给谁my_send_mail.delay('xxxxx@qq.com')return HttpResponse('ok')在Terminal栏输入命令,查看一下异步队列,去发现这个异步任务
celery -A worker worker -l info
重启一下服务器
python manag.py runserer
在浏览器地址栏中输入127.0.0.1:8000/index/
查看一下自己的邮箱,是否有邮件
这里看起来似乎没有和异步队列搭关,思路和方法已经给出,可以自行完善
文件链接
链接：https://pan.baidu.com/s/1U9wqSDaUG6G9LjKEDnX9Bg
提取码：bp20
Django 扩展(一)相关推荐
- Django扩展自定义manage命令
使用django开发,对python manage.py ***命令模式肯定不会陌生.比较常用的有runserver,migrate... 本文讲述如何自定义扩展manage命令. 1.源码分析 ma ...
- Django扩展xadmin后台管理
python:3.7.2 django:2.1.2 githup:https://github.com/sshwsfc/xadmin 安装xadmin django版本2.0及以上一不能使用pip i ...
- Django扩展 —— uwsgi+nginx部署
-- uwsgi+nginx部署(django) -- 服务器环境配置 -- 导出虚拟环境的所有包 pip freeze > list.txt -- 通过ftp软件将项目以及list.txt文件 ...
- 在django中使用django_debug_toolbar
一.概述 django_debug_toolbar 是django的第三方工具包,给django扩展了调试功能. 包括查看执行的sql语句,db查询次数,request,headers,调试概览等. ...
- Django 发布时间格式化
Django 发布时间格式化 Django在数据库中读取的时间是这种格式: {{title.pub_date} 显示:Nov. 17, 2016, 6:31 p.m. 显然,这不符合我们的习惯,所以需 ...
- django restful 请求_利用 Django REST framework 构建 RESTful Web API
利用 Django REST framework 构建 RESTful Web API 终于到了动手操作的环节啦,这一节,我们以师生管理系统为例,带领大家搭建一套 framework Web API. ...
- Django REST framework介绍
现在前后端分离的架构设计越来越流行,业界甚至出现了API优先的趋势. 显然API开发已经成为后端程序员的必备技能了,那作为Python程序员特别是把Django作为自己主要的开发框架的程序员,Djan ...
- Django 优秀资源大全项目资源非 Python 包工具贡献
Awesome Django 介绍 Awesome-Django 是由 Roberto Rosario 发起和维护的 Django 资源列表.该列表收集了大量 Django 相关的优秀应用.项目等资源 ...
- Python+django建站入门篇：Hello world
第一步,进入命令提示符,切换至Python安装目录下的scripts目录,执行命令pip install django安装django扩展库. 第二步,使用命令创建网站项目helloworld,进入项 ...
最新文章
- 4月份阿里云ECS和VPC升级公告
- 关于java代码生成器---上篇之原理
- springboot_4 spring boot 使用servlet，filter，listener和interceptor
- 基于web的甘特图，易度甘特图edogantt!
- 初学__Python——Python 自定义函数
- scikit-learn 朴素贝叶斯类库使用小结
- python os函数_python os模块主要函数
- 按照c语言规首字母只能是,C语言--指针 - osc_nbqoh20k的个人空间 - OSCHINA - 中文开源技术交流社区...
- 10个JavaScript常见BUG及修复方法 1
- 雷军：我爱编程这个工作，可以肯定我会干上一辈子
- 定积分数值计算（C++实现）
- android httpClient 支持HTTPS的2种处理方式
- Javascript高级程序设计——9.正则表达式（1）
- python 12345构成不重复的三位数
- 1. Emacs使用本地elpa镜像
- Javascript特效：点名册（随机点名）
- 妈，别再乱买保健品了！
- 青龙面板之KS普通版、极速版【详细教程】
- 记录 ｜探究一次嗅到坏代码后封装再封装
- Python3使用pyspark时报错PicklingError