django python3 异步_详解配置Django的Celery异步之路踩坑
人生苦短,我用python。
看到这句话的时候,感觉可能确实是很深得人心,不过每每想学学,就又止步,年纪大了,感觉学什么东西都很慢,很难,精神啊注意力啊思维啊都跟不上。今天奶牛来分享自己今天踩的一个坑。
先说说配置过程吧,初学Django,啥都不懂,当然,python也很水,啥东西都得现查现用。Django安装还是很简单的。
apt-get install python3
pip3 install django
嗯,就是两条命令的事儿。
再说celery的安装:
pip3 install celery
pip3 install redis==2.10.6
目前奶牛所在的时间redis for python的版本是redis-3.0.1,为什么要用2.10.6呢?因为3.0.1压根配置就无法运行!!!
继续安装redis server
apt-get install redis
service redis start
python3 manage.py startproject nenew
cd nenew
python3 manage.py startapp nenewapp
touch ./nenew/celery.py
touch ./nenewapp/tasks.py
然后增加nenew/nenew/celery.py内容为
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'nenew.settings')
app = Celery('nenew')
# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
@app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))
增加nenew/nenew/__init__.py的内容
from __future__ import absolute_import, unicode_literals
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app
__all__ = ('celery_app',)
增加nenew/nenewtest/tasks.py的内容
# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task
@shared_task
def add(x, y):
return x + y
@shared_task
def mul(x, y):
return x * y
@shared_task
def xsum(numbers):
return sum(numbers)
在nenew/nenew/settings.py中增加和修改
...
ALLOWED_HOSTS = ['*']
....
INSTALLED_APPS = [
...
'nenewtest',
]
...
CELERY_BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND = ‘redis://localhost:6379/0'
在nenew/nenewtest/views.py中增加或修改为
from django.shortcuts import render
from django.http import HttpResponse
from .tasks import add
# Create your views here.
def nenewtest(request):
result = add.delay('2','2')
result.ready()
return HttpResponse('nenew Django Celery worker run !')
最后把views添加到nenew/nenew/urls.py中
from django.contrib import admin
from django.urls import path
from nenewtest import views
urlpatterns = [
path('admin/', admin.site.urls),
path('test/', views.nenewtest),
]
然后在项目目录nenew执行
celery -A nenew worker -l info
这时候worker启动正常会显示:
-------------- [email protected] v4.2.1 (windowlicker)
---- **** -----
--- * *** * -- Linux-4.15.0-39-generic-x86_64-with-Ubuntu-18.04-bionic 2018-11-23 17:31:25
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app: nenew:0x7fdc5a155cc0
- ** ---------- .> transport: redis://localhost:6379/1
- ** ---------- .> results: redis://localhost:6379/0
- *** --- * --- .> concurrency: 1 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
-------------- [queues]
.> celery exchange=celery(direct) key=celery
这样类似的信息,然后我们启动项目,这里需要新开一个shell:
python3 manage.py runserver 0:80
这样我们就可以通过80端口直接访问我们的web了。地址是http://locahost/test
当我们这里访问正常后,在worker界面会有
[2018-11-23 18:09:19,469: INFO/MainProcess] Received task: nenewtest.tasks.add[35faa0fe-dd48-4f8d-9559-516556a93a40]
[2018-11-23 18:09:19,470: INFO/ForkPoolWorker-1] Task nenewtest.tasks.add[35faa0fe-dd48-4f8d-9559-516556a93a40] succeeded in 0.00031037399821798317s: '22'
如下语句表示执行成功,这样子就表示通过Django的网页我们对celery任务的异步执行成功。
当然,按照我的方法是可以一步成功的,因为奶牛已经踩了一整天的坑了,被一个错误郁闷得不要不要的。
AttributeError: 'float' object has no attribute 'items'
就是这个错误,查遍国内的所有网站都没有结果,然后就去bing的国际版查,然后发现果然是有bug在啊,奶牛这一天浪费得可真是够了。
这是celery的一个issue,在地址https://github.com/celery/celery/issues/5175 ,issue里面提及在2018/11/22日 it's fixed in kombu and celery master。问题的根源是celery对redis3的支持不好,补救方法是
Solution: Roll back redis with pip: pip install redis==2.10.6
然后在commit里面找到是对requirements/extras/redis.txt文件进行版本限定。
-redis>=2.10.5
+redis>=2.10.5,<3
好了,踩坑总算结束了。毕竟是新手,很多问题可能就是潜意识认为是自己的代码有问题,实际。。。实际可能并不是这样子,得多关注源码的更迭和问题处理才好。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
django python3 异步_详解配置Django的Celery异步之路踩坑相关推荐
- pythonmysql部署_详解centos7+django+python3+mysql+阿里云部署项目全流程
(PS:本文假设你已经在本地联调好django和客户端,只是需要将django部署到外网) 购买阿里云服务器 到[阿里云官网],选择轻量应用服务器, 步骤如图所示: 地域随便选择哪一个,镜像的话,对比 ...
- python middleware模块_详解利用django中间件django.middleware.csrf.CsrfViewMiddleware防止csrf攻击...
一.在django后台处理 1.将django的setting中的加入django.contrib.messages.middleware.MessageMiddleware,一般新建的django项 ...
- kafka 同步提交 异步_详解Kafka设计架构核心——Kafka副本机制详解
所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.副本机制有什么好处呢? 1. 提供数据冗余.即使系统部分组件失效,系统依然 ...
- jupyter notebook python3路径_详解修改Anaconda中的Jupyter Notebook默认工作路径的三种方式...
方式1. 打开Windows的cmd,在cmd中输入jupyter notebook --generate-config如下图: 可以看到路径为D:\Users--找到此路径修改jupyter_not ...
- created不能异步_详解vue中async-await的使用误区
曾经见过为了让钩子函数的异步代码可以同步执行,而对钩子函数使用async/await,就好像下面的代码: // exp-01 export default { async created() { co ...
- nvm详解(mac环境nvm安装步骤及踩坑问题)
1.定义 nvm,全称 Node Version Manager ,也就是node版本控制:它是一个命令行应用,可以协助您快速地 更新.安装.使用.卸载 本机的全局 node.js 版本. ...
- 怎么创建python django项目_创建Django项目图文实例详解
本文实例讲述了创建Django项目的方法.分享给大家供大家参考,具体如下: 创建Django项目 创建一个HelloDjango项目 GitHub地址:https://github.com/liang ...
- Django的信号机制详解
Django的信号机制详解 Django提供一种信号机制.其实就是观察者模式,又叫发布-订阅(Publish/Subscribe) .当发生一些动作的时候,发出信号,然后监听了这个信号的函数就会执行. ...
- [进阶] --- Python3 异步编程详解(史上最全篇)
[进阶] - Python3 异步编程详解:https://blog.csdn.net/lu8000/article/details/45025987 参考:http://aosabook.org/e ...
最新文章
- 最新最全!阿里等宣布再次延迟复工,有您们公司嘛?
- python重复元素判定编程_从零开始学Python编程四:条件判断与循环
- 【硬核干货】2500字全方面解读Python的格式化输出
- 第三次学JAVA再学不好就吃翔(part82)--泛型
- linux7 无法连接网络,CentOS7无法连接网络怎么办
- ASP.NET Core MVC – Tag Helper 组件
- java线程——中断线程+线程状态+线程属性(优先级)
- formSelects-v4.js 基于Layui的多选解决方案
- django之上传图片
- 客户网站被黑导致CDN加速后打开域名就提示域名纠错
- 单场淘汰制场次计算方法_校园足球联赛赛制的设计与编排
- 计算机组策略无法编辑,win7系统无法打开本地组策略编辑器的解决方法
- 聊一聊输入阻抗、输出阻抗和阻抗匹配
- python 节气_Python开源日志01:pyGregorian2LunarCalendar公历农历转换、阳历阴历转换、二十四节气计算...
- idea 商业版 社区版_idea社区版和商业版的区别
- 前端开发一枚,入职前自学的感觉不难,为什么工作起来很吃力?
- 从无序到有序的负熵力量
- jzoj. 3518. 【NOIP2013模拟11.6A组】进化序列(evolve)
- vscode常用插件-Auto Close Tag
- ios 扫码枪外设 键盘模式_想把 iPad 当笔记本电脑用?可以试试这款外接键盘