beanstalk简介
Beanstalkd，一个高性能、轻量级的分布式内存队列系统，最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟，支持过有9.5 million用户的Facebook Causes应用。后来开源，现在有PostRank大规模部署和使用，每天处理百万级任务。Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格，所以使用过memcached的用户会觉得Beanstalkd似曾相识。计思想Producer-Comsumer模式高性能离不开异步，异步离不开队列，而其内部都是Producer-Comsumer模式的原理。编辑本段核心概念Beanstalkd设计里面的核心概念：◆ job一个需要异步处理的任务，是Beanstalkd中的基本单元，需要放在一个tube中。◆ tube一个有名的任务队列，用来存储统一类型的job，是producer和consumer操作的对象。◆ producerJob的生产者，通过put命令来将一个job放到一个tube中。◆ consumerJob的消费者，通过reserve/release/bury/delete命令来获取job或改变job的状态。Beanstalkd中一个job的生命周期如图2所示。一个job有READY, RESERVED, DELAYED, BURIED四种状态。当producer直接put一个job时，job就处于READY状态，等待consumer来处理，如果选择延迟put，job就先到DELAYED状态，等待时间过后才迁移到READY状态。consumer获取了当前READY的job后，该job的状态就迁移到RESERVED，这样其他的consumer就不能再操作该job。当consumer完成该job后，可以选择delete, release或者bury操作;delete之后，job从系统消亡，之后不能再获取;release操作可以重新把该job状态迁移回READY(也可以延迟该状态迁移操作)，使其他的consumer可以继续获取和执行该job;有意思的是bury操作，可以把该job休眠，等到需要的时候，再将休眠的job kick回READY状态，也可以delete BURIED状态的job。正是有这些有趣的操作和状态，才可以基于此做出很多意思的应用，比如要实现一个循环队列，就可以将RESERVED状态的job休眠掉，等没有READY状态的job时再将BURIED状态的job一次性kick回READY状态。编辑本段特性Beanstalkd基于的源码安装和使用很简单，在此略过。这里重点介绍一下其几个很nice的特性。◆ 优先级支持0到2**32的优先级，值越小，优先级越高，默认优先级为1024。◆ 持久化可以通过binlog将job及其状态记录到文件里面，在Beanstalkd下次启动时可以通过读取binlog来恢复之前的job及状态。◆ 分布式容错分布式设计和Memcached类似，beanstalkd各个server之间并不知道彼此的存在，都是通过client来实现分布式以及根据tube名称去特定server获取job。◆ 超时控制为了防止某个consumer长时间占用任务但不能处理的情况，Beanstalkd为reserve操作设置了timeout时间，如果该consumer不能在指定时间内完成job，job将被迁移回READY状态，供其他consumer执行。编辑本段不足在使用中发现一个Beanstalkd尚无提供删除一个tube的操作，只能将tube的job依次删除，并让Beanstalkd来自动删除空tube。还有就是Beanstalkd不支持客户端认证机制(开发者将应用场景定位在局域网)。
beanstalk简介相关推荐
- beanstalk_Beanstalk的集成和协作代码审查
beanstalk This article was sponsored by Beanstalk. Thank you for supporting the sponsors that make S ...
- aws elastic beanstalk入门之简介
文档:What is AWS Elastic Beanstalk? - AWS Elastic Beanstalk 1.简介 Elastic Beanstalk 可以在 AWS 云中快速部署和管理应用 ...
- Python之celery的简介与使用
celery的简介 celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度.它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能 ...
- 小米手机v3.exo 合并_Android 3.0预览版SDK已发布，eXo启动了Elastic Beanstalk的IDE
小米手机v3.exo 合并 ECF 3.5速览 斯科特·刘易斯(Scott Lewis)发布了一个博客,提供了对Eclipse Communication Framework(ECF)3.5版所能期望 ...
- 在Gilt将微服务部署到AWS：ION-Roller简介
在七年的时间里,gilt.com已从Ruby-on-Rails初创企业发展成为基于Scala微服务架构的主要电子商务公司. 吉尔特(Gilt)的闪购业务模式是基于推动客户流量的"脉冲&quo ...
- 字扩展,位扩展,和字位扩展_价格合理，可扩展的网站简介
字扩展,位扩展,和字位扩展 One morning you wake up, grab some coffee, and check the how many people visited your ...
- Cookiecutter: 更好的项目模板工具：（1）简介及可用资源汇总
原文档地址:https://cookiecutter.readthedocs.io/en/latest/ 本系列只介绍cookiecutter的基础使用,而且会删除与功能使用无关的部分.深度使用及了解 ...
- Amazon Elastic Beanstalk教程–最终指南（PDF下载）
编者注: AWS Elastic Beanstalk是Amazon Web Services提供的一项编排服务,用于部署基础架构,该基础架构协调了各种AWS服务,包括EC2,S3,简单通知服务(SNS ...
- etcd 笔记（01）— etcd 简介、特点、应用场景、常用术语、分布式 CAP 理论、分布式原理
1. etcd 简介 etcd 官网定义: A highly-available key value store for shared configuration and service discov ...
最新文章
- Android 获取apk签名的fingerprint
- 趣解面试高频算法难题：数组中的第K个最大元素
- 每日一皮：终于明白女朋友挂在嘴边的“鸽子蛋”为什么那么贵了...
- android: 发送自定义广播
- 作为初学者应该如何来学习FPGA
- Qt Linguist翻译过程概述
- 七天学会SALTSTACK自动化运维 (3)
- windows查询每个线程占用的内存_C#多线程
- vant表单点击提交没有触发验证_jquery.validate不用submit提交，用js提交的，怎么触发验证啊？...
- 20年备受关注的6款数据工具！谁最好用？毫无争议的答案来了
- c#如何实现叫号操作_C#开发银行叫号系统方案
- 制作地图的那些事（二）——制图之符号制作
- 如何进行敌我识别（IFF）应用中的二次监视雷达（SSR）的模块化产线测试
- Simpson’s Rule （辛普森法则）
- 利用Python爬取公交地铁数据（TransBigData版）
- 蓝桥杯单片机——LED指示灯（1）
- 来自春天的仪式感：英伦花艺佳作，用鲜花点缀生活丨好书优选
- rocketmq-常见问题总结(基本概念、高可用、中间件选型)
- R语言怎么写积分_手记(4)：定积分
- 中软国际首届嘉年华晚会 创新网络年会PK“春晚”