关于异步任务队列

用户打开了我们的网站。他要做的就是勾选需要发邮件的代理商列表,然后把结算邮件发出去。
假如我们需要发1封邮件,我们写个函数执行即可。考虑到网络可能会稍微有点延迟,但是是可以接受的,用户会乖乖等你的网页发完邮件了再关闭网页。
假如我们要发布10封邮件,用一个for循环,循环10遍执行发邮件操作。这时候,也许10倍的网络延迟会让用户稍微有点不耐烦,但勉强可以等吧。
假如要发100封邮件,for循环100遍,用户直接揭竿而起,什么破网站!
但实际上,我们很可能有超过1万的邮件。怎么处理这个延迟的问题?
答案就是用异步。把“发邮件”这个操作封装,然后后台异步地执行1万遍。这样的话,用户提交网页后,他所等待的时间只是“把发邮件任务请求推送进队列里”的时间。而我们的后台服务将在用户看不见的地方跑。
在实现“异步队列”这点上,有人采用mysql表或者redis来存放待发送的邮件,然后,每分钟定时读取待发送列表,然后处理。这便是定时异步任务队列。但当前提交的任务要一分钟后才能执行,在某些实时性要求应用场景里还是不快。有些场景要求,只有一提交任务,便马上执行,但用户不需要等待返回结果。
在云平台SAE和BAE上,都有taskqueue服务来解决上面的问题。而如果是自己假设服务器,则如何解决?本文将探讨用php扩展swoole实现实时异步任务队列的方案。

安装swoole

pecl 安装:
pecl install swoole

看命令行提示,如果它提示说没有写php.ini,则自己手动在PHP.ini后面加上:
extension = "swoole.so"

服务端

在打算放置脚本的目录(你也可以自行新建)新建Server.php,代码如下:

<?php
class Server { private $serv; public function __construct() { $this->serv = new swoole_server("0.0.0.0", 9501); $this->serv->set(array( 'worker_num' => 1, //一般设置为服务器CPU数的1-4倍 'daemonize' => 1, //以守护进程执行 'max_request' => 10000, 'dispatch_mode' => 2, 'task_worker_num' => 8, //task进程的数量 "task_ipc_mode " => 3 , //使用消息队列通信,并设置为争抢模式 //"log_file" => "log/taskqueueu.log" ,//日志 )); $this->serv->on('Receive', array($this, 'onReceive')); // bind callback $this->serv->on('Task', array($this, 'onTask')); $this->serv->on('Finish', array($this, 'onFinish')); $this->serv->start(); } public function onReceive( swoole_server $serv, $fd, $from_id, $data ) { //echo "Get Message From Client {$fd}:{$data}n"; // send a task to task worker. $serv->task( $data ); } public function onTask($serv,$task_id,$from_id, $data) { $array = json_decode( $data , true ); if ($array['url']) { return $this->httpGet( $array['url'] , $array['param'] ); } } public function onFinish($serv,$task_id, $data) { //echo "Task {$task_id} finishn"; //echo "Result: {$data}n"; } protected function httpGet($url,$data){ if ($data) { $url .='?'.http_build_query($data) ; } $curlObj = curl_init(); //初始化curl, curl_setopt($curlObj, CURLOPT_URL, $url); //设置网址 curl_setopt($curlObj, CURLOPT_RETURNTRANSFER, 1); //将curl_exec的结果返回 curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER, FALSE); curl_setopt($curlObj, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt($curlObj, CURLOPT_HEADER, 0); //是否输出返回头信息 $response = curl_exec($curlObj); //执行 curl_close($curlObj); //关闭会话 return $response; } } $server = new Server(); 

由于服务端是异步、常驻内存的,因此必须通过命令行来启动。在命令行执行以上代码以启动服务
php Server.php
执行完毕后关闭命令行窗口即可。服务会在后台以守护进程运行

客户端

启动服务后,让我们看看如何调用服务。新建测试文件Client_test.php
代码如下:

<?php
class Client { private $client; public function __construct() { $this->client = new swoole_client(SWOOLE_SOCK_TCP); } public function connect() { if( !$this->client->connect("127.0.0.1", 9501 , 1) ) { echo "Connect Error"; } $data = array( "url" => "http://192.168.10.19/send_mail" , "param" => array( "username"=>'test', "password" => 'test' ) ); $json_data = json_encode($data); $this->client->send( $json_data ); } } $client = new Client(); $client->connect(); 

转载于:https://www.cnblogs.com/paulversion/p/8302494.html

PHP使用swoole来实现实时异步任务队列相关推荐

  1. machinery入门看这一篇(异步任务队列)

    转载地址:machinery入门看这一篇(异步任务队列) 前言 哈喽,大家好,我是asong,这次给大家介绍一个go的异步任务框架machinery.使用过python的同学们都知道Celery框架, ...

  2. Asp-Net-Core开发笔记:集成Hangfire实现异步任务队列和定时任务

    1前言 最近把Python写的数据采集平台往.Net Core上迁移,原本的采集任务使用多进程+线程池的方式来加快采集速度,使用Celery作为异步任务队列兼具定时任务功能,这套东西用着还行,但反正就 ...

  3. python huey 轻量级异步任务队列简介

    简介并安装 huey, a little task queue. 轻量级异步任务队列. 下载安装huey. $ pip install huey 下载安装redis依赖(huey暂时只支持redis) ...

  4. 【PYthon分布式】huey:python轻量级异步任务队列简介

    简介并安装 huey, a little task queue. 轻量级异步任务队列. 下载安装huey. $ pip install huey 下载安装redis依赖(huey暂时只支持redis) ...

  5. java 分布式任务队列_cerely-分布式异步任务队列

    Celery 是一个强大的 分布式任务队列 的 异步处理框架,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行.我们通常使用它来实现异步任务(async task)和定时任务(cron ...

  6. 基于用户画像的实时异步化视频推荐系统

    前言 这个月做的事情还是蛮多的.上线了一个百台规模的ES集群,还设计开发了一套实时推荐系统. 标题有点长,其实是为了突出该推荐系统的三个亮点,一个是实时,一个是基于用户画像去做的,一个是异步化. 实时 ...

  7. php使用redis消息队列swoole,swoole+Redis实现实时数据推送

    /** * *************************************** *            单进程保护                 * * *************** ...

  8. php消息队列异步,消息队列 - 如何实现php的异步任务队列

    在开发一个类微博系统,采用推模式,用户发一条微博,需要将此微博在其所有粉丝每人的"收件箱"中存一条,如果粉丝数量大,处理过程就会很耗时,想把这个逻辑用异步队列来实现. 思路如下: ...

  9. 在python下比celery更加简单的异步任务队列RQ

    前言: 关于python rq有几点没有描述清楚,修正后的文章在这. http://xiaorui.cc/2014/11/09/%E5%9F%BA%E4%BA%8Eredis%E5%8F%88%E6% ...

最新文章

  1. 《数学之美》第24章 马尔可夫链的扩展--贝叶斯网络
  2. 公开致铁道部 高效运营从细节入手
  3. 关于模板页调用js的问题
  4. hyperopt中文文档:Installation-Notes安装说明
  5. graduation wishes from professor Youmin Xi
  6. linux 查看磁盘空间 拷贝不同目录下的文件
  7. C# Directory.Exists() 文件存在但返回一直为false
  8. 直播马上开始|不要怂,一起上!关于黑客攻防,我们有话要说
  9. CentOS 5 安装免费虚拟主机管理系统Kloxo
  10. UOJ207 共价大爷游长沙
  11. SQL Server 导入bak备份出错
  12. 宁波大学计算机应用技术考研,宁波大学2021年计算机考研拟录取数据分析
  13. @Python 程序员,如何实现狂拽酷炫的 3D 编程技术?
  14. 源码安装MySQL5.5.20
  15. rk3399_android7.1的HDMI显示实现固定分辨率
  16. ios怎么引入masonry_IOS之Masonry小结
  17. 基于MATLAB实现四阶龙格库塔法求解一、二阶微分方程实例
  18. 初学者福利:机器学习项目清单
  19. html5 字段换行,关于换行以及换行属性
  20. python毕业设计题目推荐飞机票销售订票系统

热门文章

  1. k8s edit命令使用示例
  2. k8s暴露nginx NodePort端口命令:expose暴露端口使用示例
  3. Eureka客户端使用IP注册preferIpAddress和ip-address的区别
  4. Linux nohup 和 命令
  5. Linux 切换目录命令cd
  6. Random类实例--猜数字游戏
  7. jQuery easyUI--消息框的使用
  8. jQuery easyUI--tabs选项卡面板
  9. Spring配置C3P0开源连接池
  10. c# mvc5 view 多层_MVC5+EF6 入门完整教程13 -- 动态生成多级菜单