一个通用的任务管理模型-golang

该模型基于rocketmq 也可以扩展到其他类似任务处理。使用策略模式将任务管理单独抽出来一个模块。真实应用程序只需实现任务具体处理逻辑返回成功失败
/* Interface Comment
implement it at rocketexe
*/
type taskDealMsg interface {
DealMsg(msgStruct InputMsg, msgDealCount int) int
}

task-manage 线程

负责接收消息，将消息存储到对应客户的task-list 链表中
周期性处理任务，每次处理遍历客户map，从客户map的task-list 中选取一个头部task。将挑选的task 交由 task-deal 处理线程池，，实现公平调度
接收task-deal 处理线程的处理结果，是否需要失败重试，如果需要则将task 从当前位置移动至list末尾。如果处理成功从客户map 所属的task-list中删除节点。
接收退出信号，持久化task-list。由于只有task-deal 线程执行完成后才会删除task节点。即使正在处理消息的task-deal 线程被强制退出，也可以保证不丢失消息(消息持久化磁盘)

task-deal 线程池

负责接收task-manage 传递进来的任务，进行处理
负责反馈处理结果给task-manage 线程

任务管理策略模式

ms 模式
上述 task-manage 线程在周期性处理任务过程中，每次遍历map 客户时一定会选择一个该客户的task list 的一个task处理。（task-list 为空时删除map中客户）。当可用task-deal gorutines 为0 时，会因等待有可用的task-deal gorutines 阻塞而不消费新的消息。
该模式的可能会导致客户间相互影响，当某个时刻只有某个客户的大量task ，占用了所有 task-deal gorutines。且每个任务处理周期很长时，其他客户的消息得不到消费。
ms 意为着以可以处理的最大max-gorutines 为主的一种strategy模式，适合任务处理较块的场景如缓存推送。没有限制单客户占用的task-deal gorutines数量。
rs 模式
与ms 模式相比，限制了单个客户的占用task-deal gorutines。限制条件为：当前客户正在处理的任务数不能大于可用的闲置task-deal gorutines 数。
上述task-manage 线程周期性处理任务过程中，每次处理过程遍历客户map，从客户map的task-list 中选取一个头部task 交由 task-deal 处理线程池，每次迭代处理每个客户最多会被选取一个task进行处理：
如果当前客户的正在处理任务数多于剩余闲置的 task-deal 线程数，则迭代遍历任务时不选取当前客户的task，继续处理选择下一个客户的task。避免上述某个时刻某个客户占满了 task-deal 线程池且占用时间较久导致其他客户无法被服务。也就是说，下一个客户永远有闲置的线程可以用.直到达到最大并发数。达到最大并发数时，可用task-deal gorutines 为0 时，会因等待有可用的task-deal gorutines 阻塞而不消费新的消息。
当最大并发数未满足，而某个客户却达到了自身可用的 task-deal gorutines时，会继续接收消息，（并不会妨碍其他客户的服务），但因此也可能收到该客户自身的新消息，此时只能继续缓存消息，将该消息加入客户的task-list 中。但是因为内存限制不可能无限制加入。如果task-list 达到ReconsumeListLen （ReconsumeListLen）长度时，会通知rocketmq-server 延迟消费（ReconsumerLater）, 因此称为Reconsume strategy，该模式较适合预取等时间较长的任务。经测试 150w 占用内存300M.
其他未实现模式
在rs 模式的基础上不做Reconsume Later 限制，只要是消息就收取，list达到一定长度后加入数据库（sqlite），另开线程从sqlite 读取，并发送消息给 taskmanage 线程删除。该模式在不支持 Reconsume 的消息中间件中必须使用。
本次实现任务管理策略的过程中使用了策略模式的设计模式且使用channel 进行数据流传输非常方便扩展。
源码 https://github.com/zengxiaobai/task-manage

一个通用的任务管理模型-golang相关推荐

java dao修改语句_一个通用的DAO模型实现增删改查
首先三个架包: mysql-connector-java-jar commons-dbcp-1.4jar commons-pool-1.5.5jar 导进去: (从上往下一次调用,实现功能) ---- ...
BTA | 张犁：为什么需要一个通用区块链资产平台？
在张犁看来,区块链被认为是一个传递资产价值的网络,但直到目前为止,区块链的主要方向还是加密货币,并没有对现实世界中的(物理)资产.服务.虚拟数字资产提出一个通用的解决方案.然后,他对 ERC20 和 ...
【人工智能 Open AI】设计一个SQL Where DSL模型，使用 golang 代码来实现DSL的翻译成SQL。
设计一个SQL Where DSL模型,使用 golang 代码来实现DSL的翻译成SQL. 下面是使用golang代码实现DSL模型的示例: package mainimport ("fm ...
独家 | 哪个更好：一个通用模型还是多个专用模型？
作者:Samuele Mazzanti翻译:欧阳锦校对:赵茹萱本文约3900字,建议阅读10分钟本文通过实验验证了一个通用模型优于多个专用模型的有效性的结论. 比较专门针对不同群体训练多个 ML 模 ...
3模型大小_Github推荐一个国内牛人开发的超轻量级通用人脸检测模型
Ultra-Light-Fast-Generic-Face-Detector-1MB 1MB轻量级通用人脸检测模型作者表示该模型设计是为了边缘计算设备以及低功耗设备(如arm)设计的实时超轻量级通用 ...
写一个通用数据访问组件
出处:http://www.csharp-corner.com willsound(翻译) 我收到过好多Email来问我如何用一个通用的数据提供者(data provider)在不失自然数据提供者(n ...
干货！如何设计实现一个通用的分布式事务框架？
来源:https://www.bytesoft.org/ 一个TCC事务框架需要解决的当然是分布式事务的管理.关于TCC事务机制的介绍,可以参考TCC事务机制简介. TCC事务模型虽然说起来简单,然而 ...
UDSMProt：蛋白质分类通用深度序列模型
今天给大家介绍由德国弗劳恩霍夫·海因里希·赫兹研究所的研究人员发表在Bioinformatics上的一篇文章.该文章针对大多数蛋白质分类的最先进方法都是为单个分类任务量身定制,并且依赖手工制作特征的问 ...
数学之美系列十六（下）－不要把所有的鸡蛋放在一个篮子里最大熵模型
数学之美系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里最大熵模型我们上次谈到用最大熵模型可以将各种信息综合在一起.我们留下一个问题没有回答,就是如何构造最大熵模型.我们已经所有的最大熵模型都 ...

一个通用的任务管理模型-golang

一个通用的任务管理模型-golang相关推荐

最新文章

热门文章