Go基础系列:Go实现工作池的两种方式(一)
2019独角兽企业重金招聘Python工程师标准>>>
worker pool简介
worker pool其实就是线程池thread pool。对于go来说,直接使用的是goroutine而非线程,不过这里仍然以线程来解释线程池。
在线程池模型中,有2个队列一个池子:任务队列、已完成任务队列和线程池。其中已完成任务队列可能存在也可能不存在,依据实际需求而定。
只要有任务进来,就会放进任务队列中。只要线程执行完了一个任务,就将任务放进已完成任务队列,有时候还会将任务的处理结果也放进已完成队列中。
worker pool中包含了一堆的线程(worker,对go而言每个worker就是一个goroutine),这些线程嗷嗷待哺,等待着为它们分配任务,或者自己去任务队列中取任务。取得任务后更新任务队列,然后执行任务,并将执行完成的任务放进已完成队列。
下图来自wiki:
在Go中有两种方式可以实现工作池:传统的互斥锁、channel。
传统互斥锁机制的工作池
假设Go中的任务的定义形式为:
type Task struct {...
}
每次有任务进来时,都将任务放在任务队列中。
使用传统的互斥锁方式实现,任务队列的定义结构大概如下:
type Queue struct{M sync.MutexTasks []Task
}
然后在执行任务的函数中加上Lock()和Unlock()。例如:
func Worker(queue *Queue) {for {// Lock()和Unlock()之间的是critical sectionqueue.M.Lock()// 取出任务task := queue.Tasks[0]// 更新任务队列queue.Tasks = queue.Tasks[1:]queue.M.Unlock()// 在此goroutine中执行任务process(task)}
}
假如在线程池中激活了100个goroutine来执行Worker()。Lock()和Unlock()保证了在同一时间点只能有一个goroutine取得任务并随之更新任务列表,取任务和更新任务队列都是critical section中的代码,它们是具有原子性。然后这个goroutine可以执行自己取得的任务。于此同时,其它goroutine可以争夺互斥锁,只要争抢到互斥锁,就可以取得任务并更新任务列表。当某个goroutine执行完process(task),它将因为for循环再次参与互斥锁的争抢。
上面只是给出了一点主要的代码段,要实现完整的线程池,还有很多额外的代码。
通过互斥锁,上面的一切操作都是线程安全的。但问题在于加锁/解锁的机制比较重量级,当worker(即goroutine)的数量足够多,锁机制的实现将出现瓶颈。
通过buffered channel实现工作池
在Go中,也能用buffered channel实现工作池。
示例代码很长,所以这里先拆分解释每一部分,最后给出完整的代码段。
在下面的示例中,每个worker的工作都是计算每个数值的位数相加之和。例如给定一个数值234,worker则计算2+3+4=9
。这里交给worker的数值是随机生成的[0,999)范围内的数值。
这个示例有几个核心功能需要先解释,也是通过channel实现线程池的一般功能:
- 创建一个task buffered channel,并通过allocate()函数将生成的任务存放到task buffered channel中
- 创建一个goroutine pool,每个goroutine监听task buffered channel,并从中取出任务
- goroutine执行任务后,将结果写入到result buffered channel中
- 从result buffered channel中取出计算结果并输出
首先,创建Task和Result两个结构,并创建它们的通道:
type Task struct {ID intrandnum int
}type Result struct {task Taskresult int
}var tasks = make(chan Task, 10)
var results = make(chan Result, 10)
这里,每个Task都有自己的ID,以及该任务将要被worker计算的随机数。每个Result都包含了worker的计算结果result以及这个结果对应的task,这样从Result中就可以取出任务信息以及计算结果。
另外,两个通道都是buffered channel,容量都是10。每个worker都会监听tasks通道,并取出其中的任务进行计算,然后将计算结果和任务自身放进results通道中。
然后是计算位数之和的函数process(),它将作为worker的工作任务之一。
func process(num int) int {sum := 0for num != 0 {digit := num % 10sum += digitnum /= 10}time.Sleep(2 * time.Second)return sum
}
这个计算过程其实很简单,但随后还睡眠了2秒,用来假装执行一个计算任务是需要一点时间的。
然后是worker(),它监听tasks通道并取出任务进行计算,并将结果放进results通道。
func worker(wg *WaitGroup){defer wg.Done()for task := range tasks {result := Result{task, process(task.randnum)}results <- result}
}
上面的代码很容易理解,只要tasks channel不关闭,就会一直监听该channel。需要注意的是,该函数使用指针类型的*WaitGroup
作为参数,不能直接使用值类型的WaitGroup
作为参数,这样会使得每个worker都有一个自己的WaitGroup。
然后是创建工作池的函数createWorkerPool(),它有一个数值参数,表示要创建多少个worker。
func createWorkerPool(numOfWorkers int) {var wg sync.WaitGroupfor i := 0; i < numOfWorkers; i++ {wg.Add(1)go worker(&wg)}wg.Wait()close(results)
}
创建工作池时,首先创建一个WaitGroup的值wg,这个wg被工作池中的所有goroutine共享,每创建一个goroutine都wg.Add(1)。创建完所有的goroutine后等待所有的groutine都执行完它们的任务,只要有一个任务还没有执行完,这个函数就会被Wait()阻塞。当所有任务都执行完成后,关闭results通道,因为没有结果再需要向该通道写了。
当然,这里是否需要关闭results通道,是由稍后的range迭代这个通道决定的,不关闭这个通道会一直阻塞range,最终导致死锁。
工作池部分已经完成了。现在需要使用allocate()函数分配任务:生成一大堆的随机数,然后将Task放进tasks通道。该函数有一个代表创建任务数量的数值参数:
func allocate(numOfTasks int
转载于:https://my.oschina.net/u/3683692/blog/3038927
Go基础系列:Go实现工作池的两种方式(一)相关推荐
- Android 应用开发 之通过AsyncTask与ThreadPool(线程池)两种方式异步加载大量数据的分析与对比
Android 应用开发 之通过AsyncTask与ThreadPool(线程池)两种方式异步加载大量数据的分析与对比 标签: AndroidAsyncTaskThreadPool异步加载view 2 ...
- Android通过AsyncTask与ThreadPool(线程池)两种方式异步加载大量数据的分析与对比
在加载大量数据的时候,经常会用到异步加载,所谓异步加载,就是把耗时的工作放到子线程里执行,当数据加载完毕的时候再到主线程进行UI刷新.在数据量非常大的情况下,我们通常会使用两种技术来进行异步加载,一是 ...
- ACL访问控制列表 基础、创建ACL访问控制列表的两种方式、配置ACL访问控制列表规则、修改ACL规则的默认步长。子网掩码、反掩码、通配符掩码的区别和作用。
目录 ACL的组成: 创建ACL访问控制列表的两种的方式: 1.数字命名: 2.字符串命名方式: ACL创建步骤: 1.先创建ACL列表: 进入acl列表: 2.配置ACL的一条条规则: 3.进入需要 ...
- Spark 基础 —— RDD(创建 RDD)的两种方式
弹性分布式数据集(Resilient Distributed Dataset),简称 RDD,RDD 是 Spark 所提供的最基本的数据抽象,代表分布在集群中多台机器上的对象集合.Spark 有两种 ...
- SAP ABAP 根据物料工厂查询工作中心(ARBPL)的两种方式
SAP ABAP 根据物料工厂查询工作中心(ARBPL)的两种方式 引言: 根据物料工厂查询工作中心的两种方式 关键字:SAP ABAP CR_WORKSTATION_READ ARBPL 工作中心 ...
- Spring系列教程八: Spring实现事务的两种方式
2019独角兽企业重金招聘Python工程师标准>>> 一. Spring事务概念: 事务是一系列的动作,它们综合在一起才是一个完整的工作单元,这些动作必须全部完成,如果有一个失败的 ...
- 运行python的两种方式磁盘式_python计算机基础-Day1
计算机基础-Day1 一.计算机基础 首先Python是一门编程语言 语言: 那什么是语言?语言就是一种事物与另一种事物沟通的介质. 所以说编程语言是程序员跟计算机沟通的介质,那么为什么要跟计算机沟通 ...
- 运行python程序的两种方式交互式和文件式_Python基础知识2
运行Python程序的两种方式 小白学习,如有错误欢迎指点 一.每位小白写的第一个Python程序 1.运行Python程序的两种方式 1.1 交互式模式(即时对话) 打开cmd,打开Python解释 ...
- 线程池的五种状态及创建线程池的几种方式
上篇<Java线程的6种状态详解及创建线程的4种方式> 前言:我们都知道,线程是稀有资源,系统频繁创建会很大程度上影响服务器的使用效率,如果不加以限制,很容易就会把服务器资源耗尽.所以,我 ...
- java创建线程池几种方式_java知识总结-创建线程池的6种方式
一.创建线程池的6种方式: Executors.newCachedThreadPool(); 创建一个可缓存线程池,应用中存在的线程数可以无限大 Executors.newFixedThreadPoo ...
最新文章
- ​数据分析最重要的 3 种特征编码,你真的能分清楚?
- 逐行创建、读取并写入txt(matlab) 生成文件夹里文件名的.bat文件
- 第三期 预测——2.输入和输出
- jquery可见性过滤选择器:hidden、:visible
- gravatar配置和使用【让你的网站使用全球通用头像】
- 从 0 编写自己的第一款 IDEA 插件!
- ‘,‘ expected.Vetur(1005)
- java实现PDF转word,使用jacob插件
- python 串口实例_串口编程(python串口通信实例)
- keevi源地址_2019年越狱源地址排行是怎样的?
- 惠普打印机P1108驱动无法安装怎么处理?
- 缠中说禅形态挖掘之七笔形态
- 工商银行理财快速刷星汇总
- 曾经的荣誉,偶然被唤醒
- excel 无法找到入口 enumcalendarInfoExEx 于动态库链接库KERNEL32.DLL
- css开启3d加速的属性,开启3D加速,提高游戏速度
- 物联网云平台DTU Modbus协议 上位机 下位机 源码 源代码 程序
- openEuler代码贡献之星:麒麟软件裴建康
- SEH X64(3)
- 迪克斯特拉(Dijkstra)算法之MATLAB实现
热门文章
- ajax如何向action发送数据的
- H.264标准(二)FLV封装格式详解
- 计算机应用基础演讲怎么开口,计算机应用基础讲课稿
- 层次聚类 簇数_聚类(一):K-means、层次、DBSCAN、均值漂移、K-Means 与 KNN
- mysql 总分区表限制_MySQL分区表的局限和限制详解
- 苹果笔记本python爬取网页后怎么存下来_python 爬取csdn网页并保存博客到本地
- idea+按系统目录打开项目_在win10打开注册表编辑器的七种方法,你知道几种
- python设置很大的刻度_【Matplotlib】设置刻度(1)
- PingInfoView,中文,以及ping包+描述的使用。
- 请简述什么是spring的ioc和di_Spring的IoC与DI的理解