ucontext-人人都可以实现的简单协程库
1.干货写在前面
协程是一种用户态的轻量级线程。本篇主要研究协程的C/C++的实现。
首先我们可以看看有哪些语言已经具备协程语义:
- 比较重量级的有C#、erlang、golang*
- 轻量级有python、lua、javascript、ruby
- 还有函数式的scala、scheme等。
c/c++不直接支持协程语义,但有不少开源的协程库,如:
Protothreads:一个“蝇量级” C 语言协程库
libco:来自腾讯的开源协程库libco介绍,官网
coroutine:云风的一个C语言同步协程库,详细信息
目前看到大概有四种实现协程的方式:
- 第一种:利用glibc 的 ucontext组件(云风的库)
- 第二种:使用汇编代码来切换上下文(实现c协程)
- 第三种:利用C语言语法switch-case的奇淫技巧来实现(Protothreads)
- 第四种:利用了 C 语言的 setjmp 和 longjmp( 一种协程的 C/C++ 实现,要求函数里面使用 static local 的变量来保存协程内部的数据)
本篇主要使用ucontext来实现简单的协程库。
2.ucontext初接触
利用ucontext提供的四个函数getcontext(),setcontext(),makecontext(),swapcontext()
可以在一个进程中实现用户级的线程切换。
本节我们先来看ucontext实现的一个简单的例子:
- #include <stdio.h>
- #include <ucontext.h>
- #include <unistd.h>
- int main(int argc, const char *argv[]){
- ucontext_t context;
- getcontext(&context);
- puts("Hello world");
- sleep(1);
- setcontext(&context);
- return 0;
- }
注:示例代码来自维基百科.
保存上述代码到example.c
,执行编译命令:
gcc example.c -o example
想想程序运行的结果会是什么样?
- cxy@ubuntu:~$ ./example
- Hello world
- Hello world
- Hello world
- Hello world
- Hello world
- Hello world
- Hello world
- ^C
- cxy@ubuntu:~$
上面是程序执行的部分输出,不知道是否和你想得一样呢?我们可以看到,程序在输出第一个“Hello world"后并没有退出程序,而是持续不断的输出”Hello world“。其实是程序通过getcontext先保存了一个上下文,然后输出"Hello world",在通过setcontext恢复到getcontext的地方,重新执行代码,所以导致程序不断的输出”Hello world“,在我这个菜鸟的眼里,这简直就是一个神奇的跳转。
那么问题来了,ucontext到底是什么?
3.ucontext组件到底是什么
在类System V环境中,在头文件< ucontext.h > 中定义了两个结构类型,mcontext_t
和ucontext_t
和四个函数getcontext(),setcontext(),makecontext(),swapcontext()
.利用它们可以在一个进程中实现用户级的线程切换。
mcontext_t
类型与机器相关,并且不透明.ucontext_t
结构体则至少拥有以下几个域:
- typedef struct ucontext {
- struct ucontext *uc_link;
- sigset_t uc_sigmask;
- stack_t uc_stack;
- mcontext_t uc_mcontext;
- ...
- } ucontext_t;
当当前上下文(如使用makecontext创建的上下文)运行终止时系统会恢复uc_link
指向的上下文;uc_sigmask
为该上下文中的阻塞信号集合;uc_stack
为该上下文中使用的栈;uc_mcontext
保存的上下文的特定机器表示,包括调用线程的特定寄存器等。
下面详细介绍四个函数:
int getcontext(ucontext_t *ucp);
初始化ucp结构体,将当前的上下文保存到ucp中
int setcontext(const ucontext_t *ucp);
设置当前的上下文为ucp,setcontext的上下文ucp应该通过getcontext或者makecontext取得,如果调用成功则不返回。如果上下文是通过调用getcontext()取得,程序会继续执行这个调用。如果上下文是通过调用makecontext取得,程序会调用makecontext函数的第二个参数指向的函数,如果func函数返回,则恢复makecontext第一个参数指向的上下文第一个参数指向的上下文context_t中指向的uc_link.如果uc_link为NULL,则线程退出。
void makecontext(ucontext_t *ucp, void (*func)(), int argc, ...);
makecontext修改通过getcontext取得的上下文ucp(这意味着调用makecontext前必须先调用getcontext)。然后给该上下文指定一个栈空间ucp->stack,设置后继的上下文ucp->uc_link.
当上下文通过setcontext或者swapcontext激活后,执行func函数,argc为func的参数个数,后面是func的参数序列。当func执行返回后,继承的上下文被激活,如果继承上下文为NULL时,线程退出。
int swapcontext(ucontext_t *oucp, ucontext_t *ucp);
保存当前上下文到oucp结构体中,然后激活upc上下文。
如果执行成功,getcontext返回0,setcontext和swapcontext不返回;如果执行失败,getcontext,setcontext,swapcontext返回-1,并设置对于的errno.
简单说来, getcontext
获取当前上下文,setcontext
设置当前上下文,swapcontext
切换上下文,makecontext
创建一个新的上下文。
4.小试牛刀-使用ucontext组件实现线程切换
虽然我们称协程是一个用户态的轻量级线程,但实际上多个协程同属一个线程。任意一个时刻,同一个线程不可能同时运行两个协程。如果我们将协程的调度简化为:主函数调用协程1,运行协程1直到协程1返回主函数,主函数在调用协程2,运行协程2直到协程2返回主函数。示意步骤如下:
- 执行主函数
- 切换:主函数 --> 协程1
- 执行协程1
- 切换:协程1 --> 主函数
- 执行主函数
- 切换:主函数 --> 协程2
- 执行协程2
- 切换协程2 --> 主函数
- 执行主函数
- ...
这种设计的关键在于实现主函数到一个协程的切换,然后从协程返回主函数。这样无论是一个协程还是多个协程都能够完成与主函数的切换,从而实现协程的调度。
实现用户线程的过程是:
- 我们首先调用getcontext获得当前上下文
- 修改当前上下文ucontext_t来指定新的上下文,如指定栈空间极其大小,设置用户线程执行完后返回的后继上下文(即主函数的上下文)等
- 调用makecontext创建上下文,并指定用户线程中要执行的函数
- 切换到用户线程上下文去执行用户线程(如果设置的后继上下文为主函数,则用户线程执行完后会自动返回主函数)。
下面代码context_test
函数完成了上面的要求。
- #include <ucontext.h>
- #include <stdio.h>
- void func1(void * arg)
- {
- puts("1");
- puts("11");
- puts("111");
- puts("1111");
- }
- void context_test()
- {
- char stack[1024*128];
- ucontext_t child,main;
- getcontext(&child); //获取当前上下文
- child.uc_stack.ss_sp = stack;//指定栈空间
- child.uc_stack.ss_size = sizeof(stack);//指定栈空间大小
- child.uc_stack.ss_flags = 0;
- child.uc_link = &main;//设置后继上下文
- makecontext(&child,(void (*)(void))func1,0);//修改上下文指向func1函数
- swapcontext(&main,&child);//切换到child上下文,保存当前上下文到main
- puts("main");//如果设置了后继上下文,func1函数指向完后会返回此处
- }
- int main()
- {
- context_test();
- return 0;
- }
在context_test中,创建了一个用户线程child,其运行的函数为func1.指定后继上下文为main
func1返回后激活后继上下文,继续执行主函数。
保存上面代码到example-switch.cpp.运行编译命令:
g++ example-switch.cpp -o example-switch
执行程序结果如下
- cxy@ubuntu:~$ ./example-switch
- 1
- 11
- 111
- 1111
- main
- cxy@ubuntu:~$
你也可以通过修改后继上下文的设置,来观察程序的行为。如修改代码
child.uc_link = &main;
为
child.uc_link = NULL;
再重新编译执行,其执行结果为:
- cxy@ubuntu:~$ ./example-switch
- 1
- 11
- 111
- 1111
- cxy@ubuntu:~$
可以发现程序没有打印"main",执行为func1后直接退出,而没有返回主函数。可见,如果要实现主函数到线程的切换并返回,指定后继上下文是非常重要的。
5.使用ucontext实现自己的线程库
掌握了上一节从主函数到协程的切换的关键,我们就可以开始考虑实现自己的协程了。
定义一个协程的结构体如下:
- typedef void (*Fun)(void *arg);
- typedef struct uthread_t
- {
- ucontext_t ctx;
- Fun func;
- void *arg;
- enum ThreadState state;
- char stack[DEFAULT_STACK_SZIE];
- }uthread_t;
ctx保存协程的上下文,stack为协程的栈,栈大小默认为DEFAULT_STACK_SZIE=128Kb.你可以根据自己的需求更改栈的大小。func为协程执行的用户函数,arg为func的参数,state表示协程的运行状态,包括FREE,RUNNABLE,RUNING,SUSPEND,分别表示空闲,就绪,正在执行和挂起四种状态。
在定义一个调度器的结构体
- typedef std::vector<uthread_t> Thread_vector;
- typedef struct schedule_t
- {
- ucontext_t main;
- int running_thread;
- Thread_vector threads;
- schedule_t():running_thread(-1){}
- }schedule_t;
调度器包括主函数的上下文main,包含当前调度器拥有的所有协程的vector类型的threads,以及指向当前正在执行的协程的编号running_thread.如果当前没有正在执行的协程时,running_thread=-1.
接下来,在定义几个使用函数uthread_create,uthread_yield,uthread_resume函数已经辅助函数schedule_finished.就可以了。
int uthread_create(schedule_t &schedule,Fun func,void *arg);
创建一个协程,该协程的会加入到schedule的协程序列中,func为其执行的函数,arg为func的执行函数。返回创建的线程在schedule中的编号。
void uthread_yield(schedule_t &schedule);
挂起调度器schedule中当前正在执行的协程,切换到主函数。
void uthread_resume(schedule_t &schedule,int id);
恢复运行调度器schedule中编号为id的协程
int schedule_finished(const schedule_t &schedule);
判断schedule中所有的协程是否都执行完毕,是返回1,否则返回0.注意:如果有协程处于挂起状态时算作未全部执行完毕,返回0.
代码就不全贴出来了,我们来看看两个关键的函数的具体实现。首先是uthread_resume函数:
- void uthread_resume(schedule_t &schedule , int id)
- {
- if(id < 0 || id >= schedule.threads.size()){
- return;
- }
- uthread_t *t = &(schedule.threads[id]);
- switch(t->state){
- case RUNNABLE:
- getcontext(&(t->ctx));
- t->ctx.uc_stack.ss_sp = t->stack;
- t->ctx.uc_stack.ss_size = DEFAULT_STACK_SZIE;
- t->ctx.uc_stack.ss_flags = 0;
- t->ctx.uc_link = &(schedule.main);
- t->state = RUNNING;
- schedule.running_thread = id;
- makecontext(&(t->ctx),(void (*)(void))(uthread_body),1,&schedule);
- /* !! note : Here does not need to break */
- case SUSPEND:
- swapcontext(&(schedule.main),&(t->ctx));
- break;
- default: ;
- }
- }
如果指定的协程是首次运行,处于RUNNABLE状态,则创建一个上下文,然后切换到该上下文。如果指定的协程已经运行过,处于SUSPEND状态,则直接切换到该上下文即可。代码中需要注意RUNNBALE状态的地方不需要break.
- void uthread_yield(schedule_t &schedule)
- {
- if(schedule.running_thread != -1 ){
- uthread_t *t = &(schedule.threads[schedule.running_thread]);
- t->state = SUSPEND;
- schedule.running_thread = -1;
- swapcontext(&(t->ctx),&(schedule.main));
- }
- }
uthread_yield挂起当前正在运行的协程。首先是将running_thread置为-1,将正在运行的协程的状态置为SUSPEND,最后切换到主函数上下文。
更具体的代码我已经放到github上,点击这里。
6.最后一步-使用我们自己的协程库
保存下面代码到example-uthread.cpp.
- #include "uthread.h"
- #include <stdio.h>
- void func2(void * arg)
- {
- puts("22");
- puts("22");
- uthread_yield(*(schedule_t *)arg);
- puts("22");
- puts("22");
- }
- void func3(void *arg)
- {
- puts("3333");
- puts("3333");
- uthread_yield(*(schedule_t *)arg);
- puts("3333");
- puts("3333");
- }
- void schedule_test()
- {
- schedule_t s;
- int id1 = uthread_create(s,func3,&s);
- int id2 = uthread_create(s,func2,&s);
- while(!schedule_finished(s)){
- uthread_resume(s,id2);
- uthread_resume(s,id1);
- }
- puts("main over");
- }
- int main()
- {
- schedule_test();
- return 0;
- }
执行编译命令并运行:
g++ example-uthread.cpp -o example-uthread
./example-uthread
运行结果如下:
- cxy@ubuntu:~/mythread$./example-uthread
- 22
- 22
- 3333
- 3333
- 22
- 22
- 3333
- 3333
- main over
- cxy@ubuntu:~/mythread$
可以看到,程序协程func2,然后切换到主函数,在执行协程func3,再切换到主函数,又切换到func2,在切换到主函数,再切换到func3,最后切换到主函数结束。
总结一下,我们利用getcontext和makecontext创建上下文,设置后继的上下文到主函数,设置每个协程的栈空间。在利用swapcontext在主函数和协程之间进行切换。
到此,使用ucontext做一个自己的协程库就到此结束了。相信你也可以自己完成自己的协程库了。
最后,代码我已经放到github上,点击这里。
ucontext-人人都可以实现的简单协程库相关推荐
- 一个“蝇量级” C 语言协程库
协程(coroutine)顾名思义就是"协作的例程"(co-operative routines).跟具有操作系统概念的线程不一样,协程是在用户空间利用程序语言的语法语义就能实现逻 ...
- cmake导入so库_libgo - 协程库、并行编程库
libgo是一个使用C++11编写的协作式调度的stackful协程库, 同时也是一个强大的并行编程库, 是专为Linux服务端程序开发设计的底层框架. 目前支持三个平台: Linux (GCC4.8 ...
- C++ 开源协程库 libco——原理及应用
1 导论 使用 C++ 来编写高性能的网络服务器程序,从来都不是件很容易的事情.在没有应用任何网络框架,从 epoll/kqueue 直接码起的时候尤其如此.即便使用 libevent, libev这 ...
- linux c++11高性能协程库netco
目录 一.开源协程库调研 1.golang语言自带协程 2.云风的coroutine协程库 3.腾讯的libco协程库 4.魅族的libgo协程库 二.netco协程库概述 三.netco的实现 1. ...
- 【并发编程二十】协程(coroutine)_协程库
[并发编程二十]协程(coroutine) 一.线程的缺点 二.协程 三.优点 四.个人理解 五.协程库 1.window系统 2.unix系统(包括linux的各个版本) 2.1.makeconte ...
- C/C++协程库libco:微信怎样漂亮地完成异步化改造
如今,微信拥有月活跃用户8亿. 不可否认,当今的微信后台拥有着强大的并发能力. 不过, 正如罗马并非一日建成:微信的技术也曾经略显稚嫩. 微信诞生于2011年1月,当年用户规模为0.1亿左右:2013 ...
- libco协程库源码解读
2019独角兽企业重金招聘Python工程师标准>>> 协程,又被称为用户级线程,是在应用层被调度,可以减少因为调用系统调用而阻塞的线程切换的时间.目前有很多协程的实现,由于微信内部 ...
- Python 的协程库 greenlet 和 gevent
greenlet 官方文档:https://greenlet.readthedocs.io/en/latest/ From:https://www.jianshu.com/u/3ab212f28d91 ...
- Libco是一个C/C++协程库,在微信服务中广泛使用
Table of Contents 协程简介 协程Libco库 libco的特性 PS:CGI框架 PS:Lambda表达式 协程简介 协程这个概念其实在<操作系统>系统里面应该有了解过, ...
最新文章
- Civil 3D 二次开发 创建AutoCAD对象—— 00 ——
- 准备翻译Windows 8 动手实验系列教程
- 在vue项目中引入高德地图及其UI组件的方法
- 一些debug常用的魔法数值
- SVM训练时候样本不均衡怎么设置惩罚项
- mysql数据库上传ftp服务器中_备份部分mysql表并上传至指定ftp服务器目录中
- LintCode 550. 最常使用的K个单词II(自定义set(可修改数据的优先队列) + map)
- linux 命令行看图片,骚操作:用终端打开图片
- python绘制如下图形、小三角形边长20_python二级操作题与分析(7)
- 强化学习《基于策略 - PPO,TRPO,PPO2》
- ajax onload怎么用,Ajax中onload和onreadystatechange两种请求方式的区别
- 《从零开始走进FPGA》导读
- 优先股和普通股的区别是什么?
- 微信小程序API之showModal(Loding...)
- 第2章 MCS-51 单片机硬件结构
- 服务器更换固态后如何安装系统,更换固态硬盘后安装操作系统的两种常用方法...
- ksps什么单位_采样频率Hz 采样率KSPS或MSPS,两种单位的换算关系
- [Android开发] ButterKnife8.5.1 使用方法教程总结
- luoguP2711 小行星
- 计算机新课标学习心得体会,【精品】新课标学习心得体会模板锦集10篇
热门文章
- 服务器上文件一直被打开吗,Python: 如何判断远程服务器上Excel文件是否被人打开...
- Tesseract-OCR 字符识别-样书训练
- 往有序链表的插入元素使原链表依旧有序
- Pytorch搭建yolo3目标检测平台
- MySQL 优化之 index merge(索引合并)
- 说说 JAVA 代理模式
- 老手是这样教新手编程的
- JavaScript单线程 setTimeout定时器
- 用 Hadoop 进行分布式并行编程, 第 2 部分 程序实例与分析
- 程序员面试题精选100题(39)-颠倒栈[数据结构]