首先,之前的upgrade过程中内存的回收要稍微注意下。因为Receiver现在指向shared::Packet之后,那个new_port需要被析构,也就是调用drop函数,我们看下drop的实现:

implDropforReceiver{fn drop(&mutself){match*unsafe{self.inner()}{Flavor::Oneshot(refp)=>p.drop_port(),Flavor::Stream(refp)=>p.drop_port(),Flavor::Shared(refp)=>p.drop_port(),Flavor::Sync(refp)=>p.drop_port(),}}}

由于之前的swap操作,走Flavor::Oneshot路径:

pubfn drop_port(&self){matchself.state.swap(DISCONNECTED,Ordering::SeqCst){// An empty channel has nothing to do, and a remotely disconnected// channel also has nothing to do b/c we're about to run the drop// glueDISCONNECTED|EMPTY=>{}// There's data on the channel, so make sure we destroy it promptly.// This is why not using an arc is a little difficult (need the box// to stay valid while we take the data).DATA=>unsafe{(&mut*self.data.get()).take().unwrap();},// We're the only ones that can block on this port_=>unreachable!()}}

同样是DISCONNECTED替换DISCONNECTED而已,没有过多操作。

同时不再需要的oneshot::Packet也要被析构:

implDropforPacket{fn drop(&mutself){assert_eq!(self.state.load(Ordering::SeqCst),DISCONNECTED);}}

只是个DISCONNECTED的检验操作。

所以现在Sender/Receiver都存放了Flavor::Shared(Arc<:packet>>),之前的Flavor::Oneshot(Arc<:packet>>>和临时产生的Sender/Receiver都不存在了。

并发队列

所以我们接着关注内在的数据结构,通过跟踪以下函数来分析:Sender::send(&self, t: T)

Receiver::recv(&self)

Receiver::recv_timeout(&self, timeout: Duration)

Sender::send(&self, t: T):

pubfn send(&self,t: T)-> Result>{let(new_inner,ret)=match*unsafe{self.inner()}{Flavor::Oneshot(refp)=>{if!p.sent(){returnp.send(t).map_err(SendError);}else{leta=Arc::new(stream::Packet::new());letrx=Receiver::new(Flavor::Stream(a.clone()));matchp.upgrade(rx){oneshot::UpSuccess=>{letret=a.send(t);(a,ret)}oneshot::UpDisconnected=>(a,Err(t)),oneshot::UpWoke(token)=>{// This send cannot panic because the thread is// asleep (we're looking at it), so the receiver// can't go away.a.send(t).ok().unwrap();token.signal();(a,Ok(()))}}}}Flavor::Stream(refp)=>returnp.send(t).map_err(SendError),Flavor::Shared(refp)=>returnp.send(t).map_err(SendError),Flavor::Sync(..)=>unreachable!(),};unsafe{lettmp=Sender::new(Flavor::Stream(new_inner));mem::swap(self.inner_mut(),tmp.inner_mut());}ret.map_err(SendError)}

事实上,对于我们的case,只有需要关注一句代码即可:

Flavor::Shared(refp)=>returnp.send(t).map_err(SendError),

这里的p是Arc<:packet>>的一个引用。我们继续看p.send(t):

pubfn send(&self,t: T)-> Result{// See Port::drop for what's going onifself.port_dropped.load(Ordering::SeqCst){returnErr(t)}ifself.cnt.load(Ordering::SeqCst){self.take_to_wake().signal();}nifn{// see the comment in 'try' for a shared channel for why this// window of "not disconnected" is ok.self.cnt.store(DISCONNECTED,Ordering::SeqCst);ifself.sender_drain.fetch_add(1,Ordering::SeqCst)==0{loop{// drain the queue, for info on the thread yield see the// discussion in try_recvloop{matchself.queue.pop(){mpsc::Data(..)=>{}mpsc::Empty=>break,mpsc::Inconsistent=>thread::yield_now(),}}ifself.sender_drain.fetch_sub(1,Ordering::SeqCst)==1{break}}}}// Can't make any assumptions about this case like in the SPSC case._=>{}}Ok(())}

同时,我们再看下shared::Packet的数据结构跟初始化信息:

constDISCONNECTED: isize =isize::MIN;constFUDGE: isize =1024;pubstruct Packet{queue: mpsc::Queue,cnt: AtomicIsize,// How many items are on this channelsteals: UnsafeCell,// How many times has a port received without blocking?to_wake: AtomicUsize,// SignalToken for wake upchannels: AtomicUsize,port_dropped: AtomicBool,sender_drain: AtomicIsize,select_lock: Mutex,}pubfn new()-> Packet{Packet{queue: mpsc::Queue::new(),cnt: AtomicIsize::new(0),steals: UnsafeCell::new(0),to_wake: AtomicUsize::new(0),channels: AtomicUsize::new(2),port_dropped: AtomicBool::new(false),sender_drain: AtomicIsize::new(0),select_lock: Mutex::new(()),}}

我们发现:port_dropped用于标记接收端是否已经drop。

cnt会计数当前存入多少个数据。同时cnt通过跟DISCONNECTED的比较来判断消费者是否已断开。

如果send中发现消费的一方已经断开,则会自己尝试pop所有的数据,将他们清理掉。

主要的操作是通过self.queue.push(t)来完成。

那这个self.queue是怎么实现的呢?看下它的代码,位于文件sync/mpsc/mpsc_queue.rs:

pubstruct Queue{head: AtomicPtr>,tail: UnsafeCell>,}unsafeimplSendforQueue{}unsafeimplSyncforQueue{}implQueue{pubfn new()-> Queue{letstub=unsafe{Node::new(None)};Queue{head: AtomicPtr::new(stub),tail: UnsafeCell::new(stub),}}pubfn push(&self,t: T){unsafe{letn=Node::new(Some(t));letprev=self.head.swap(n,Ordering::AcqRel);(*prev).next.store(n,Ordering::Release);}}pubfn pop(&self)-> PopResult{unsafe{lettail=*self.tail.get();letnext=(*tail).next.load(Ordering::Acquire);if!next.is_null(){*self.tail.get()=next;assert!((*tail).value.is_none());assert!((*next).value.is_some());letret=(*next).value.take().unwrap();let_: Box>=Box::from_raw(tail);returnData(ret);}ifself.head.load(Ordering::Acquire)==tail{Empty}else{Inconsistent}}}............}

事实上,它采用了Non-intrusive MPSC node-based queue的算法,构造了一个mpsc的单向链表,感兴趣的可以通过这个链接详细了解。

这个算法的优点是:push:并发特别快,无等待并且几乎仅仅一个swap(XCHG指令)操作,通过不断地先swap成为head,然后再链接prev_head.next = head来构造链表。

缺点是:non-Linearability:不具备线性一致性,push操作会阻塞pop操作,pop操作中如果发现head != tail 同时 tail.next还没来得变为非null,那么就观察到整个队列处于不一致的状态,这种情况下这里的实现返回Inconsistent。

同时我们看一下Node的代码:

struct Node{next: AtomicPtr>,value: Option,}implNode{unsafefn new(v: Option)-> *mutNode{Box::into_raw(boxNode{next: AtomicPtr::new(ptr::null_mut()),value: v,})}}

相对以往不同的是new操作返回的是*mut Node,这里通过Box::into_raw让使用者自己负责Node的内存释放。

另一方面,当我们Receiver.recv()时假如channel中没有数据,那么就需要等待,所以我们再看下相关的代码:

pubfn recv(&self)-> Result{loop{letnew_port=match*unsafe{self.inner()}{Flavor::Oneshot(refp)=>{matchp.recv(None){Ok(t)=>returnOk(t),Err(oneshot::Disconnected)=>returnErr(RecvError),Err(oneshot::Upgraded(rx))=>rx,Err(oneshot::Empty)=>unreachable!(),}}Flavor::Stream(refp)=>{matchp.recv(None){Ok(t)=>returnOk(t),Err(stream::Disconnected)=>returnErr(RecvError),Err(stream::Upgraded(rx))=>rx,Err(stream::Empty)=>unreachable!(),}}Flavor::Shared(refp)=>{matchp.recv(None){Ok(t)=>returnOk(t),Err(shared::Disconnected)=>returnErr(RecvError),Err(shared::Empty)=>unreachable!(),}}Flavor::Sync(refp)=>returnp.recv(None).map_err(|_|RecvError),};unsafe{mem::swap(self.inner_mut(),new_port.inner_mut());}}}

只要看:

pubfn recv(&self)-> Result{loop{letnew_port=match*unsafe{self.inner()}{.........Flavor::Shared(refp)=>{matchp.recv(None){Ok(t)=>returnOk(t),Err(shared::Disconnected)=>returnErr(RecvError),Err(shared::Empty)=>unreachable!(),}}};...........}}

接着看p.recv(),它的返回值决定了调用结果:

pubfn recv(&self,deadline: Option)-> Result{// This code is essentially the exact same as that found in the stream// case (see stream.rs)matchself.try_recv(){Err(Empty)=>{}data=>returndata,}let(wait_token,signal_token)=blocking::tokens();ifself.decrement(signal_token)==Installed{ifletSome(deadline)=deadline{lettimed_out=!wait_token.wait_max_until(deadline);iftimed_out{self.abort_selection(false);}}else{wait_token.wait();}}matchself.try_recv(){data@Ok(..)=>unsafe{*self.steals.get()-=1;data},data=>data,}}

这里的逻辑是,前面的self.try_recv假如返回了数据,那么直接返回数据即可。否则很可能channel为空,所以通过blocking::tokens()为Receiver准备阻塞相关的数据,然后通过decrement方法再次判断是否有数据,从而进入阻塞状态,decrement代码:

fn decrement(&self,token: SignalToken)-> StartResult{unsafe{assert_eq!(self.to_wake.load(Ordering::SeqCst),0);letptr=token.cast_to_usize();self.to_wake.store(ptr,Ordering::SeqCst);letsteals=ptr::replace(self.steals.get(),0);matchself.cnt.fetch_sub(1+steals,Ordering::SeqCst){DISCONNECTED=>{self.cnt.store(DISCONNECTED,Ordering::SeqCst);}n=>{assert!(n>=0);ifn-steals<=0{returnInstalled}}}self.to_wake.store(0,Ordering::SeqCst);drop(SignalToken::cast_from_usize(ptr));Abort}}

如上所示,将token: SignalToken的指针放入to_wake中,等待将来被唤醒。

所以这里通过self.cnt字段减除1+ steals来判断队列是否为空,原因在于这里的计数方式并不是每次pop一个数据就将cnt-1,也许是为了性能考虑,我们将pop的数据个数汇总在了steals字段中,然后等到steals足够大或者发现channel为空了才去修改cnt的值。所以这里通过self.cnt - (1+ steals) 与 0 比较来判断是否已有数据,如果没有则返回Installed,否则清理数据再返回Abort。

我们先看下Installed之后的逻辑:

ifself.decrement(signal_token)==Installed{ifletSome(deadline)=deadline{lettimed_out=!wait_token.wait_max_until(deadline);iftimed_out{self.abort_selection(false);}}else{wait_token.wait();}}

对于我们的情况它只是调用 wait_token.wait(),代码为:

implWaitToken{pubfn wait(self){while!self.inner.woken.load(Ordering::SeqCst){thread::park()}}...........

先检查woken再调用park(),注意这里是与之前Send的send操作相匹配的:

pubfn send(&self,t: T)-> Result{.............self.queue.push(t);matchself.cnt.fetch_add(1,Ordering::SeqCst){-1=>{self.take_to_wake().signal();}..........

我们看下相关的代码:

fn take_to_wake(&self)-> SignalToken{letptr=self.to_wake.load(Ordering::SeqCst);self.to_wake.store(0,Ordering::SeqCst);assert!(ptr!=0);unsafe{SignalToken::cast_from_usize(ptr)}implSignalToken{pubfn signal(&self)-> bool {letwake=!self.inner.woken.compare_and_swap(false,true,Ordering::SeqCst);ifwake{self.inner.thread.unpark();}wake}....}

先设置woken再调用unpark()。如此一来确保等待的Receiver不会永远睡眠。

我们再看下decrement返回Abort的情况:

pubfn recv(&self,deadline: Option)-> Result{matchself.try_recv(){Err(Empty)=>{}data=>returndata,}let(wait_token,signal_token)=blocking::tokens();ifself.decrement(signal_token)==Installed{.............}matchself.try_recv(){data@Ok(..)=>unsafe{*self.steals.get()-=1;data},data=>data,}}

只是再次调用self.try_recv()而已,至于这里为什么会有*self.steals.get()-=1的操作,那是要看try_recv操作本身了,它有一个默认steals+1的操作,但是这里的第二个self.try_recv()的计数已经cnt汇总了,所以这个不需要steals+1,我们通过-1来平衡:

pubfn try_recv(&self)-> Result{letret=matchself.queue.pop(){mpsc::Data(t)=>Some(t),mpsc::Empty=>None,mpsc::Inconsistent=>{letdata;loop{thread::yield_now();matchself.queue.pop(){mpsc::Data(t)=>{data=t;break}mpsc::Empty=>panic!("inconsistent => empty"),mpsc::Inconsistent=>{}}}Some(data)}};matchret{Some(data)=>unsafe{if*self.steals.get()>MAX_STEALS{matchself.cnt.swap(0,Ordering::SeqCst){DISCONNECTED=>{self.cnt.store(DISCONNECTED,Ordering::SeqCst);}n=>{letm=cmp::min(n,*self.steals.get());*self.steals.get()-=m;self.bump(n-m);}}assert!(*self.steals.get()>=0);}*self.steals.get()+=1;Ok(data)},None=>{matchself.cnt.load(Ordering::SeqCst){nifn!=DISCONNECTED=>Err(Empty),_=>{matchself.queue.pop(){mpsc::Data(t)=>Ok(t),mpsc::Empty=>Err(Disconnected),// with no senders, an inconsistency is impossible.mpsc::Inconsistent=>unreachable!(),}}}}}}

从代码中可以看到,如果pop()取得数据则直接返回;如果Empty则返回None,从而让Receiver可以陷入等待;如果Inconsistent 则说明队列处于push操作稍慢的不一致状态,我们的办法就是通过thread::yield_now(),一直调用pop()直到返回数据或者None。

另外,的确是通过MAX_STEALS 这个字段先汇总steals的值:

matchret{Some(data)=>unsafe{if*self.steals.get()>MAX_STEALS{matchself.cnt.swap(0,Ordering::SeqCst){DISCONNECTED=>{self.cnt.store(DISCONNECTED,Ordering::SeqCst);}n=>{letm=cmp::min(n,*self.steals.get());*self.steals.get()-=m;self.bump(n-m);}}assert!(*self.steals.get()>=0);}*self.steals.get()+=1;Ok(data)},...............}

假如steals足够大,大于MAX_STEALS 我们才通过与cnt比较,然后从cnt中减除它。

rust里mp5a4_Rust源码分析:channel内部mpsc队列相关推荐

  1. Rust Async: smol源码分析-Executor篇

    本文来自知乎:https://zhuanlan.zhihu.com/p/137353103 作者:赖智超 smol是一个精简高效的异步运行时,包含有Executor,Reactor和Timer的实现. ...

  2. rust里mp5a4_Rust中的RefCell和内部可变性

    Rust在编译阶段会进行严格的借用规则检查,规则如下: 在任意给定时间,要么只能有一个可变引用,要么只能有多个不可变引用. 引用必须总是有效. 即在编译阶段,当有一个不可变值时,不能可变的借用它.如下 ...

  3. 【TencentOS tiny学习】源码分析(3)——队列

    文章目录 队列基本概念 队列的阻塞机制 队列实现的数据结构 队列控制块 消息控制块 任务控制块中的消息成员变量 与消息相关的宏定义 消息池 队列创建 销毁队列 清空队列 等待队列(消息) (消息)写入 ...

  4. Java高并发程序设计学习笔记(五):JDK并发包(各种同步控制工具的使用、并发容器及典型源码分析(Hashmap等))...

    转自:https://blog.csdn.net/dataiyangu/article/details/86491786#2__696 1. 各种同步控制工具的使用 1.1. ReentrantLoc ...

  5. LiteOS内核源码分析:消息队列Queue

    本文分享自华为云社区<LiteOS内核源码分析系列十 消息队列Queue>,原文作者:zhushy . 队列(Queue)是一种常用于任务间通信的数据结构.任务能够从队列里面读取消息,当队 ...

  6. java ee是什么_死磕 java集合之HashSet源码分析

    问题 (1)集合(Collection)和集合(Set)有什么区别? (2)HashSet怎么保证添加元素不重复? (3)HashSet是否允许null元素? (4)HashSet是有序的吗? (5) ...

  7. List接口的常用方法以及ArrayList/LinkedList源码分析

    1.List接口的常用方法 ArrayList list = new ArrayList();list.add(123);list.add(456);list.add("AA"); ...

  8. jQuery源码分析系列

    声明:本文为原创文章,如需转载,请注明来源并保留原文链接Aaron,谢谢! 版本截止到2013.8.24 jQuery官方发布最新的的2.0.3为准 附上每一章的源码注释分析 :https://git ...

  9. [转]jQuery源码分析系列

    文章转自:jQuery源码分析系列-Aaron 版本截止到2013.8.24 jQuery官方发布最新的的2.0.3为准 附上每一章的源码注释分析 :https://github.com/JsAaro ...

最新文章

  1. python牛顿法解非线性方程组_matlab实现牛顿迭代法求解非线性方程组.pdf
  2. 计算机无法显示移动硬盘,移动硬盘在我的电脑中不显示了 怎么处理?
  3. dataframe转换成dict和列表的技巧
  4. google mock分享
  5. 项目实例改编:利用structs2的action 实时显示图片、pdf和其他内容的框架抽取。(转)...
  6. MySQL now()函数
  7. 《Java8实战》笔记(07):并行数据处理与性能
  8. 10038 mysql,关于MySql 10038错误的完美解决方法(三种)
  9. 对战 | RabbitMq 大战 kafka
  10. linux fstab 权限,linux中fstab文件配置简介
  11. ctags linux,ctags --- 每天一个 Linux 命令
  12. Unity PlayerSetting Android打包设置介绍
  13. Redis雪崩和Redis穿透
  14. linux tomcat apr安装,Linux下为Tomcat安装APR
  15. 帝国cms如何安装php模板,帝国CMS整站源码通用安装教程
  16. 目标检测经典论文——YOLOv1论文翻译(纯中文版):YOLO:统一的实时目标检测
  17. 云时代的应用性能管理(APM)
  18. 如何更新google浏览器
  19. php 生成excel表格,PHP 生成Excel表格两种方法
  20. win10自启动方法

热门文章

  1. fir c语言程序,fir.rar fir的c语言程序 - 下载 - 搜珍网
  2. MySQL Workbench运行脚本
  3. pytorch每次迭代训练前都重新对数据集进行采样形成平衡数据集
  4. python matplotlib画图改变图标题和坐标轴标题的字体大小
  5. 二隐层的神经网络实现MNIST数据集分类
  6. QT中的QGridLayout布局
  7. PCA对特征点描述子降维
  8. Spring Data JPA 从入门到精通~定义查询方法的配置方法
  9. java 停止kettle转换_通过java运行Kettle转换
  10. java设计一个bank类实现银行_AOS公链推出“隐私Bank”,彻底打破资产发行门槛!...