spark学习-69-源代码：Endpoint模型介绍(1)

Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分
一、组件概览
对源码分析，对于设计思路理解如下：

RpcEndpoint：RPC端点，Spark针对于每个节点（Client/Master/Worker）都称之一个Rpc端点 ,且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询问）则调用Dispatcher
RpcEnv：RPC上下文环境，每个Rpc端点运行时依赖的上下文环境称之为RpcEnv
Dispatcher：消息分发器，针对于RPC端点需要发送消息或者从远程RPC接收到的消息，分发至对应的指令收件箱/发件箱。如果指令接收方是自己存入收件箱，如果指令接收方为非自身端点，则放入发件箱
Inbox：指令消息收件箱，一个本地端点对应一个收件箱，Dispatcher在每次向Inbox存入消息时，都将对

spark学习-69-源代码：Endpoint模型介绍(1)相关推荐

spark学习-75-源代码：Endpoint模型介绍(6)-Endpoint的消息的接收(2)
关于Endpoint如何处理消息的,我一直找不到初始调用点请问这个图中消息接受这个点在哪里?我想从这里看,但是找不到最初的起点 1.消息的产生点没找到,消息是怎么产生的还不清楚,知道的底下评论一下 ...
spark学习-70-源代码：Endpoint模型介绍(2)-启动流程
1. Endpoint启动过程启动的流程如下: Endpoint启动过程基本上与组件概览中组件能很好的对应 Endpoint启动后,默认会向Inbox中添加OnStart消息,不同的端点(Maste ...
spark学习-72-源代码：Endpoint模型介绍(4)-Spark为何使用Netty通信框架替代Akka
问题导读: spark 如何在1.6.0之后使用Netty替代了Akka? Spark Network Common怎么实现? BlockTransfer 与 Shuffle 之间的联系? Akka ...
spark学习-74-源代码：Endpoint模型介绍(6)-Endpoint的消息的接收
Endpoint receive流程 Endpoint的消息的接收,流程如下: 本图主要包括两部分,一部分是创建Netty服务一部分是接收消息创建Netty服务这里有个小问题,因为我找不到Rpc ...
spark学习-71-源代码：Endpoint模型介绍(3)-Endpoint SendAsk流程
1.Endpoint Send&Ask流程 Endpoint的消息发送与请求流程,如下: 从图上看send方法最先调用,我们来看看什么时候调用,下面是worker的调用语句,但是这里我们主要走 ...
spark学习-73-源代码：Endpoint模型介绍(5)-Netty通讯小例子
想理解Rpc的通讯,先看看Netty的通讯小例子,有助于理解Spark的Rpc通讯原理先看一个整体图静态图: 动态图gif动画: Spark2.2以后统一了通讯方式,全部是netty方式,根据源码 ...
学习笔记(36):Python网络编程并发编程-IO模型介绍
立即学习:https://edu.csdn.net/course/play/24458/296460?utm_source=blogtoedu I/O模型介绍:I/O模型表示处于等待状态的模型,如套接 ...
[深度学习-总结]Deep learning中8大模型介绍与比较(LeNet5,AlexNet,VGG,Inception,MobileNets,ResNet,DenseNet,Senet)
深度学习 9中模型介绍与比较 0. CNN 结构演化 1. LeNet5 2. AlexNet 3. VGG 为什么使用2个3x3卷积核可以来代替5*5卷积核 4. 1*1卷积 5. Inceptio ...
推荐系统深度学习篇-NFM 模型介绍(1)
一.推荐系统深度学习篇-NFM 模型介绍(1) NFM是2017年由新加披国立大学提出的一种模型,其主要优化点在于提出了Bi-Interaction,Bi-Interaction考虑到了二阶特征组合, ...

spark学习-69-源代码：Endpoint模型介绍(1)

spark学习-69-源代码：Endpoint模型介绍(1)相关推荐

最新文章

热门文章