RPC通信基本原理 -- 浅析RPC远程过程调用基本原理

一、RPC基本概念

1.1、RPC简介

RPC 的全称是 Remote Procedure Call是一种进程间通信方式。

RPC只是一个概念而不是具体的协议或框架。

它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。

即程序员无论是调用本地的还是远程的，本质上编写的调用代码基本相同。

它可以有不同的实现方式。如RMI(远程方法调用)、Hessian、Http invoker等。另外，RPC是与语言无关的。

如上图所示，假设Computer1在调用sayHi()方法，对于Computer1而言调用sayHi()方法就像调用本地方法一样，调用 –>返回。但从后续调用可以看出Computer1调用的是Computer2中的sayHi()方法，RPC屏蔽了底层的实现细节，让调用者无需关注网络通信，数据传输等细节。

1.2、RPC架构

一个完整的RPC架构里面包含了四个核心的组件，分别是Client，Client Stub，Server以及Server Stub，这个Stub可以理解为存根。

客户端(Client)，服务的调用方。
客户端存根(Client Stub)，存放服务端的地址消息，再将客户端的请求参数打包成网络消息，然后通过网络远程发送给服务方。
服务端(Server)，真正的服务提供者。
服务端存根(Server Stub)，接收客户端发送过来的消息，将消息解包，并调用本地的方法。

1.3 RPC调用过程

(1) 客户端（client）以本地调用方式（即以接口的方式）调用服务；
(2) 客户端存根（client stub）接收到调用后，负责将方法、参数等组装成能够进行网络传输的消息体（将消息体对象序列化为二进制）；
(3) 客户端通过sockets将消息发送到服务端；
(4) 服务端存根( server stub）收到消息后进行解码（将消息对象反序列化）；
(5) 服务端存根( server stub）根据解码结果调用本地的服务；
(6) 本地服务执行并将结果返回给服务端存根( server stub）；
(7) 服务端存根( server stub）将返回结果打包成消息（将结果消息对象序列化）；
(8) 服务端（server）通过sockets将消息发送到客户端；
(9) 客户端存根（client stub）接收到结果消息，并进行解码（将结果消息发序列化）；
(10) 客户端（client）得到最终结果。

RPC的目标是要把2、3、4、7、8、9这些步骤都封装起来。

注意：无论是何种类型的数据，最终都需要转换成二进制流在网络上进行传输，数据的发送方需要将对象转换为二进制流，而数据的接收方则需要把二进制流再恢复为对象。

1.4、作用及优势

`1、作用：`

1、使服务解耦
2、分布式设计
3、部署灵活
4、容易扩展

`2、优点：`

1、一般使用长链接，不必每次通信都要3次握手，减少网络开销
2、一般都有注册中心，有丰富的监控管理
3、发布、下线接口、动态扩展等，对调用方来说是无感知、统一化的操作
4、协议私密，安全性较高
5、rpc 能做到协议更简单内容更小，效率更高
6、rpc是面向服务的更高级的抽象，支持服务注册发现，负载均衡，超时重试，熔断降级等高级特性

二、RPC架构解析

2.1、RPC架构分析

RPC的定义：远程过程调用，调用远程就像调用本地某个过程或函数。通过这一句我们是不是感受不到IP等地址信息的存在了，请求头是不是也应该存在了，编码什么的也不复存在了吧，网络传输不应该让我们开发者感受到了吧…中间的所有跟调用过程相关的是不是都是RPC内部应该帮我们做的，那么接下来我们看一下RPC中具体应该有哪些模块，每个模块又有什么存在的意义

-
- 1、调用模块：通过该模块对数据进行封装、对请求进行负载、超时判断、熔断和限流等等
- 2、序列化 ： 通过该模块对数据进行序列化，转成可通过网络传输的格式，并在没收到数据后反序列化成可读的格式
- 3、协议编码：这里的编码是对数据的编码和解码
- 4、网络传输：两个服务之间信息的传输
- 5、服务发现：从注册中心订阅服务
- 6、服务注册：将服务提供者提供的服务注册到注册中心供消费者使用
- 7、注册中心：在高可用的生产环境中，服务一般都以集群方式提供服务，集群里面的IP等重要参数信息可能随时会发生变化，节点也可能会动态扩缩容，客户端需要能够及时感知服务端的变化，获取集群最新服务节点的连接信息，而这些变化要求是要对调用方应用无感知的
-

2.2、RPC框架的实现

上面介绍了RPC的核心原理：RPC能够让本地应用简单、高效地调用服务器中的过程（服务）。它主要应用在分布式系统。如Hadoop中的IPC组件。但怎样实现一个RPC框架呢？

2.1.1、从下面几个方面思考，仅供参考：

1.通信模型：假设通信的为A机器与B机器，A与B之间有通信模型，在Java中一般基于BIO或NIO；。
2.过程（服务）定位：使用给定的通信方式，与确定IP与端口及方法名称确定具体的过程或方法；
3.远程代理对象：本地调用的方法(服务)其实是远程方法的本地代理，因此可能需要一个远程代理对象，对于Java而言，远程代理对象可以使用Java的动态对象实现，封装了调用远程方法调用；
4.序列化，将对象名称、方法名称、参数等对象信息进行网络传输需要转换成二进制传输，这里可能需要不同的序列化技术方案。如:protobuf，Arvo等

2.1.2、hdfs的RPC基本流程：

hdfs的rpc流程基本如上，其中的关键就是获得NameNode代理对象。

2.3、JAVA中代理方式

2.2.1、什么是代理模式

1.定义：为其他对象提供一种代理以控制对这个对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。
2.例子：最开始接触JDBC操作数据库的时候,业务层每一个方法都需要做以下几件事

（1）打开数据库连接

（2）执行我们想要的操作

（3）关闭数据库连接

此时，我的核心业务是第（2）步，其余两步为辅助业务。当核心业务与辅助业务写在了一个方法中时。会出现以下问题：

 ① 代码业务冗余② 开关数据库连接大量的重复

3.通过代理模式,我们可以抽取出核心业务与辅助业务

2.2.2、静态代理与动态代理

对 JAVA 来说就是使用代理！java代理有两种方式

（1）静态代理

先定义一个公共接口，里面包括了可以通过RPC调用的方法列表。而且被代理对象以及对象本身都需要实现该接口
尽管字节码生成方式实现的代理更为强大和高效，但代码不易维护，大部分公司实现RPC框架时还是选择动态代理方式

（2）动态代理

先定义一个公共接口，里面包括了可以通过RPC调用的方法列表。被代理对象以及对象本身都不需要实现该接口。而是通过匿名内部类+反射的机制实现。hadoop就是使用这种方式。

1.实现InvocationHandle接口，该接口所在位置为:java.lang.reflect.InvocationHandler
2.该接口中有一个方法Object invoke(Object proxy, Method method, Object[] args)

（1）Ojbect proxy:表示需要代理的对象

（2）Method method:表示要操作的方法

（3）Object[] args:method方法所需要传入的参数(可能没有为,null.也可能有多个)
3.代理类 java.lang.reflect.Proxy（Proxy 提供用于创建动态代理类和实例的静态方法，它还是由这些方法创建的所有动态代理类的超类）
4.调用代理类中的方法


public static Object newProxyInstance(ClassLoader loader,Class<?>[] interfaces, InvocationHandler h) throws IllegalArgumentException参数：（1）loader - 定义代理类的类加载器（2）interfaces - 代理类要实现的接口列表（3）h - 指派方法调用的调用处理程序返回：一个带有代理类的指定调用处理程序的代理实例，它由指定的类加载器定义，并实现指定的接口

2.4、hadoop RPC框架的例子

Server：


/*
MyInterface.java
*/
package Server;import org.apache.hadoop.ipc.VersionedProtocol;public interface MyInterface extends VersionedProtocol {public static long versionID = 1001; //这个是标记RPC的client和server对应的标记public String helloWorld(String name);
}/*
MyImpl.java
*/
package Server;import org.apache.hadoop.ipc.ProtocolSignature;import java.io.IOException;public class MyImpl implements MyInterface{/*这是实际目标*///重写我们在上面接口自定义的方法@Overridepublic String helloWorld(String name) {return "hello," + name;}//返回版本号@Overridepublic long getProtocolVersion(String s, long l) throws IOException {return MyInterface.versionID;}//返回签名信息@Overridepublic ProtocolSignature getProtocolSignature(String s, long l, int i) throws IOException {return new ProtocolSignature(MyInterface.versionID, null);}
}/*
MyRpcServer.java
*/
package Server;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;public class MyRpcServer {public static void main(String[] args) {//建立rpc通道对象RPC.Builder builder = new RPC.Builder(new Configuration());//设置RPC server参数builder.setBindAddress("localhost");builder.setPort(7788);//部署程序，传入实现server业务代码的接口定义，这里面包括了该rpcserver 可以提供的方法,也就是给client调用的方法列表，通过反射的方式引入类对象builder.setProtocol(MyInterface.class);//部署接口的实现类对象builder.setInstance(new MyImpl());//开启servertry {RPC.Server server = builder.build();server.start();} catch (IOException e) {e.printStackTrace();}}
}

client：


/*
MyRpcClient.java
*/
package Client;import Server.MyInterface;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;
import java.net.InetSocketAddress;public class MyRpcClient {public static void main(String[] args) {try {//获取代理对象,设置接口类对象、RPC通信的versionID，rpcserver地址、configuration对象MyInterface proxy = RPC.getProxy(MyInterface.class,MyInterface.versionID,new InetSocketAddress("localhost", 7788),new Configuration());//获得代理对象之后，就可以通过proxy调用接口类中的方法，这里就调用上面定义的 helloWorld对象System.out.println(proxy.helloWorld("king"));} catch (IOException e) {e.printStackTrace();}}
}

下面启动server端和client端，执行结果为：

//server：可以看到显示监听端口 7788
[main] INFO org.apache.hadoop.ipc.CallQueueManager - Using callQueue: class java.util.concurrent.LinkedBlockingQueue queueCapacity: 100 scheduler: class org.apache.hadoop.ipc.DefaultRpcScheduler
[Socket Reader #1 for port 7788] INFO org.apache.hadoop.ipc.Server - Starting Socket Reader #1 for port 7788
[IPC Server Responder] INFO org.apache.hadoop.ipc.Server - IPC Server Responder: starting
[IPC Server listener on 7788] INFO org.apache.hadoop.ipc.Server - IPC Server listener on 7788: starting//client:  我们传入“King”作为参数，能够争取执行
hello,king