面试官：你给我手写个RPC框架看看

本文主要论述的是“RPC 实现原理”，那么首先明确一个问题什么是 RPC 呢？RPC 是 Remote Procedure Call 的缩写，即，远程过程调用。RPC 是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而开发人员无需额外地为这个交互编程。

值得注意是，两个或多个应用程序都分布在不同的服务器上，它们之间的调用都像是本地方法调用一样。接下来我们便来分析一下一次 RPC 调用发生了些什么？

— 1 —

RPC 调用的基本流程

现在业界内比较流行的一些 RPC 框架，例如 Dubbo 提供的是基于接口的远程方法调用，即客户端只需要知道接口的定义即可调用远程服务。在 Java 中接口并不能直接调用实例方法，必须通过其实现类对象来完成此操作，这意味着客户端必须为这些接口生成代理对象，对此 Java 提供了 Proxy、InvocationHandler 生成动态代理的支持；生成了代理对象，那么每个具体的发方法是怎么调用的呢？JDK 动态代理生成的代理对象调用指定方法时实际会执行 InvocationHandler 中定义的 #invoke 方法，在该方法中完成远程方法调用并获取结果。

抛开客户端，回过头来看 RPC 是两台计算机间的调用，实质上是两台主机间的网络通信，涉及到网络通信又必然会有序列化、反序列化，编解码等一些必须要考虑的问题；同时实际上现在大多系统都是集群部署的，多台主机/容器对外提供相同的服务，如果集群的节点数量很大的话，那么管理服务地址也将是一件十分繁琐的事情，常见的做法是各个服务节点将自己的地址和提供的服务列表注册到一个注册中心，由注册中心来统一管理服务列表；这样的做法解决了一些问题同时为客户端增加了一项新的工作——那就是服务发现，通俗来说就是从注册中心中找到远程方法对应的服务列表并通过某种策略从中选取一个服务地址来完成网络通信。

聊了客户端和注册中心，另外一个重要的角色自然是服务端，服务端最重要的任务便是提供服务接口的真正实现并在某个端口上监听网络请求，监听到请求后从网络请求中获取到对应的参数（比如服务接口、方法、请求参数等），再根据这些参数通过反射的方式调用接口的真正实现获取结果并将其写入对应的响应流中。

综上所述，一次基本的 RPC 调用流程大致如下：

— 2 —

基本实现

服务端（生产者）

服务接口：

在 RPC 中，生产者和消费者有一个共同的服务接口 API。如下，定义一个 HelloService 接口。

/*** @Descrption  服务接口***/
public interface HelloService {String sayHello(String somebody);
}

服务实现：

生产者要提供服务接口的实现，创建 HelloServiceImpl 实现类。

/*** @Descrption 服务实现***/
public class HelloServiceImpl implements HelloService {@Overridepublic String sayHello(String somebody) {return "hello " + somebody + "!";}
}

服务注册：

本例使用 Spring 来管理 bean，采用自定义 XML 和解析器的方式来将服务实现类载入容器（当然也可以采用自定义注解的方式，此处不过多论述）并将服务接口信息注册到注册中心。

首先自定义 XSD：

<xsd:element name="service"><xsd:complexType><xsd:complexContent><xsd:extension base="beans:identifiedType"><xsd:attribute name="interface" type="xsd:string" use="required"/><xsd:attribute name="timeout" type="xsd:int" use="required"/><xsd:attribute name="serverPort" type="xsd:int" use="required"/><xsd:attribute name="ref" type="xsd:string" use="required"/><xsd:attribute name="weight" type="xsd:int" use="optional"/><xsd:attribute name="workerThreads" type="xsd:int" use="optional"/><xsd:attribute name="appKey" type="xsd:string" use="required"/><xsd:attribute name="groupName" type="xsd:string" use="optional"/></xsd:extension></xsd:complexContent></xsd:complexType>
</xsd:element>

分别指定 Schema 和 XSD，Schema 和对应 Handler 的映射。

Schema：

http\://www.storm.com/schema/storm-service.xsd=META-INF/storm-service.xsd
http\://www.storm.com/schema/storm-reference.xsd=META-INF/storm-reference.xsd

Handler：

http\://www.storm.com/schema/storm-service=com.hsunfkqm.storm.framework.spring.StormServiceNamespaceHandler
http\://www.storm.com/schema/storm-reference=com.hsunfkqm.storm.framework.spring.StormRemoteReferenceNamespaceHandler

将编写好的文件放入 Classpath 下的 META-INF 目录下：

在 Spring 配置文件中配置服务类：

<!-- 发布远程服务 --><bean id="helloService" class="com.hsunfkqm.storm.framework.test.HelloServiceImpl"/><storm:service id="helloServiceRegister"interface="com.hsunfkqm.storm.framework.test.HelloService"ref="helloService"groupName="default"weight="2"appKey="ares"workerThreads="100"serverPort="8081"timeout="600"/>

编写对应的 Handler 和 Parser：

StormServiceNamespaceHandler：

import org.springframework.beans.factory.xml.NamespaceHandlerSupport;/*** @author 孙浩* @Descrption 服务发布自定义标签***/
public class StormServiceNamespaceHandler extends NamespaceHandlerSupport {@Overridepublic void init() {registerBeanDefinitionParser("service", new ProviderFactoryBeanDefinitionParser());}
}

ProviderFactoryBeanDefinitionParser：

protected Class getBeanClass(Element element) {return ProviderFactoryBean.class;}protected void doParse(Element element, BeanDefinitionBuilder bean) {try {String serviceItf = element.getAttribute("interface");String serverPort = element.getAttribute("serverPort");String ref = element.getAttribute("ref");// ....bean.addPropertyValue("serverPort", Integer.parseInt(serverPort));bean.addPropertyValue("serviceItf", Class.forName(serviceItf));bean.addPropertyReference("serviceObject", ref);//...if (NumberUtils.isNumber(weight)) {bean.addPropertyValue("weight", Integer.parseInt(weight));}//...} catch (Exception e) {// ...        }}

ProviderFactoryBean：

/*** @Descrption 服务发布***/
public class ProviderFactoryBean implements FactoryBean, InitializingBean {//服务接口private Class<?> serviceItf;//服务实现private Object serviceObject;//服务端口private String serverPort;//服务超时时间private long timeout;//服务代理对象，暂时没有用到private Object serviceProxyObject;//服务提供者唯一标识private String appKey;//服务分组组名private String groupName = "default";//服务提供者权重，默认为 1 , 范围为 [1-100]private int weight = 1;//服务端线程数，默认 10 个线程private int workerThreads = 10;@Overridepublic Object getObject() throws Exception {return serviceProxyObject;}@Overridepublic Class<?> getObjectType() {return serviceItf;}@Overridepublic void afterPropertiesSet() throws Exception {//启动 Netty 服务端NettyServer.singleton().start(Integer.parseInt(serverPort));//注册到 zk, 元数据注册中心List<ProviderService> providerServiceList = buildProviderServiceInfos();IRegisterCenter4Provider registerCenter4Provider = RegisterCenter.singleton();registerCenter4Provider.registerProvider(providerServiceList);}
}//================RegisterCenter#registerProvider======================
@Override
public void registerProvider(final List<ProviderService> serviceMetaData) {if (CollectionUtils.isEmpty(serviceMetaData)) {return;}//连接 zk, 注册服务synchronized (RegisterCenter.class) {for (ProviderService provider : serviceMetaData) {String serviceItfKey = provider.getServiceItf().getName();List<ProviderService> providers = providerServiceMap.get(serviceItfKey);if (providers == null) {providers = Lists.newArrayList();}providers.add(provider);providerServiceMap.put(serviceItfKey, providers);}if (zkClient == null) {zkClient = new ZkClient(ZK_SERVICE, ZK_SESSION_TIME_OUT, ZK_CONNECTION_TIME_OUT, new SerializableSerializer());}//创建 ZK 命名空间/当前部署应用 APP 命名空间/String APP_KEY = serviceMetaData.get(0).getAppKey();String ZK_PATH = ROOT_PATH + "/" + APP_KEY;boolean exist = zkClient.exists(ZK_PATH);if (!exist) {zkClient.createPersistent(ZK_PATH, true);}for (Map.Entry<String, List<ProviderService>> entry : providerServiceMap.entrySet()) {//服务分组String groupName = entry.getValue().get(0).getGroupName();//创建服务提供者String serviceNode = entry.getKey();String servicePath = ZK_PATH + "/" + groupName + "/" + serviceNode + "/" + PROVIDER_TYPE;exist = zkClient.exists(servicePath);if (!exist) {zkClient.createPersistent(servicePath, true);}//创建当前服务器节点int serverPort = entry.getValue().get(0).getServerPort();//服务端口int weight = entry.getValue().get(0).getWeight();//服务权重int workerThreads = entry.getValue().get(0).getWorkerThreads();//服务工作线程String localIp = IPHelper.localIp();String currentServiceIpNode = servicePath + "/" + localIp + "|" + serverPort + "|" + weight + "|" + workerThreads + "|" + groupName;exist = zkClient.exists(currentServiceIpNode);if (!exist) {//注意，这里创建的是临时节点zkClient.createEphemeral(currentServiceIpNode);}//监听注册服务的变化，同时更新数据到本地缓存zkClient.subscribeChildChanges(servicePath, new IZkChildListener() {@Overridepublic void handleChildChange(String parentPath, List<String> currentChilds) throws Exception {if (currentChilds == null) {currentChilds = Lists.newArrayList();}//存活的服务 IP 列表List<String> activityServiceIpList = Lists.newArrayList(Lists.transform(currentChilds, new Function<String, String>() {@Overridepublic String apply(String input) {return StringUtils.split(input, "|")[0];}}));refreshActivityService(activityServiceIpList);}});}}
}

至此服务实现类已被载入 Spring 容器中，且服务接口信息也注册到了注册中心。

网络通信：

作为生产者对外提供 RPC 服务，必须有一个网络程序来来监听请求和做出响应。在 Java 领域 Netty 是一款高性能的 NIO 通信框架，很多的框架的通信都是采用 Netty 来实现的，本例中也采用它当做通信服务器。

构建并启动 Netty 服务监听指定端口：

public void start(final int port) {synchronized (NettyServer.class) {if (bossGroup != null || workerGroup != null) {return;}bossGroup = new NioEventLoopGroup();workerGroup = new NioEventLoopGroup();ServerBootstrap serverBootstrap = new ServerBootstrap();serverBootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).option(ChannelOption.SO_BACKLOG, 1024).childOption(ChannelOption.SO_KEEPALIVE, true).childOption(ChannelOption.TCP_NODELAY, true).handler(new LoggingHandler(LogLevel.INFO)).childHandler(new ChannelInitializer<SocketChannel>() {@Overrideprotected void initChannel(SocketChannel ch) throws Exception {//注册解码器 NettyDecoderHandlerch.pipeline().addLast(new NettyDecoderHandler(StormRequest.class, serializeType));//注册编码器 NettyEncoderHandlerch.pipeline().addLast(new NettyEncoderHandler(serializeType));//注册服务端业务逻辑处理器 NettyServerInvokeHandlerch.pipeline().addLast(new NettyServerInvokeHandler());}});try {channel = serverBootstrap.bind(port).sync().channel();} catch (InterruptedException e) {throw new RuntimeException(e);}}}

上面的代码中向 Netty 服务的 Pipeline 中添加了编解码和业务处理器，当接收到请求时，经过编解码后，真正处理业务的是业务处理器，即 NettyServerInvokeHandler，该处理器继承自
SimpleChannelInboundHandler，当数据读取完成将触发一个事件，并调用 NettyServerInvokeHandler#channelRead0 方法来处理请求。

@Override
protected void channelRead0(ChannelHandlerContext ctx, StormRequest request) throws Exception {if (ctx.channel().isWritable()) {//从服务调用对象里获取服务提供者信息ProviderService metaDataModel = request.getProviderService();long consumeTimeOut = request.getInvokeTimeout();final String methodName = request.getInvokedMethodName();//根据方法名称定位到具体某一个服务提供者String serviceKey = metaDataModel.getServiceItf().getName();//获取限流工具类int workerThread = metaDataModel.getWorkerThreads();Semaphore semaphore = serviceKeySemaphoreMap.get(serviceKey);if (semaphore == null) {synchronized (serviceKeySemaphoreMap) {semaphore = serviceKeySemaphoreMap.get(serviceKey);if (semaphore == null) {semaphore = new Semaphore(workerThread);serviceKeySemaphoreMap.put(serviceKey, semaphore);}}}//获取注册中心服务IRegisterCenter4Provider registerCenter4Provider = RegisterCenter.singleton();List<ProviderService> localProviderCaches = registerCenter4Provider.getProviderServiceMap().get(serviceKey);Object result = null;boolean acquire = false;try {ProviderService localProviderCache = Collections2.filter(localProviderCaches, new Predicate<ProviderService>() {@Overridepublic boolean apply(ProviderService input) {return StringUtils.equals(input.getServiceMethod().getName(), methodName);}}).iterator().next();Object serviceObject = localProviderCache.getServiceObject();//利用反射发起服务调用Method method = localProviderCache.getServiceMethod();//利用 semaphore 实现限流acquire = semaphore.tryAcquire(consumeTimeOut, TimeUnit.MILLISECONDS);if (acquire) {result = method.invoke(serviceObject, request.getArgs());//System.out.println("---------------"+result);}} catch (Exception e) {System.out.println(JSON.toJSONString(localProviderCaches) + "  " + methodName+" "+e.getMessage());result = e;} finally {if (acquire) {semaphore.release();}}//根据服务调用结果组装调用返回对象StormResponse response = new StormResponse();response.setInvokeTimeout(consumeTimeOut);response.setUniqueKey(request.getUniqueKey());response.setResult(result);//将服务调用返回对象回写到消费端ctx.writeAndFlush(response);} else {logger.error("------------channel closed!---------------");}
}

此处还有部分细节如自定义的编解码器等，篇幅所限不在此详述，继承 MessageToByteEncoder 和 ByteToMessageDecoder 覆写对应的 encode 和 decode 方法即可自定义编解码器，使用到的序列化工具如 Hessian/Proto 等可参考对应的官方文档。

请求和响应包装：

为便于封装请求和响应，定义两个 bean 来表示请求和响应。

请求：

/*** @author 孙浩* @Descrption***/
public class StormRequest implements Serializable {private static final long serialVersionUID = -5196465012408804755L;//UUID，唯一标识一次返回值private String uniqueKey;//服务提供者信息private ProviderService providerService;//调用的方法名称private String invokedMethodName;//传递参数private Object[] args;//消费端应用名private String appName;//消费请求超时时长private long invokeTimeout;// getter/setter
}

响应：

/*** @Descrption***/
public class StormResponse implements Serializable {private static final long serialVersionUID = 5785265307118147202L;//UUID, 唯一标识一次返回值private String uniqueKey;//客户端指定的服务超时时间private long invokeTimeout;//接口调用返回的结果对象private Object result;//getter/setter
}

客户端（消费者）

客户端（消费者）在 RPC 调用中主要是生成服务接口的代理对象，并从注册中心获取对应的服务列表发起网络请求。

客户端和服务端一样采用 Spring 来管理 bean 解析 XML 配置等不再赘述，重点看下以下几点：

1、通过 JDK 动态代理来生成引入服务接口的代理对象

public Object getProxy() {return Proxy.newProxyInstance(Thread.currentThread().getContextClassLoader(), new Class<?>[]{targetInterface}, this);
}

2、从注册中心获取服务列表并依据某种策略选取其中一个服务节点

//服务接口名称
String serviceKey = targetInterface.getName();
//获取某个接口的服务提供者列表
IRegisterCenter4Invoker registerCenter4Consumer = RegisterCenter.singleton();
List<ProviderService> providerServices = registerCenter4Consumer.getServiceMetaDataMap4Consume().get(serviceKey);
//根据软负载策略，从服务提供者列表选取本次调用的服务提供者
ClusterStrategy clusterStrategyService = ClusterEngine.queryClusterStrategy(clusterStrategy);
ProviderService providerService = clusterStrategyService.select(providerServices);

3、通过 Netty 建立连接，发起网络请求

/*** @author 孙浩* @Descrption Netty 消费端 bean 代理工厂***/
public class RevokerProxyBeanFactory implements InvocationHandler {private ExecutorService fixedThreadPool = null;//服务接口private Class<?> targetInterface;//超时时间private int consumeTimeout;//调用者线程数private static int threadWorkerNumber = 10;//负载均衡策略private String clusterStrategy;@Overridepublic Object invoke(Object proxy, Method method, Object[] args) throws Throwable {...//复制一份服务提供者信息ProviderService newProvider = providerService.copy();//设置本次调用服务的方法以及接口newProvider.setServiceMethod(method);newProvider.setServiceItf(targetInterface);//声明调用 AresRequest 对象，AresRequest 表示发起一次调用所包含的信息final StormRequest request = new StormRequest();//设置本次调用的唯一标识request.setUniqueKey(UUID.randomUUID().toString() + "-" + Thread.currentThread().getId());//设置本次调用的服务提供者信息request.setProviderService(newProvider);//设置本次调用的方法名称request.setInvokedMethodName(method.getName());//设置本次调用的方法参数信息request.setArgs(args);try {//构建用来发起调用的线程池if (fixedThreadPool == null) {synchronized (RevokerProxyBeanFactory.class) {if (null == fixedThreadPool) {fixedThreadPool = Executors.newFixedThreadPool(threadWorkerNumber);}}}//根据服务提供者的 ip,port, 构建 InetSocketAddress 对象，标识服务提供者地址String serverIp = request.getProviderService().getServerIp();int serverPort = request.getProviderService().getServerPort();InetSocketAddress inetSocketAddress = new InetSocketAddress(serverIp, serverPort);//提交本次调用信息到线程池 fixedThreadPool, 发起调用Future<StormResponse> responseFuture = fixedThreadPool.submit(RevokerServiceCallable.of(inetSocketAddress, request));//获取调用的返回结果StormResponse response = responseFuture.get(request.getInvokeTimeout(), TimeUnit.MILLISECONDS);if (response != null) {return response.getResult();}} catch (Exception e) {throw new RuntimeException(e);}return null;}//  ...
}

Netty 的响应是异步的，为了在方法调用返回前获取到响应结果，需要将异步的结果同步化。

4、Netty 异步返回的结果存入阻塞队列

@Override
protected void channelRead0(ChannelHandlerContext channelHandlerContext, StormResponse response) throws Exception {//将 Netty 异步返回的结果存入阻塞队列，以便调用端同步获取RevokerResponseHolder.putResultValue(response);
}

5、请求发出后同步获取结果

//提交本次调用信息到线程池 fixedThreadPool, 发起调用
Future<StormResponse> responseFuture = fixedThreadPool.submit(RevokerServiceCallable.of(inetSocketAddress, request));
//获取调用的返回结果
StormResponse response = responseFuture.get(request.getInvokeTimeout(), TimeUnit.MILLISECONDS);
if (response != null) {return response.getResult();
}//===================================================
//从返回结果容器中获取返回结果，同时设置等待超时时间为 invokeTimeout
long invokeTimeout = request.getInvokeTimeout();
StormResponse response = RevokerResponseHolder.getValue(request.getUniqueKey(), invokeTimeout);

— 3 —

测试

Server：

/*** @Descrption***/
public class MainServer {public static void main(String[] args) throws Exception {//发布服务final ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("storm-server.xml");System.out.println(" 服务发布完成");}
}

Client：

public class Client {private static final Logger logger = LoggerFactory.getLogger(Client.class);public static void main(String[] args) throws Exception {final ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("storm-client.xml");final HelloService helloService = (HelloService) context.getBean("helloService");String result = helloService.sayHello("World");System.out.println(result);for (;;) {}}
}

结果

生产者：

消费者：

注册中心：

— 4 —

总结

本文简单介绍了 RPC 的整个流程，并实现了一个简单的 RPC 调用。希望阅读完本文之后，能加深你对 RPC 的一些认识。

生产者端流程：

加载服务接口，并缓存
服务注册，将服务接口以及服务主机信息写入注册中心（本例使用的是 ZooKeeper)
启动网络服务器并监听
反射，本地调用

消费者端流程：

代理服务接口生成代理对象
服务发现（连接 ZooKeeper，拿到服务地址列表，通过客户端负载策略获取合适的服务地址）
远程方法调用（本例通过 Netty，发送消息，并获取响应结果）

面试官：你给我手写个RPC框架看看相关推荐

【RPC框架、RPC框架必会的基本知识、手写一个RPC框架案例、优秀的RPC框架Dubbo、Dubbo和SpringCloud框架比较】
一.RPC框架必会的基本知识 1.1 什么是RPC? RPC(Remote Procedure Call --远程过程调用),它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络的技术. ...
面试官让我手写一个RPC框架
如今,分布式系统大行其道,RPC 有着举足轻重的地位.Dubbo.Thrift.gRpc 等框架各领风骚,学习RPC是新手也是老鸟的必修课.本文带你手撸一个rpc-spring-starter,深入学 ...
手写一个RPC框架，理解更透彻（附源码）
作者:烟味i www.cnblogs.com/2YSP/p/13545217.html 一.前言前段时间看到一篇不错的文章<看了这篇你就会手写RPC框架了>,于是便来了兴趣对着实现了一遍 ...
为带你搞懂RPC，手写了RPC框架
如今,分布式系统大行其道,RPC 有着举足轻重的地位.Dubbo.Thrift.gRpc 等框架各领风骚,学习RPC是新手也是老鸟的必修课.本文带你手撸一个rpc-spring-starter,深入学 ...
手写实现RPC框架基础功能
随着微服务.分布式的流行,基本复杂点的项目都会涉及到远程调用,最基础的可以使用http来实现调用,也可以通过一些RPC框架来实现,比如Ailiaba 的dubbo,Thrift等.那么作为一个rpc框 ...
【手写一个RPC框架】simpleRPC-04
目录前言实现项目创建配置依赖 common service server client 文件结构运行本项目所有代码可见:https://github.com/weiyu-zeng/Simp ...
【手写一个RPC框架】simpleRPC-05
目录前言实现项目创建依赖配置 common service codec client server 文件结构运行本项目所有代码可见:https://github.com/weiyu-zen ...
面试官让我现场手写内存溢出案例代码，我反手就是一个王炸！！
大家好,我是冰河~~ 作为程序员,多多少少都会遇到一些内存溢出的场景,如果你还没遇到,说明你工作的年限可能比较短,或者你根本就是个假程序员!哈哈,开个玩笑. 当初面试官让我现场手写内存溢出案例代码,我 ...
认识Vue源码（2）-- 手写类Vue框架：Zue
一.手写类Vue框架:zue class Zue{constructor(options){//构造函数:this永远指向实例} } 1.在zue实例下创建$el,并指向挂载点 this.$el = ...

面试官：你给我手写个RPC框架看看

面试官：你给我手写个RPC框架看看相关推荐

最新文章

热门文章