C++微服务RPC框架,一文带你彻底搞懂 RPC
RPC(Remote Procedure Call),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议。我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪些?
文章相关视频讲解:
RPC和微服务Thrift的架构原理
C++架构师学习地址:C/C++Linux服务器开发高级架构师/Linux后台架构师
1. RPC是什么
RPC可以分为两部分:用户调用接口 + 具体网络协议。前者为开发者需要关心的,后者由框架来实现。
举个例子,我们定义一个函数,我们希望函数如果输入为“Hello World”的话,输出给一个“OK”,那么这个函数是个本地调用。如果一个远程服务收到“Hello World”可以给我们返回一个“OK”,那么这是一个远程调用。我们会和服务约定好远程调用的函数名。因此,我们的用户接口就是:输入、输出、远程函数名,比如用 SRPC 开发的话,client端的代码会长这样:
int main()
{Example::SRPCClient client(IP, PORT);EchoRequest req; // 用户自定义的请求结构EchoResponse resp; // 用户自定义的回复结构req.set_message("Hello World");client.Echo(&req, &resp, NULL); // 调用远程函数名为Echoreturn 0;
}
具体网络协议,是框架来实现的,把开发者要发出和接收的内容以某种应用层协议打包进行网络收发。这里可以和HTTP进行一个明显的对比:
- HTTP也是一种网络协议,但包的内容是固定的,必须是:请求行 + 请求头 + 请求体;
- RPC是一种自定义网络协议,由具体框架来定,比如SRPC里支持的RPC协议有:SRPC/thrift/BRPC/tRPC
这些RPC协议都和HTTP平行,是应用层协议。我们再进一步思考,HTTP只包含具体网络协议,也可以返回比如我们常见的HTTP/1.1 200 OK,但仿佛没有用户调用接口,这是为什么呢?
这里需要搞清楚,用户接口的功能是什么?最重要的功能有两个:
- 定位要调用的服务;
- 让我们的消息向前/向后兼容;
我们用一个表格来看一下HTTP和RPC分别是怎么解决的:
定位要调用的服务 |
消息前后兼容 |
|
HTTP |
URL |
开发者自行在消息体里解决 |
RPC |
指定Service和Method名 |
交给具体IDL |
因此,HTTP的调用减少了用户调用接口的函数,但是牺牲了一部分消息向前/向后兼容的自由度。但是,开发者可以根据自己的习惯进行技术选型,因为RPC和HTTP之间大部分都是协议互通的!是不是很神奇?接下来我们看一下RPC的层次架构,就可以明白为什么不同RPC框架之间、以及RPC和HTTP协议是如何做到互通的。
2. RPC有什么
我们可以从SRPC的架构层次上来看,RPC框架有哪些层,以及SRPC目前所横向支持的功能是什么:
- 用户代码(client的发送函数/server的函数实现)
- IDL序列化(protobuf/thrift serialization)
- 数据组织 (protobuf/thrift/json)
- 压缩(none/gzip/zlib/snappy/lz4)
- 协议 (Sogou-std/Baidu-std/Thrift-framed/TRPC)
- 通信 (TCP/HTTP)
我们先关注以下三个层级:
如图从左到右,是用户接触得最多到最少的层次。IDL层会根据开发者定义的请求/回复结构进行代码生成,目前小伙伴们用得比较多的是protobuf和thrift,而刚才说到的用户接口和前后兼容问题,都是IDL层来解决的。SRPC对于这两个IDL的用户接口实现方式是:
- thrift:IDL纯手工解析,用户使用srpc是不需要链thrift的库的 !!!
- protobuf:service的定义部分纯手工解析
中间那列是具体的网络协议,而各RPC能互通,就是因为大家实现了对方的“语言”,因此可以协议互通。
而RPC作为和HTTP并列的层次,第二列和第三列理论上是可以两两结合的,只需要第二列的具体RPC协议在发送时,把HTTP相关的内容进行特化,不要按照自己的协议去发,而按照HTTP需要的形式去发,就可以实现RPC与HTTP互通。
C/C++Linux后台服务器开发高级架构师学习视频 点击 linux服务器学习资料 获取,内容知识点包括Linux,Nginx,ZeroMQ,MySQL,Redis,线程池,MongoDB,ZK,Linux内核,CDN,P2P,epoll,Docker,TCP/IP,协程,DPDK等等。免费学习地址:C/C++Linux服务器开发高级架构师/Linux后台架构师
3. RPC的生命周期
到此我们可以通过SRPC看一下,把request通过method发送出去并处理response再回来的整件事情是怎么做的:
根据上图,可以更清楚地看到刚才提及的各个层级,其中压缩层、序列化层、协议层其实是互相解耦打通的,在SRPC代码上实现得非常统一,横向增加任何一种压缩算法或IDL或协议都不需要也不应该改动现有的代码,才是一个精美的架构~
我们一直在说生成代码,到底有什么用呢?图中可以得知,生成代码是衔接用户调用接口和框架代码的桥梁,这里以一个最简单的protobuf自定义协议为例:example.proto
syntax = "proto3";message EchoRequest
{string message = 1;
};message EchoResponse
{string message = 1;
};service Example
{rpc Echo(EchoRequest) returns (EchoResponse);
};
我们定义好了请求、回复、远程服务的函数名,通过以下命令就可以生成出接口代码example.srpc.h:
protoc example.proto --cpp_out=./ --proto_path=./
srpc_generator protobuf ./example.proto ./
我们一窥究竟,看看生成代码到底可以实现什么功能:
// SERVER代码
class Service : public srpc::RPCService
{
public:// 用户需要自行派生实现这个函数,与刚才pb生成的是对应的virtual void Echo(EchoRequest *request, EchoResponse *response,srpc::RPCContext *ctx) = 0;
};// CLIENT代码
using EchoDone = std::function<void (echoresponse *, srpc::rpccontext *)>;class SRPCClient : public srpc::SRPCClient
{
public:// 异步接口void Echo(const EchoRequest *req, EchoDone done);// 同步接口void Echo(const EchoRequest *req, EchoResponse *resp, srpc::RPCSyncContext *sync_ctx);// 半同步接口WFFuture<std::pair<echoresponse, srpc::rpcsynccontext>> async_Echo(const EchoRequest *req);
};
作为一个高性能RPC框架,SRPC生成的client代码中包括了:同步、半同步、异步接口,文章开头展示的是一个同步接口的做法。
而server的接口就更简单了,作为一个服务端,我们要做的就是收到请求->处理逻辑->返回回复,而这个时候,框架已经把刚才提到的网络收发、解压缩、反序列化等都给做好了,然后通过生成代码调用到用户实现的派生service类的函数逻辑中。
由于一种协议定义了一种client/server,因此其实我们同样可以得到的server类型有第二部分提到过的若干种:
- SRPCServer
- SRPCHttpServer
- BRPCServer
- TRPCServer
- ThriftServer
- ...
4. 一个完整的server例子
最后我们用一个完整的 server 例子,来看一下用户调用接口的使用方式,以及如何跨协议使用HTTP作为client进行调用。刚才提到,srpc_generator 在生成接口的同时,也会自动生成空的用户代码,我们这里打开 server.pb_skeleton.cc 直接改两行,即可 run 起来:
#include "example.srpc.h"
#include "workflow/WFFacilities.h"using namespace srpc;
static WFFacilities::WaitGroup wait_group(1);void sig_handler(int signo)
{wait_group.done();
}class ExampleServiceImpl : public Example::Service
{
public:void Echo(EchoRequest *request, EchoResponse *response, srpc::RPCContext *ctx) override{response->set_message("OK"); // 具体逻辑在这里添加,我们简单地回复一个OK}
};int main()
{unsigned short port = 80; // 因为要启动Http服务SRPCHttpServer server; // 我们需要构造一个SRPCHttpServerExampleServiceImpl example_impl;server.add_service(&example_impl);server.start(port);wait_group.wait();server.stop();return 0;
}
只要安装了srpc,linux下即可通过以下命令编译出可执行文件:
g++ -o server server.pb_skeleton.cc example.pb.cc -std=c++11 -lsrpc
接下来是激动人心的时刻了,我们用人手一个的curl来发起一个HTTP请求:
$ curl -i 127.0.0.1:80/Example/Echo -H 'Content-Type: application/json' -d '{message:"Hello World"}'
HTTP/1.1 200 OK
SRPC-Status: 1
SRPC-Error: 0
Content-Type: application/json
Content-Encoding: identity
Content-Length: 16
Connection: Keep-Alive{"message":"OK"}
5. 总结
今天我们基于 C++ 实现的开源项目 SRPC 深入分析了 RPC 的基本原理。SRPC 整体代码风格简洁、架构层次精巧,整体约1万行代码,如果你使用 C++,那可能非常适合你用来学习 RPC 架构。
现在C++程序员面临的竞争压力越来越大。那么,作为一名C++程序员,怎样努力才能快速成长为一名高级的程序员或者架构师,或者说一名优秀的高级工程师或架构师应该有怎样的技术知识体系,这不仅是一个刚刚踏入职场的初级程序员,也是工作三五年之后开始迷茫的老程序员,都必须要面对和想明白的问题。为了帮助大家少走弯路,技术要做到知其然还要知其所以然。
如果想学习C++工程化、高性能及分布式、深入浅出。性能调优、TCP,协程,Nginx源码分析Nginx,ZeroMQ,MySQL,Redis,MongoDB,ZK,Linux内核,P2P,K8S,Docker,TCP/IP,协程,DPDK的朋友可以看一下这个:C/C++Linux服务器开发高级架构师/Linux后台架构师
看了觉得不错的朋友,可以免费给一个订阅。点击 架构师学习资料 分享更多干货技术视频
感谢~
C++微服务RPC框架,一文带你彻底搞懂 RPC相关推荐
- 一文带你彻底搞懂i++和++i的区别,谁的效率更高?
作者简介:Codebowl靓仔,学妹的工具人,C++开发误入数据开发,梦想30岁退休的靓仔就是我啦. i++和++i对于初学者来说,一直是一个特别容易搞混的内容,相信很多人现在也没有完全搞清(作者初学 ...
- lambda表达式java项目常用_一文带你彻底搞懂Lambda表达式
1. 为什么使用Lambda表达式 Lambda是一个匿名函数,我们可以把Lambda表达式理解为是一段可以传递的代码(将代码像数据一样进行传递).可以写出更简洁.更灵活的代码.作为一种更紧凑的代码风 ...
- 面试都在问的微服务,一文带你彻底搞懂!
来自:后端技术学堂 单体式应用程序 与微服务相对的另一个概念是传统的「单体式应用程序」( Monolithic application ),单体式应用内部包含了所有需要的服务.而且各个服务功能模块有很 ...
- 推荐一篇微服务硬核文章 6 张图带你搞懂微服务
我是非典型理科男号主.点击上方蓝字关注. 关注后你可以收获最硬核的知识分享, 最有趣的互联网故事 推荐老王的一篇关于微服务的文章. 通过文章你可以了解到 单体架构到微服务架构的变化,ServiceMe ...
- 一文带你轻松搞懂事务隔离级别(图文详解)
本文由 SnailClimb 和读者 BugSpeak 共同完成. 事务隔离级别(图文详解) 什么是事务? 事务是逻辑上的一组操作,要么都执行,要么都不执行. 事务最经典也经常被拿出来说例子就是转账了 ...
- 什么是智能仓储?一文带你彻底搞懂!
来源:机器人网 什么是智能仓储? 智能仓储是仓库自动化的产物. 与智能家居类似,智能仓储可通过多种自动化和互联技术实现.这些技术协同工作以提高仓库的生产率和效率,最大限度地减少人工数量,同时减少错误 ...
- 一文带你彻底搞懂Docker中的cgroup
前言 进程在系统中使用CPU.内存.磁盘等计算资源或者存储资源还是比较随心所欲的,我们希望对进程资源利用进行限制,对进程资源的使用进行追踪.这就让cgroup的出现成为了可能,它用来统一将进程进行分组 ...
- 一文带你你搞懂索引如何优化!!!
前言 索引的相信大家都听说过,但是真正会用的又有几人?平时工作中写SQL真的会考虑到这条SQL如何能够用上索引,如何能够提升执行效率? 此篇文章详细的讲述了索引优化的几个原则,只要在工作中能够随时应用 ...
- 一文带你彻底搞懂C++中一些常见指针(形如*p)的用法
提高指针效率以及程序可读性 为什么要后置运算符? 有C语言编程经验的人可能会感到疑问,为什么在C++里面我们推荐优先使用运算符的前置版本,就是把运算符号放在变量的前面,前置版本的递增避免了不必要的工作 ...
最新文章
- SpringBoot面试题及答案 110道(持续更新)
- 青龙羊毛——内容改版
- 辞旧迎新,总结2010,展望2011
- java中rpn_java – RPNCalculator代码混淆
- Java中导入错误的jar所引发的问题
- python自带编译器如何生成exe_别再问我怎么Python打包成exe了!
- 前端project师养成记:开发环境搭建(Sublime Text必备插件推荐)
- python3中map的用法_python3中map()函数用法
- 工商银行黄金开户问答题答案
- Android音乐播放器高级开发
- 7004.vue脚手架快速生成项目
- 在windows系统上安装pip的注意事项
- windows与虚拟机中的Ubuntu共享文件夹
- 在WPF中自定义你的绘制(二)
- 新概念_please send me a card.
- Word转PDF(SaveAsPDFandXPS + jacob)
- 计算机设计大赛作品——冬奥可视化
- linux授读写权限,Linux系统中,设定资料读写权限
- Skeleton骨架总结
- conda命令:管理包、管理环境