什么是RPC:

RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。

简言之,RPC使得程序能够像访问本地系统资源一样,去访问远端系统资源。

比较关键的一些方面包括,通讯协议,序列化,资源(接口)描述,服务框架,性能,语言支持等。

典型RPC调用框架:

RPC的实现和调用框架,五花八门,简单介绍其中几种比较典型的。

RMI实现,利用java.rmi包实现,基于Java远程方法协议(Java Remote Method Protocol)

和java的原生序列化。

Hessian,是一个轻量级的remoting onhttp工具,使用简单的方法提供了RMI的功能。 基于HTTP协议,采用二进制编解码。

protobuf-rpc-pro是一个Java类库,提供了基于 Google 的 Protocol Buffers 协议的远程方法调用的框架。基于 Netty 底层的 NIO 技术。支持 TCP 重用/ keep-alive、SSL加密、RPC 调用取消操作、嵌入式日志等功能。

THRIFT是一种可伸缩的跨语言服务的软件框架。它拥有功能强大的代码生成引擎,无缝地支持C + +,C#,Java,Python和PHP和Ruby。thrift允许你定义一个描述文件,描述数据类型和服务接口。依据该文件,编译器方便地生成RPC客户端和服务器通信代码。

>>>最初由facebook开发用做系统内个语言之间的RPC通信 。

>>>2007年由facebook贡献到apache基金 ,现在是apache下的opensource之一 。

>>>支持多种语言之间的RPC方式的通信:php语言client可以构造一个对象,调用相应的服务方法来调用java语言的服务 ,跨越语言的C/S RPC调用 。

>>>底层通讯基于SOCKET。

AVRO,Avro出自Hadoop之父Doug Cutting, 在Thrift已经相当流行的情况下Avro的推出,其目标不仅是提供一套类似Thrift的通讯中间件更是要建立一个新的,标准性的云计算的数据交换和 存储的Protocol。支持HTTP,TCP两种协议。

RPC调用框架的过程原理基本类似,以Thrift为例

Thrift 协议栈 以及各层的使用(java 为例)

1、model   interface

服务的调用接口以及接口参数model、返回值model

2、Tprotocol    协议层

将数据(model)编码 、解码 。

3、Ttramsport 传输层

编码后的数据传输(简单socket、http)

5、Tserver

服务的Tserver类型,实现了几种rpc调用(多线程、单线程非阻塞IO、多线程非阻塞IO)

RPC调用框架比较:

Thrift与protobuf-rpc-pro比较

1、Another important difference are the languages supported by default.

protobuf: Java, C++, Python

Thrift: Java, C++, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, Ocaml

支持语言不同,thrift支持着更多的语言

2、Thrift supports ‘exceptions 。

thrift支持服务的异常 。

3、Protocol Buffers much easier to read 。Protobuf API looks cleaner, though the generated classes are all packed as an inner classes which is not so nice.

Protocol Buffers 在文档方面比thrift丰富,而且比thrift简单 。

4、Protobuf serialized objects are about 30% smaller then Thrift.

Protocol Buffers在序列化/反序列化、传输上性能更优 。

5、RPC is another key difference. Thrift generates code to implement RPC clients and servers wheres Protocol Buffers seems mostly designed as a data-interchange format alone.

thrift提供了一套完整的rpc服务实现(多线程socket、单线程非阻塞的socket、多线程非阻塞socket)

6、And according to the wiki the Thrift runtime doesn't run on Windows.

thrift 对有些语言在windows上不支持:C++

摘选自: http://gemantic.iteye.com/blog/1199214 thrift的使用介绍

Apache Avro 与 Thrift 比较

转自网络,http://www.360doc.com/content/12/0515/08/2716732_211104190.shtml

文章有比较详细的对比,值得仔细研读。摘部分内容,如下。

Avro和Thrift都是跨语言,基于二进制的高性能的通讯中间件. 它们都提供了数据序列化的功能和RPC服务. 总体功能上类似,但是哲学不一样. Thrift出自Facebook用于后台各个服务间的通讯,Thrift的设计强调统一的编程接口的多语言通讯框架. Avro出自Hadoop之父Doug Cutting, 在Thrift已经相当流行的情况下Avro的推出,其目标不仅是提供一套类似Thrift的通讯中间件更是要建立一个新的,标准性的云计算的数据交换和 存储的Protocol。 这个和Thrift的理念不同,Thrift认为没有一个完美的方案可以解决所有问题,因此尽量保持一个Neutral框架,插入不同的实现并互相交互。 而Avro偏向实用,排斥多种方案带来的 可能的混乱,主张建立一个统一的标准,并不介意采用特定的优化。Avro的创新之处在于融合了显式,declarative的Schema和高效二进制的 数据表达,强调数据的自我描述,克服了以往单纯XML或二进制系统的缺陷。Avro对Schema动态加载功能,是Thrift编程接口所不具备的,符合 了Hadoop上的Hive/Pig及NOSQL 等既属于ad hoc,又追求性能的应用需求。

目前阶段Thrift比Avro支持的语言更丰富.

Thrift: C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, PHP, Python, Ruby, Smalltalk.

Avro: C, C++, Java, Python, Ruby, PHP.

Avro和Thrift处理Schema方法截然不同。

Thrift是一个面向编程的系统, 完全依赖于IDL->Binding Language的代码生成。

Avro支持2种方式。Avro-specific方式和Thrift的方式相似,依赖代码生成产生特定的类,并内嵌JSON Schema. Avro-generic方式支持Schema的动态加载,用通用的结构(map)代表数据对象,不需要编译加载直接就可以处理新的数据源。

Avro的Schema文件有三种格式,依次是avdl,avpr,avsc,后两种是json格式,avdl可以转成avpr。

java -jar avroj-tools.jar idl src/test/idl/input/namespaces.avdl /tmp/namespaces.avpr

关于序列化,avro的机制,有更好的数据的透明度和可操作性,更高的存储效率。

Thrift提供了多种序列化的实现:

TCompactProtocol: 最高效的二进制序列化协议,但并不是所有的绑定语言都支持。

TBinaryProtocol: 缺省简单二进制序列化协议.

RPC服务

Avro提供了

HttpServer : 缺省,基于Jetty内核的服务.

NettyServer: 新的基于Netty的服务.

Thrift提供了:

TThreadPolServer: 多线程服务

TNonBlockingServer: 单线程 non blocking的服务

THsHaServer: 多线程 non blocking的服务

性能测试Benchmarking,两者差相仿佛。

Conclusion

Thrift适用于程序对程序静态的数据交换,要求schema预知并相对固定。

Avro在Thrift基础上增加了对schema动态的支持且性能上不输于Thrift。

Avro显式schema设计使它更适用于搭建数据交换及存储的通用工具和平台,特别是在后台。

目前Thrift的优势在于更多的语言支持和相对成熟

比较分析结论:

基于以上三种框架比较分析,个人决定采用AVRO框架。

相关资源

protobuf-rpc-pro-demo-1.1.0及源码 包含在附件中,该文件包中,包含一个1.1.0版本的运行环境(bin,lib中)以及最新3.3版本的demo源码和protobuf-rpc-pro源码。相关代码在官网都可以下载到, http://code.google.com/p/protobuf-rpc-pro/

protobuf-rpc-readme,个人的一点总结

thrifttest源码,包含在附件中,该项目包含一个rmi的实现,以及thrift的实现。

Avrotest源码,包含在附件中,该项目包含官网提供的一个数据序列化反序列化的两种实现,SpecificMain,GenericMain;Specific方式的接口调用MailMain*;Generic方式的多接口调用,包含http方式和netty方式,http/,netty/;项目涵盖了三种不同的Schema格式。

  • 本文附件下载:
  • tech_blog.zip (4.5 MB)

RPC调用框架比较分析相关推荐

  1. RPC调用框架比较分析--转载

    原文地址:http://itindex.net/detail/52530-rpc-%E6%A1%86%E6%9E%B6-%E5%88%86%E6%9E%90 什么是RPC:  RPC(Remote P ...

  2. Sofa-jraft的Rpc调用服务端分析

    在sofa-jraft中,关于RPC的服务端是RpcServer 在RpcServer中的init方法中: 初始化了连接事件监听器,这个里面就是一个map,然后可以添加事件监听的处理器,初始化user ...

  3. (一) Nepxion-Thunder分布式RPC集成框架 - 介绍

    Nepxion-Thunder(QQ 群 471164539)发布在https://github.com/Nepxion/ 1. 概要 1.1 Thunder是基于Netty + Hessian + ...

  4. 框架分析--proxy组件、remote组件与rpc调用原理

    在这部分,我们将讨论关于rpc调用相关的问题.在pomelo中rpc的调用主要是通过proxy组件和remote组件实现,其中proxy组件主要负责创建rpc客户端代理,让开发者在pomelo中更方便 ...

  5. Rpc远程调用框架的设计与实现(1)

    Rpc远程调用框架的设计与实现 1   Rpc远程调用框架设计概述 1.1  研究背景 1.1.1传统的Web开发方式 在传统的Web应用程序中,一般都是采取请求→刷新→显示的模式.即每当用户通过单击 ...

  6. zookeeper 密码_「附源码」Dubbo+Zookeeper 的 RPC 远程调用框架

    技术博文,及时送达 作者 | 码农云帆哥 链接 | blog.csdn.net/sinat_27933301 上一篇:从零搭建创业公司后台技术栈 这是一个基于Dubbo+Zookeeper 的 RPC ...

  7. RPC框架Dubbo分析

    1,背景 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进 单一应用架构 当网站流量很小时,只需一 ...

  8. 怎么看调用的接口_Hadoop RPC调用实例分析

    以ClientProtocol接口中的rename RPC调用进行一次实例分析. rename方法在ClientProtocol接口中定义,它的两个参数是String类型的,不能直接通过网络传输. 我 ...

  9. Rpc远程调用框架的设计与实现(2)

    接上: 3   基于Json的前后端数据交互 3.1   轻量级的数据交换形式 3.1.1    什么是Json Json(JavaScript Object Notation) 是一种轻量级的数据交 ...

最新文章

  1. 想学Python?快看看这个教程!收藏!
  2. Python类与对象
  3. python怎么画条形图-Python 画 直方图/条形图/柱状图
  4. office插入常见数学公式
  5. 章磊回答: 姚期智提出的百万富翁难题被破解? 多方安全计算MPC到底是个什么鬼?
  6. Java高版本编译低版本运行_Java高版本编译低版本运行错误(ConcurrentHashMap.keySet)...
  7. Kettle使用_20 笛卡尔积与前一行后一行Lead Lag
  8. 基础研究到底要基础到什么程度?
  9. 认识 java JVM虚拟机选项 Xms Xmx PermSize MaxPermSize 区别
  10. 连接linux工具有哪些_推荐 10 个不错的网络监视工具,值得收藏
  11. linux下浏览器如何登录微信,js判断手机浏览器操作系统和微信浏览器的方法
  12. 异常:java.lang.NoSuchMethodError: org.apache.poi.ss.usermodel.Workbook.getCellStyleAt
  13. React + leaflet 地图瓦片 加载错乱 不能正常显示
  14. 【带钢厚度预测】基于matlab GUI SVM带钢厚度预测【含Matlab源码 173期】
  15. python文件传输模块_Python socket模块ftp传输文件过程解析
  16. 利用百度地图获取行政区边界的经纬度信息
  17. PMP之四个敏捷会议
  18. Python控制仪器【2 ,控制矢量网络分析仪】
  19. 十分钟理解线性代数的本质_十分钟理解线性代数的本质
  20. 二、JavaWeb动态网页基础

热门文章

  1. ASP.NET MVC学习之(5):Html.ActionLink
  2. Jenkins的Pipeline脚本在美团餐饮SaaS中的实践
  3. 微信小程序之 SideBar(侧栏分类)
  4. goaccess_nginx日志分析工具
  5. 【转】CSS样式覆盖规则
  6. C# 使用XML序列化对象(一)
  7. 【推荐】BREW中 - 显示和图像
  8. 回文算法java实现_java算法题:最长回文串
  9. MySQL保留2位小数
  10. 第三课 Makefile文件的制作(上)