Thrift原理与使用实例
一 Thrift框架介绍
1 前言
Thrift是一个跨语言的服务部署框架,最初由Faceboo开发并进入Apache开源项目。
Thrift特征如下:
1)Thrift有自己的跨机器通信框架,并提供一套库
2)Thrift是一个代码生成器,按照它的规则,可以生成多种编程语言的通信过程代码
Thrift通过中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型,然后通过一个编译器生成不同语言的代码(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml),并由生成的代码负责RPC协议层和传输层的实现。
2 架构
1).thrift文件定义数据结构和服务接口
2)代码生成器生成若干符合约定通信格式的代码
3)thrift应用框架:包括thrift自身提供的库函数
4)第三方库:按照运行的模式,生成的代码中可能需要调用第三方库
Thrift实际上是实现了C/S模式,代码生成工具通过接口定义文件,生成服务器端和客户端代码(可以为不同语言),从而实现服务端和客户端跨语言的支持。
用户在Thirft描述文件中声明自己的服务,这些服务经过编译后会生成相应语言的代码文件,然后用户实现服务(客户端调用服务,服务器端提服务)便可以了。
protocol协议层:定义数据传输格式,可以为二进制或者XML等
transport传输层:定义数据传输方式,可以为TCP/IP传输,内存共享或者文件共享
3、 支持的数据传输格式、数据传输方式和服务模型
(1)支持的传输格式:是对传输协议的封装,传输采用二进制、XML或text来表示信息
TBinaryProtocol – 二进制格式.
TCompactProtocol – 压缩格式
TJSONProtocol – JSON格式
TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。
TDebugProtocol – 使用易懂的可读的文本格式,以便于debug
(2) 支持的数据传输方式:信息的传输渠道以及读写方式
TSocket -阻塞式socker
TFileTransport – 以文件形式进行传输。
TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。
TFramedTransport – 以frame为单位进行传输,非阻塞式服务中使用。
TBufferedTransport -
TZlibTransport – 使用zlib进行压缩, 与其他传输方式联合使用。当前无java实现。
(3)支持的服务模型
TSimpleServer – 简单的单线程服务模型,常用于测试
TThreadPoolServer – 多线程服务模型,使用标准的阻塞式IO。
TNonblockingServer – 多线程服务模型,使用非阻塞式IO(需使用TFramedTransport数据传输方式)
4 利用Thrift部署服务
主要流程:
(1)编写服务说明,保存到.thrift文件
主要包括变量声明、数据结构struct声明、服务service接口声明
一般将服务放到一个.thrift文件中,服务的编写语法与C语言语法基本一致
下面分析Thrift的tutorial中带的例子tutorial.thrift
包含头文件:
include “shared.thrift”
指定目标语言:
namespace cpp tutorial
定义变量:
const i32 INT32CONSTANT = 9853
定义结构体:
struct Work
{
1: i32 num1 = 0,
2: i32 num2,
3: Operation op,
4: optional string comment,
}
定义服务:
service Calculator extends shared.SharedService
{
void ping(),
i32 add(1:i32 num1, 2:i32 num2),
i32 calculate(1:i32 logid, 2:Work w) throws (1:InvalidOperation ouch),
oneway void zip()
}
(2)根据需要,编译.thrift文件,生成相应语言的源代码
生成C++代码:./thrift --gen cpp tutorial.thrift,结果代码存放在gen-cpp目录下
生成java代码:./thrift --gen java tutorial.thrift,结果代码存放在gen-java目录下
(3)根据实际需要,编写client端和server端代码
client端和sever端代码要调用编译.thrift生成的中间文件。
下面分析cpp文件下面的CppClient.cpp和CppServer.cpp代码
在client端,用户自定义CalculatorClient类型的对象(用户在.thrift文件中声明的服务名称是Calculator, 则生成的中间代码中的主类为CalculatorClient)
该对象中封装了各种服务,可以直接调用(如client.ping()), 然后thrift会通过封装的rpc调用server端同名的函数。
在server端,需要实现在.thrift文件中声明的服务中的所有功能,以便处理client发过来的请求。
二 Thrift使用指南
1 语法参考
1.1 types
Thrift类型系统包括预定义基本类型,用户自定义结构体,容器类型,异常和服务定义
1.2 注释
1.3 命名空间
1.4 文件包含
1.5 常量
1.6 定义服务:
Service支持继承,一个service可使用extends关键字继承另一个service
2 产生代码
Thrift的网络栈如下:
Transport:
TransPort层提供了简单的网络读写抽象层。
Transport接口提供的方法:open、close、read、write、flush
除了以上几个接口,Thrift使用ServerTransport接口接受或者创建原始transport对象
ServerTransport用在server端,为到来的连接创建Transport对象:open、listen、accept、close
Protocol
Protocol抽象层定义了一种将内存中数据结构映射成可传输格式的机制
Protocol的实现要给出编码机制并负责对数据进行序列化
Protocol提供的接口如下:
writeMessageBegin(name, type, seq)
writeMessageEnd()
writeStructBegin(name)
writeStructEnd()
writeFieldBegin(name, type, id)
writeFieldEnd()
writeFieldStop()
writeMapBegin(ktype, vtype, size)
writeMapEnd()
writeListBegin(etype, size)
writeListEnd()
writeSetBegin(etype, size)
writeSetEnd()
writeBool(
bool
)
writeByte(byte)
writeI16(i16)
writeI32(i32)
writeI64(i64)
writeDouble(
double
)
writeString(string)
name, type, seq = readMessageBegin()
readMessageEnd()
name = readStructBegin()
readStructEnd()
name, type, id = readFieldBegin()
readFieldEnd()
k, v, size = readMapBegin()
readMapEnd()
etype, size = readListBegin()
readListEnd()
etype, size = readSetBegin()
readSetEnd()
bool
= readBool()
byte = readByte()
i16 = readI16()
i32 = readI32()
i64 = readI64()
double
= readDouble()
string = readString()
Processor
Processor封装了从输入数据流中读数据和向数据数据流中写数据的操作。读写数据流用Protocol对象表示
Processor的结构体非常简单:
interface TProcessor
{
bool
process(TProtocol in, TProtocol out) throws TException
}
与服务相关的processor实现由编译器产生。
Processor主要工作流程如下:从连接中读取数据(使用输入protocol),将处理授权给handler(由用户实现),最后将结果写到连接上(使用输出protocol)。
Server
Server将以上所有特性集成在一起:
(1) 创建一个transport对象
(2) 为transport对象创建输入输出protocol
(3) 基于输入输出protocol创建processor
(4) 等待连接请求并将之交给processor处理
综合:
http://blog.csdn.net/guxch/article/details/12157151
http://blog.sina.com.cn/s/blog_72995dcc0101gn82.html
转载于:https://www.cnblogs.com/buptlyn/p/4459577.html
Thrift原理与使用实例相关推荐
- 强化学习(八) - 深度Q学习(Deep Q-learning, DQL,DQN)原理及相关实例
深度Q学习原理及相关实例 8. 深度Q学习 8.1 经验回放 8.2 目标网络 8.3 相关算法 8.4 训练算法 8.5 深度Q学习实例 8.5.1 主程序 程序注释 8.5.2 DQN模型构建程序 ...
- Pacbio HiFi技术原理与应用软件实例
Pacbio HiFi技术原理与应用软件实例 原创 生信技术 生信技术 2021-06-07 13:02 收录于话题 #基因组组装3个内容 #生物信息3个内容 #生信技术3个内容 点击上方蓝字关注我们 ...
- Adaboost算法原理分析和实例+代码(简明易懂)
Adaboost算法原理分析和实例+代码(简明易懂) [尊重原创,转载请注明出处] http://blog.csdn.net/guyuealian/article/details/70995333 ...
- Thrift入门及Java实例演示
来源:http://www.micmiu.com/soa/rpc/thrift-sample/ Thrift入门及Java实例演示 作者: Michael日期: 2012 年 6 月 14 日 发表评 ...
- python实现dos攻击_dos攻击原理及攻击实例
DoS是Denial of Service的简称,即拒绝服务,造成DoS的攻击行为被称为DoS攻击,其目的是使计算机或网络无法提供正常的服务.最常见的DoS攻击有计算机网络带宽攻击和连通性攻击. Do ...
- PHP中对数组进行分页处理的原理及分页实例
PHP中对数组进行分页处理的原理及分页实例 最近用到了用数组数据分页,所以就整理了一下,希望能对大家有用! <?php class PaginationArray{ public $pag ...
- 断点续传的原理剖析与实例讲解
断点续传的原理剖析与实例讲解 本文所要讲的是Android断点续传的内容,以实例的形式进行了详细介绍. 一.断点续传的原理 其实断点续传的原理很简单,就是在http的请求上和一般的下载有所不同而已. ...
- PHP的分页原理和简单实例
最新PHP的分页原理和简单实例 以下是三零网为大家整理的最新PHP的分页原理和简单实例的文章,希望大家能够喜欢! 1.前言 分页显示是一种非常常见的浏览和显示大量数据的方法,属于web编程中最常处理的 ...
- 【编程实践】Raft 算法的原理 go代码实例
文章目录 Raft 算法的原理 & go代码实例 Raft 算法的原理 使用 Go 语言实现的简单 Raft 算法示例 Raft 算法的原理 & go代码实例 Raft 算法的原理 R ...
最新文章
- 用了三年 ThreadLocal 今天才弄明白其中的道理
- qtdesigner 组件全吗_百度营销工具有哪些?带你了解百度全链路营销
- yolov4网络结构_重磅更新!YoLov4最新论文!解读YoLov4框架!
- ABAP OO小例子
- 急速收藏:4套iOS SDK的H5打通方案
- StoryBoard概览
- WWW 2021 | Radflow: 可进行数十万节点的多变量时序预测模型
- 24张IT工程师技能图谱,这些你都会吗?
- VTK:相互作用之EllipticalButton
- UVA208Firetruck 消防车(图的路径搜索)
- SVN使用和解决方案
- Java——异常(try...catch...finally)
- Symbol MC1000 扫描 冲突问题 把下面文件做成scanwedge.reg的注册表文件,放在Application重起
- 导致定时器失效_C# 因IIS回收导致定时器失效的解决方案
- 【干货】趣头条基于 Flink+ClickHouse 构建实时数据分析平台
- Linux IO模型
- angular.forEach()
- Mozilla 将推出全新的安卓移动浏览器 Fenix
- 扩展中断控制器8259实验_PCIe的中断机制
- c++ string 删除第一个字符_字符串操作的全面总结