前段时间公司项目需要用到protocol buffer数据传输协议,这是什么东西,根本没接触过,好好的json干嘛不用?怀着好奇心去了解学习,最后顺利运用。下面是一些是经验,希望能帮到一些人。
首先我们要知道什么是protocol buffer

protocolbuffer(以下简称PB)是google 的一种数据交换的格式,它独立于语言,独立于平台。类似于XML,JSON这样的数据表示语言,ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法,格式有点类似XML,可以自己定义数据格式,它是一种二进制格式允许你使用规范的语言定义一个模式。

基本语法
普通消息
message SearchRequest {
required string query = 1;
optional int32 page_number = 2;
optional int32 result_per_page = 3;
}
指定字段规则
所指定的消息字段修饰符必须是如下之一:
² required:一个格式良好的消息一定要含有1个这种字段。表示该值是必须要设置的;
² optional:消息格式中该字段可以有0个或1个值(不超过1个)。
² repeated:在一个格式良好的消息中,这种字段可以重复任意多次(包括0次)。重复的值的顺序会被保留。表示该值可以重复,相当于java中的List。
l 标量数值类型
一个标量消息字段可以含有一个如下的类型——该表格展示了定义于.proto文件中的类型,以及与之对应的、在自动生成的访问类中定义的类型:
.proto类型 Java 类型 C++类型 备注
double double double  
float float float  
int32 int int32 使用可变长编码方式。编码负数时不够高效——如果你的字段可能含有负数,那么请使用sint32。
int64 long int64 使用可变长编码方式。编码负数时不够高效——如果你的字段可能含有负数,那么请使用sint64。
uint32 int[1] uint32 Uses variable-length encoding.
uint64 long[1] uint64 Uses variable-length encoding.
sint32 int int32 使用可变长编码方式。有符号的整型值。编码时比通常的int32高效。
sint64 long int64 使用可变长编码方式。有符号的整型值。编码时比通常的int64高效。
fixed32 int[1] uint32 总是4个字节。如果数值总是比总是比228大的话,这个类型会比uint32高效。
fixed64 long[1] uint64 总是8个字节。如果数值总是比总是比256大的话,这个类型会比uint64高效。
sfixed32 int int32 总是4个字节。
sfixed64 long int64 总是8个字节。
bool boolean bool  
string String string 一个字符串必须是UTF-8编码或者7-bit ASCII编码的文本。
bytes ByteString string 可能包含任意顺序的字节数据。
Optional的字段和默认值
optional int32 result_per_page = 3 [default = 10];
导入定义
import "myproject/other_protos.proto";

详情连接:http://www.cnblogs.com/dkblog/archive/2012/03/27/2419010.html

优势
支持向后兼容和向前兼容
消息字段修饰符required,optional,repeated
 
性能好,效率高
protobuf在序列化化后数据大小上,同一条消息protobuf序列化后的大小是json的10分之一,xml格式的20分之一,是二进制序列化的10分之一,同样的带宽,protobuf的效率明显不是其他格式能比拟的。
下面是thrift和protobuf性能对比
由于thrift功能较protobuf丰富,因此单从序列化机制上进行性能比较,按照序列化后字节数、序列化时间、反序列化时间三个指标进行,对thrift的二进制、压缩、protobuf三种格式进行对比。
测试方法:取了15000+条样本数据,分别写了三个指标的测试程序,在我自己的电脑上执行,其中时间测试循环1000次,总的序列化/反序列化次数1500W+。
平均字节数:
thrift二进制 535
thrift压缩 473
protobuf 477
序列化(1500W次)时间(ms):
thrift二进制 306034
thrift压缩 304256
protobuf 177652
反序列化(1500W次)时间(ms):
thrift二进制 287972
thrift压缩 315991
protobuf 157192
thrift的时间测试可能不是很准,由于thrift产生代码的复杂性,编写的测试代码为了适应其接口,在调用堆栈上可能有一些额外开销。

js应用
首先我们需要下载对应的三方库,去github上下载https://github.com/dcodeIO/protobuf.js或者npm install protobufjs安装
主要用到的js有3个,引入到项目中即可
<script src="js/proto/Long.min.js"></script>
<script src="js/proto/bytebuffer.js"></script>
<script src="js/proto/protobuf.js"></script> 

协议用的是websocket 需要设置

wWebsocket.binaryType = "arraybuffer" ;
ajax的话设置
这里以一个简单的秘钥交换exchange_key.proto举例
//package protocol;
option java_package = "com.xingdian.seeyou.net.protocol";
enum ENCRYPT_TYPE {RC4 = 1;
};message ExchangeKeyReq {required bytes N = 1;required int32 E = 2;
}message ExchangeKeyRes {required bytes key = 1;required ENCRYPT_TYPE type = 2;
}message ExchangeKey {optional ExchangeKeyReq exchange_key_req = 1;optional ExchangeKeyRes exchange_key_res = 2;
}

这里要package protocol这个东西,后台给过来的protobuf文件中可能有这一行,我们是加载不了message的,这段文字我们一定要注释掉。对于这个message对于js比较棘手一点的可能是bytes这个数据类型了,下面会说明

//create ProtoBufif (typeof dcodeIO === 'undefined' || !dcodeIO.ProtoBuf) {throw (new Error("ProtoBuf.js is not present. Please see www/index.html for manual setup instructions."));}var ProtoBuf = dcodeIO.ProtoBuf;ExchangeKey = loadProto("exchange_key.proto","ExchangeKey");FrontendPk = ProtoBuf.loadProtoFile("proto/frontend.proto").build("FrontendPk");/*** @param  {string}* @param  {string}* @return {protoBuf object}*/function loadProto(fileName,objectName){return ProtoBuf.loadProtoFile("proto/"+fileName).build(objectName);}/**序列化* @return {buff}*/function createExchangeKeyReq(){crypt = new JSEncrypt( {default_key_size: 1024} );var crKey = crypt.getKey();var bytesN = crKey.n.toByteArray();var ExchangeKeyReq = loadProto("exchange_key.proto","ExchangeKeyReq");var exchangeKeyReq = new ExchangeKeyReq();exchangeKeyReq.setE(crKey.e);// 129byteexchangeKeyReq.setN((new Int8Array(bytesN,1)).buffer);var exchangeKey = new ExchangeKey();exchangeKey.setExchangeKeyReq(exchangeKeyReq);// console.log("ExchangeKey ProtoBuf对象数据:");// console.log(exchangeKey);var msgDec = exchangeKey.toBuffer();var length = msgDec.byteLength;var dataView = new DataView(new ArrayBuffer(length+8));var msgDecView = new DataView(msgDec);//setdataView.setUint32(0,length,false);dataView.setUint32(4,10000,false);for(var i  = 0;i< length;i++){dataView.setUint8(i+8,msgDecView.getUint8(i));}return    dataView.buffer;}/**反序列化* @param  {[xhr.response]}* @return {[string]}*/function parseRc4(evt){var resBuffer = evt.data.slice(8);var resExchangeKey = ExchangeKey.decode(resBuffer);var exchangeKeyRes = resExchangeKey.getExchangeKeyRes();var rc4Key = exchangeKeyRes.getKey();var rc4KeyBase64 = rc4Key.toBase64();rc4key = crypt.decrypt(rc4KeyBase64);// console.log("decrypt RC4 Secret: "+RC4key);return rc4key;}

对于经常要使用到的message对象 我们抽取出来,每次都去load很影响性能。上面提到了对于bytes类型的数据js怎么处理,这里需要用到js中的buff对象去匹配,不然其他的数据类型都会异常
exchangeKeyReq.setN((new Int8Array(bytesN,1)).buffer);

序列化,后面代码是因为消息需要添加8个字节的包头,不然可以直接返回exchangeKey.toBuffer(),

后台返回的数据反序列化后结果

js中应用protocol buffer相关推荐

  1. python中使用 protocol buffer(Protobuf)

    项目中引入proto的依赖 [两种方法]: 方法1. 官网下载对应的语言包,https://github.com/protocolbuffers/protobuf/releases 这里选择pytho ...

  2. Tensorflow中的Protocol Buffer

    Protocol Buffer是谷歌公司开发的处理结构化数据的工具.注意这里介绍的结构化数据和大数据中的结构化数据的概念不同,这里的结构化数据指的是拥有多种属性的数据.比如一个用户:包含名字,ID,和 ...

  3. Android 中使用Protocol Buffer

    宝宝其实是根据一老外的文章学习的,原文: https://medium.com/@elye.project/simple-android-protobuf-tutorial-with-actual-c ...

  4. Protocol Buffer技术详解(语言规范)

     该系列Blog的内容主体主要源自于Protocol Buffer的官方文档,而代码示例则抽取于当前正在开发的一个公司内部项目的Demo.这样做的目的主要在于不仅可以保持Google文档的良好风格 ...

  5. Protocol Buffer基本语法

    为什么使用Protocol Buffer? 在回答这个问题之前,我们还是先给出一个在实际开发中经常会遇到的系统场景.比如:我们的客户端程序是使用Java开发的,可能运行自不同的平台,如:Linux.W ...

  6. 快来看看Google出品的Protocol Buffer,别仅仅会用Json和XML了

    前言 习惯用 Json.XML 数据存储格式的你们,相信大多都没听过Protocol Buffer Protocol Buffer 事实上 是 Google出品的一种轻量 & 高效的结构化数据 ...

  7. Netty对Protocol Buffer多协议的支持(八)

    Netty对Protocol Buffer多协议的支持(八) 一.背景 在上篇博文中笔者已经用代码演示了如何在netty中使用Protocol Buffer,然而细心的用户可能会发现一个明显的不足之处 ...

  8. 在Java中使用Protocol Buffers

    这份教程为Java开发者提供了使用 Protocol Buffer 的基本介绍.通过创建一个简单的示例应用,它展示了 在 .proto 文件中定义消息格式. 使用 Protocol Buffer 编译 ...

  9. 在C++中使用Protocol Buffers

    下载并编译Protocol Buffer 这份教程为C++开发者提供了使用 Protocol Buffer 的基本介绍.通过创建一个简单应用,它展示了 在 .proto 文件中定义消息格式. 使用 P ...

最新文章

  1. 软件项目中的需求分析具体方法探讨之一
  2. 关于软件质量(2)- 开发 vs 测试
  3. 用《叩响C#之门》复习C#基础知识 第五章 枚举、结构体和数组
  4. Principles of Reactive Programming 之Actors are Distributed (1)
  5. 为什么虚拟机的linux系统IP是10.0.2.15
  6. SQL Server2005 ROW_NUMBER() OVER 使用
  7. “.Net 社区虚拟大会”(dotnetConf) 2016 Day 1 Keynote: Scott Hunter
  8. select 1 from 浅析
  9. 相对路径 ‘’,‘/’,‘./‘,‘../‘
  10. Assembly Essence-- 程序集深入探讨:程序集结构及部署
  11. jdbc增删改查有哪些步骤_JDBC打造通用增删改方法
  12. arcmap制作地闪密度专题图
  13. 九连环问题(Java)
  14. maya为什么不能导出fbx_maya的模型导出为OBJ,然后导入到3dmax后uv全乱了 (导出FBX更不行,导出的FBX文件放max里面基本没面了)...
  15. 简单的分布式矩阵乘法
  16. rails parameter permit
  17. 数据库的学习与进阶(一)
  18. 新闻网站爬虫及结果查询
  19. CTF网络安全大赛 Crypto boom
  20. python最优化算法实战---线性规划之内点法

热门文章

  1. java实现内存修改器_魔兽3内存修改器 v8
  2. html5 圆形加载进度条,纯css3超酷圆形Loading加载进度条特效
  3. ASP.NET的ADO(ActiveX Data Objects)
  4. mysql ignore用法_php – 在某些条件下在一列上使用MySQL IGNORE
  5. 把数据对象转成字符串_Android Json数据的转换
  6. Oracle CASE WHEN 使用及保留两位小数
  7. spark的朴素贝叶斯分类原理
  8. LKT系列加密芯片如何预置openssl生成的rsa密钥完成运算(三)
  9. 判断EXCEL表格某单元格值发生改变VBA代码
  10. 计算整数的二进制中包含1的数量