高效序列化protobuf和protostuff的区别

一、前言

在我们的开发过程中，序列化是经常需要处理的问题，比如在做分布式访问数据时，或者是在做redis缓存存储数据时，如果我们涉及的知识面不够广的话，可能会简单的使用JDK的序列化，也即在需要序列化的类上implements Serializable接口去实现序列化，我想说的是这种方式在小系统中尚且可以用一用，如果是并发很大的系统会受到严重影响，这是由于JDK自带的序列化效率很低，不论是时间上还是空间上。我们经常使用的序列化方式还有XML和Json，说实在的我更多的是使用Json，我觉得它很方便很友好，但这些都不够好，我今天要将的是google开发的开源的序列化方案protocol buffer（简称protobuf），它的好处很多，独立于语言，独立于平台，最最重要的是它的效率相当高，用protobuf序列化后的大小是json的10分之一，xml格式的20分之一，是二进制序列化的10分之一，是不是很心动。其实我也刚接触这个好东西，写下此篇博客就当一个学习笔记吧。

protobuf使用起来非常简单，它的主要流程是：我们需要自己写一个.proto文件用来描述序列化的格式，然后用protobuf提供的protoc工具将.proto文件编译成一个Java文件（protobuf官方支持很多语言：Java、C++、C#、Go、Python ，protobuf是一个开源项目，因此有很多大牛也实现了其他语言，但它们的可靠性还有待验证），最后将该Java文件引入到我们的项目中就可以使用了，当然还得引入protobuf的依赖包。

二、protobuf使用

1、我们需要到官网下载protobuf的相应版本，我这里下载的是windows下的3.1.0版protoc-3.17.1-win64.zip

2、将下载好的zip解压，能看到bin目录下有一个protoc.exe的文件，等下需要用它来编译文件，我们直接在bin目录下创建一个简单的person.proto的描述文件，内容如下：

syntax = "proto3";option java_package = "gudao.red.protobuf";
option java_outer_classname = "PersonFactory";message Person{int32 id = 1;string name = 2;int32 age = 3;Addr addr = 4;}message Addr{string contry = 1;string city = 2;}

注意：

syntax = "proto3"; 我们使用proto3版协议

option java_package = "gudao.red.protobuf"; 编译之后生成的Java文件的包名

option java_outer_classname = "PersonFactory"; 编译之后生成的Java类的类名

message 相当于Java中的class

3、使用protoc编译上述.proto文件，生成Java类，使用如下命令完成该操作：

protoc --java_out=./src ./person.proto

--java_out:生成的Java文件输出的位置，其他语言有相应的选项

这样就会在src目录下生成一个名为PersonFactory的Java文件

4、将生成的PersonFactory.java文件引入到我们自己项目中，同时需要将protobuf-java的jar包引入，我采用的maven方式：

<dependency><groupId>com.google.protobuf</groupId><artifactId>protobuf-java</artifactId><version>4.0.0-rc-2</version>
</dependency>

5、测试代码

Client客户端

package gudao.red.protobuf_test;import java.net.Socket;import gudao.red.protobuf.PersonFactory.Addr;
import gudao.red.protobuf.PersonFactory.Person;public class Client {public static void main(String[] args) throws Exception {Socket socket = new Socket("127.0.0.1",3030);Person.Builder person = Person.newBuilder();Addr.Builder addr = Addr.newBuilder();addr.setContry("china").setCity("shenzhen");person.setId(1).setAge(12).setName("ccf");person.setAddr(addr);byte[] messageBody = person.build().toByteArray();int headerLen = 1;byte[] message = new byte[headerLen+messageBody.length];message[0] = (byte)messageBody.length;System.arraycopy(messageBody, 0,  message, 1, messageBody.length);System.out.println("msg len:"+message.length);socket.getOutputStream().write(message);}}

Server服务端

package gudao.red.protobuf_test;import java.net.ServerSocket;
import java.net.Socket;import gudao.red.protobuf.PersonFactory.Person;public class Server {/*** @param args*/public static void main(String[] args) throws Exception {// TODO Auto-generated method stubServerSocket serverSock = new ServerSocket(3030);while(true){Socket sock = serverSock.accept();byte[] msg = new byte[256];sock.getInputStream().read(msg);int msgBodyLen = msg[0];System.out.println("msg body len:"+msgBodyLen);byte[] msgbody = new byte[msgBodyLen];System.arraycopy(msg, 1, msgbody, 0, msgBodyLen);Person person = Person.parseFrom(msgbody);System.out.println("Receive:");System.out.println(person);}}}

先后启动Server和Client，观察控制台输出：

6、至此，我们的简单使用过程就完成了，是不是很简单。是，这个例子看上去是挺简单的，但如果我们需要序列化的类非常多，那么我们是不是得写非常多的.proto文件，并且还需要更新它们，这个代价可以想象一下也是非常大的。那么，接下来我们就来讲一讲protostuff，看这名字是不是跟protobuf很像，嗯，它们是有关系，前者就是基于后者实现的。

三、protostuff使用

protostuff是一个基于protobuf实现的序列化方法，它较于protobuf最明显的好处是，在几乎不损耗性能的情况下做到了不用我们写.proto文件来实现序列化。使用它也非常简单。

package gudao.red.protostuff;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;import java.util.Arrays;
import java.util.List;@Data
@AllArgsConstructor
@NoArgsConstructor
public class Po {private Integer id;private String name;private String remark;private Integer age;private int[] array;private InnerPo innerPo;private List<String> more;@Overridepublic String toString() {StringBuffer sb = new StringBuffer();sb.append("id:" + id + "\n");sb.append("name:" + name + "\n");sb.append("remark:" + remark + "\n");sb.append("age:" + age + "\n");sb.append("array:" + Arrays.toString(array) + "\n");sb.append("innerPo:" + innerPo.toString() + "\n");sb.append("more:" + more);return sb.toString();}
}

package gudao.red.protostuff;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;@Data
@AllArgsConstructor
@NoArgsConstructor
public class InnerPo {private Integer id;private String name;@Overridepublic String toString() {return id + "-" + name;}
}

package gudao.red.protostuff;import java.util.ArrayList;
import java.util.List;import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.runtime.RuntimeSchema;public class ProtostuffTest {static RuntimeSchema<Po> poSchema = RuntimeSchema.createFrom(Po.class);private static byte[] decode(Po po){return ProtostuffIOUtil.toByteArray(po, poSchema, LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE));}private static Po ecode(byte[] bytes){Po po = poSchema.newMessage();ProtostuffIOUtil.mergeFrom(bytes, po, poSchema);return po;}public static void main(String[] args) {InnerPo innerPo = new InnerPo(1, "InnerPo1");List<String> list = new ArrayList<String>();list.add("a");list.add("b");Po po = new Po(1, "Fong", "备注", 24, new int[]{1,2,3,4},innerPo,list);byte[] bytes = decode(po);System.out.println(bytes.length);Po newPo = ecode(bytes);System.out.println(newPo);}}