varint zigzag 编码学习

varint编码

什么是varint编码

Varint是一种使用一个或多个字节序列化整数的方法，会把整数编码为变长字节。

对于32位整型数据经过Varint编码后需要1~5个字节，小的数字使用1个byte，大的数字使用5个bytes。

64位整型数据编码后占用1~10个字节。在实际场景中小数字的使用率远远多于大数字，因此通过Varint编码对于大部分场景都可以起到很好的压缩效果。

编码原理

varint编码中的每个字节都设置了最高有效位（most significant bit - msb）–msb为1则表明后面的字节还是属于当前数据的，如果是0那么这是当前数据的最后一个字节数据。每个字节的低7位用于以7位为一组存储数字的二进制补码表示，使用小端字节序存储。

为啥使用小端字节序存储？

从原理出发：varint 编码的意义是使较小的数使用较少的编码（二进制字节流前导0较多），去除前导 0；假设使用大端字节序存储，前导 0 不会删除。

zigzag 编码

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;/*** @author N3verL4nd* @date 2022/2/16*/
public class Test2 {/*** int to varint 编码** @param n* @return*/public static byte[] IntToVarInt(int n) {List<Byte> list = new ArrayList<>();while (true) {if ((n & ~0x7F) == 0) {list.add((byte) n);break;} else {list.add((byte) ((n & 0x7F) | 0x80));n >>>= 7;}}byte[] bytes = new byte[list.size()];for (int i = 0; i < bytes.length; i++) {bytes[i] = list.get(i);}return bytes;}public static void main(String[] args) {for (int i = Integer.MIN_VALUE; i <= 0; i++) {System.out.println(IntToVarInt(i).length);}}
}

32 位负数使用 varint 编码恒定占用 5 个字节；64 位负数使用 varint 编码恒定占用 10 个字节。

Zigzag 编码的大致思想是首先对负数做一次变换, 将其映射为一个正数, 变换以后便可以使用 Varints 编码进行压缩, 这里关键的一点在于变换的算法, 首先算法必须是可逆的, 即可以根据变换后的值计算出原始值, 否则就无法解码, 同时要求变换算法要尽可能简单, 以避免影响 Protobuf 编码、解码的速度, 我们假设 n 是一个 32 位类型的数字, 则 Zigzag 编码的计算方式为

(n << 1) ^ (n >> 31)

要注意这里左边是逻辑移位, 右边是算术移位, 右边的含义实际是得到一个全 1 (对于负数) 或全 0 (对于正数)的比特序列。

zigzag 编码的目的是将绝对者较小的负数转为正整数。

package study.proto;import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;/*** @author N3verL4nd* @date 2022/2/16*/
public class Test2 {/*** int to varint 编码** @param n* @return*/public static byte[] IntToVarInt(int n) {List<Byte> list = new ArrayList<>();while (true) {if ((n & ~0x7F) == 0) {list.add((byte) n);break;} else {list.add((byte) ((n & 0x7F) | 0x80));n >>>= 7;}}byte[] bytes = new byte[list.size()];for (int i = 0; i < bytes.length; i++) {bytes[i] = list.get(i);}return bytes;}/*** long to zigZag 编码** @param l* @return*/public static long longToZigzag(long l) {return (l << 1) ^ (l >> 63);}/*** 对于负数，n >> 1 全为 1* 对于正数，n >> 1 全为 0** @param n* @return*/public static int intToZigZag(int n) {return (n << 1) ^ (n >> 31);}public static int zigZagToInt(int n) {return (n >>> 1) ^ -(n & 1);}public static void main(String[] args) {System.out.println(Integer.toBinaryString(Integer.MIN_VALUE));System.out.println(intToZigZag(-1));System.out.println(intToZigZag(Integer.MIN_VALUE));System.out.println(Arrays.toString(IntToVarInt(intToZigZag(Integer.MIN_VALUE))));System.out.println(Arrays.toString(IntToVarInt(-1)));System.out.println(Arrays.toString(IntToVarInt(Integer.MIN_VALUE)));}
}

https://blog.csdn.net/carson_ho/article/details/70568606

https://halfrost.com/protobuf_encode/