利用 API 实现数据压缩和解压缩

背景

对于Windows上的数据压缩和解压缩的实现，最方便的就是直接调用Win32 API函数。Widnows系统的ntdll.dll专门提供了RtlCompressBuffer函数和RtlDecompressBuffer函数来负责对数据压缩和解压缩操作，这两个函数并未公开，需要通过在ntdll.dll中动态调用。

函数介绍

RtlGetCompressionWorkSpaceSize

// 确定缓冲区大小
// 返回STATUS_SUCCESS，则表示成功；否则，失败NTSTATUS RtlGetCompressionWorkSpaceSize(_In_  USHORT CompressionFormatAndEngine,        // 位掩码指定压缩格式和引擎类型_Out_ PULONG CompressBufferWorkSpaceSize,      // 接收压缩缓冲区所需的大小_Out_ PULONG CompressFragmentWorkSpaceSize   // 接收将压缩缓冲区解压缩为片段所需的大小);

RtlCompressBuffer

// 压缩一个缓冲区
// 返回STATUS_SUCCESS，则表示成功；否则，失败。NTSTATUS RtlCompressBuffer(_In_  USHORT CompressionFormatAndEngine,        // 指定压缩格式和引擎类型的位掩码_In_  PUCHAR UncompressedBuffer,              // 指向要压缩的数据缓冲区的指针_In_  ULONG  UncompressedBufferSize,           // UncompressedBuffer 缓冲区的大小_Out_ PUCHAR CompressedBuffer,              // 指向压缩之后的数据缓存的缓冲区的指针，用于接收压缩数据_In_  ULONG  CompressedBufferSize,         // CompressedBuffer缓冲区的大小_In_  ULONG  UncompressedChunkSize,            // 压缩UncompressedBuffer缓冲区时使用的块大小(512、1024、2048或4096)_Out_ PULONG FinalCompressedSize,              // 指向调用方分配变量的指针，该变量接收存储在CompressedBuffer中的压缩数据的大小_In_  PVOID  WorkSpace                      // 指向压缩期间RtlCompressBuffer函数使用的调用方分配的工作空间缓冲区的指针);

RtlDecompressBuffer

// 解压缩整个压缩缓冲区。
// 返回STATUS_SUCCESS，则表示成功；否则，失败。NTSTATUS RtlDecompressBuffer(_In_  USHORT CompressionFormat,           // 指定压缩缓冲区压缩格式的位掩码_Out_ PUCHAR UncompressedBuffer,          // 指向存储解压缩数据的缓冲区的指针，该缓冲区从CompressedBuffer接收解压缩的数据_In_  ULONG  UncompressedBufferSize,        // UncompressedBuffer缓冲区的大小_In_  PUCHAR CompressedBuffer,           // 指向包含要解压缩的数据的缓冲区的指针_In_  ULONG  CompressedBufferSize,     // CompressedBuffer缓冲区的大小_Out_ PULONG FinalUncompressedSize     // 指向解压之后得到的数据大小的指针，该变量接收UncompressedBuffer中存储的解压缩数据的大小);

实现过程

数据压缩主要是通过调用RtlCompressBuffer函数来实现的，那么，具体的数据压缩实现流程如下所示。

首先，先调用LoadLibrary函数加载ntdll.dll，并获取ntdll.dll加载模块的句柄。再调用GetProcAddress函数来获取RtlGetCompressionWorkSpaceSize函数以及RtlCompressBuffer函数。

然后，直接调用RtlGetCompressionWorkSpaceSize函数来获取RtlCompressBuffer函数工作空间缓冲区的大小。其中，压缩格式和引擎类型设置为COMPRESSION_FORMAT_LZNT1和COMPRESSION_ENGINE_STANDARD。然后，根据工作空间缓冲区大小申请一个工作空间缓冲区给压缩数据使用。

最后，调用RtlCompressBuffer函数来压缩数据。数据压缩缓冲区的大小为4096字节，在成功压缩数据之后，便获取实际的压缩数据大小。此时需要将实际压缩数据大小和数据压缩缓冲区大小进行比较，如果数据压缩缓冲区太小，则需要释放原来的缓冲区，重新按照实际压缩数据的大小来申请一个新的数据压缩缓冲区，并且重新压缩数据。这样，才能获取所有的压缩数据。

那么，使用RtlCompressBuffer函数压缩数据的具体实现代码如下所示。

    // 数据压缩BOOL CompressData(BYTE *pUncompressData, DWORD dwUncompressDataLength, BYTE **ppCompressData, DWORD *pdwCompressDataLength){BOOL bRet = FALSE;NTSTATUS status = 0;HMODULE hModule = NULL;typedef_RtlGetCompressionWorkSpaceSize RtlGetCompressionWorkSpaceSize  = NULL;typedef_RtlCompressBuffer RtlCompressBuffer = NULL;DWORD dwWorkSpaceSize = 0, dwFragmentWorkSpaceSize = 0;BYTE *pWorkSpace = NULL;BYTE *pCompressData = NULL;DWORD dwCompressDataLength = 4096;DWORD dwFinalCompressSize = 0;do{// 加载 ntdll.dll hModule = ::LoadLibrary("ntdll.dll");if (NULL == hModule){ShowError("LoadLibrary");break;}// 获取 RtlGetCompressionWorkSpaceSize 函数地址RtlGetCompressionWorkSpaceSize = (typedef_RtlGetCompressionWorkSpaceSize)::GetProcAddress(hModule, "RtlGetCompressionWorkSpaceSize");if (NULL == RtlGetCompressionWorkSpaceSize){ShowError("GetProcAddress");break;}// 获取 RtlCompressBuffer 函数地址RtlCompressBuffer = (typedef_RtlCompressBuffer)::GetProcAddress(hModule, "RtlCompressBuffer");if (NULL == RtlCompressBuffer){ShowError("GetProcAddress");break;}// 获取WorkSpqce大小status = RtlGetCompressionWorkSpaceSize(COMPRESSION_FORMAT_LZNT1 | COMPRESSION_ENGINE_STANDARD, &dwWorkSpaceSize, &dwFragmentWorkSpaceSize);if (0 != status){ShowError("RtlGetCompressionWorkSpaceSize");break;}// 申请动态内存pWorkSpace = new BYTE[dwWorkSpaceSize];if (NULL == pWorkSpace){ShowError("new");break;}::RtlZeroMemory(pWorkSpace, dwWorkSpaceSize);while (TRUE){// 申请动态内存pCompressData = new BYTE[dwCompressDataLength];if (NULL == pCompressData){ShowError("new");break;}::RtlZeroMemory(pCompressData, dwCompressDataLength);// 调用RtlCompressBuffer压缩数据RtlCompressBuffer(COMPRESSION_FORMAT_LZNT1, pUncompressData, dwUncompressDataLength, pCompressData, dwCompressDataLength, 4096, &dwFinalCompressSize, (PVOID)pWorkSpace);if (dwCompressDataLength < dwFinalCompressSize){// 释放内存if (pCompressData){delete[]pCompressData;pCompressData = NULL;}dwCompressDataLength = dwFinalCompressSize;}else{break;}}// 返回*ppCompressData = pCompressData;*pdwCompressDataLength = dwFinalCompressSize;bRet = TRUE;} while(FALSE);// 释放if (pWorkSpace){delete[]pWorkSpace;pWorkSpace = NULL;}if (hModule){::FreeLibrary(hModule);}return bRet;}

数据解压缩主要是通过调用RtlDecompressBuffer函数来实现的，相比于数据压缩，数据解压缩实现起来更为简单。那么，具体的数据解压缩实现流程如下所示。

首先，同样是先调用LoadLibrary函数加载ntdll.dll，并获取ntdll.dll加载模块的句柄。再调用GetProcAddress函数RtlDecompressBuffer函数。不需要获取RtlGetCompressionWorkSpaceSize函数的地址，因为数据解压缩操作不需要确定压缩工作空间缓冲区大小

然后，开始调用RtlDecompressBuffer函数来解压缩数据。其中，压缩格式和引擎类型必须设置为COMPRESSION_FORMAT_LZNT1。数据解压缩缓冲区的初始大小为4096字节，在成功解压数据之后，便获取实际的解压数据大小。此时需要将实际解压数据大小和数据解压缓冲区大小进行比较，如果数据解压缓冲区太小，则需要释放原来的缓冲区，重新按照实际解压数据的大小来申请一个新的数据解压缓冲区，并且重新解压缩数据。这样，才能获取所有的解压数据。

那么，使用RtlDecompressBuffer函数压缩数据的具体实现代码如下所示。

    // 数据解压缩BOOL UncompressData(BYTE *pCompressData, DWORD dwCompressDataLength, BYTE **ppUncompressData, DWORD *pdwUncompressDataLength){BOOL bRet = FALSE;HMODULE hModule = NULL;typedef_RtlDecompressBuffer RtlDecompressBuffer = NULL;BYTE *pUncompressData = NULL;DWORD dwUncompressDataLength = 4096;DWORD dwFinalUncompressSize = 0;do{// 加载 ntdll.dll hModule = ::LoadLibrary("ntdll.dll");if (NULL == hModule){ShowError("LoadLibrary");break;}// 获取 RtlDecompressBuffer 函数地址RtlDecompressBuffer = (typedef_RtlDecompressBuffer)::GetProcAddress(hModule, "RtlDecompressBuffer");if (NULL == RtlDecompressBuffer){ShowError("GetProcAddress");break;}while (TRUE){// 申请动态内存pUncompressData = new BYTE[dwUncompressDataLength];if (NULL == pUncompressData){ShowError("new");break;}::RtlZeroMemory(pUncompressData, dwUncompressDataLength);// 调用RtlCompressBuffer压缩数据RtlDecompressBuffer(COMPRESSION_FORMAT_LZNT1, pUncompressData, dwUncompressDataLength, pCompressData, dwCompressDataLength, &dwFinalUncompressSize);if (dwUncompressDataLength < dwFinalUncompressSize){// 释放内存if (pUncompressData){delete[]pUncompressData;pUncompressData = NULL;}dwUncompressDataLength = dwFinalUncompressSize;}else{break;}}// 返回*ppUncompressData = pUncompressData;*pdwUncompressDataLength = dwFinalUncompressSize;bRet = TRUE;} while (FALSE);// 释放if (hModule){::FreeLibrary(hModule);}return bRet;}

测试

直接运行上述程序，对“DDDDDDDDDDGGGGGGGGGGGG”字符串进行压缩得到压缩数据，再对压缩数据进行解压缩得到解压数据。得到的压缩数据和解压数据如下图：