使用zlib.decompress(string, wbits, bufsize)时指定wbits例如，请参阅“疑难解答”的末尾。

故障排除

让我们开始了与下载未知“内容编码”一个字节范围响应(注AA curl命令：我们事先知道这是某种形式的压缩事情，mabye deflate也许gzip )：

export URL="https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2016-18/segments/1461860106452.21/warc/CC-MAIN-20160428161506-00007-ip-10-239-7-51.ec2.internal.warc.gz"

curl -r 266472196-266527075 $URL | gzip -dc | tee hello.txt

具有以下响应头：

HTTP/1.1 206 Partial Content

x-amz-id-2: IzdPq3DAPfitkgdXhEwzBSwkxwJRx9ICtfxnnruPCLSMvueRA8j7a05hKr++Na6s

x-amz-request-id: 14B89CED698E0954

Date: Sat, 06 Aug 2016 01:26:03 GMT

Last-Modified: Sat, 07 May 2016 08:39:18 GMT

ETag: "144a93586a13abf27cb9b82b10a87787"

Accept-Ranges: bytes

Content-Range: bytes 266472196-266527075/711047506

Content-Type: application/octet-stream

Content-Length: 54880

Server: AmazonS3

所以给点意见。

让显示前10个字节的十六进制输出： curl -r 266472196-266472208 $URL | xxd

十六进制输出：

0000000: 1f8b 0800 0000 0000 0000 ecbd eb

我们可以看到我们所用的十六进制值工作的一些基础知识。

大致意思是它可能使用一个放气的gzip(1f8b)(0800)没有修改的时间(0000 0000)，或任何额外的设置标志(00)，采用FAT32系统(00)。

所以到蟒蛇：类似

>>> import requests

>>> url = 'https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2016-18/segments/1461860106452.21/warc/CC-MAIN-20160428161506-00006-ip-10-239-7-51.ec2.internal.warc.gz'

>>> response = requests.get(url, params={"range":"bytes=257173173-257248267"})

>>> unknown_compressed_data = response.content

注意到什么？：

>>> unknown_compressed_data[:10]

'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00'

就到了减压，让我们只是尝试在随机基础上，(documentation)：

>>> import zlib

“zlib.error：错误-2在准备环解压缩数据：不一致流状态 “：

>>> zlib.decompress(unknown_compressed_data, -31)

Traceback (most recent call last):

File "", line 1, in

zlib.error: Error -2 while preparing to decompress data: inconsistent stream state

”错误-3而解压缩数据：不正确报头校验“：

>>> zlib.decompress(unknown_compressed_data)

Traceback (most recent call last):

File "", line 1, in

zlib.error: Error -3 while decompressing data: incorrect header check

” zlib.error：错误-3而解压数据：无效距离太远“：

>>> zlib.decompress(unknown_compressed_data, 30)

Traceback (most recent call last):

File "", line 1, in

zlib.error: Error -3 while decompressing data: invalid distance too far back

Possible s解决方案：

>>> zlib.decompress(unknown_compressed_data, 31)

'WARC/1.0\r\nWARC-Type: response\r\nWARC-Date: 2016-04-28T20:14:16Z\r\nWARC-Record-ID: