记一次perl使用lwp获取结果为乱码

发现某网站获取到的内容都是乱码,看起来是二进制的,以为加密了. 但是用postman又正常

请求其他网站也正常.

对比了不同网站的返回结果,发现Content-Encoding不一样,其他网站是空,这个网站返回了gzip

原因出在此网站使用了压缩技术 ,估计是这个网站上杂七杂八的东西过多,为了节省流量开启了压缩技术.

以前用lwp都是$response->content 然后再decode, 但是这次行不通了,decode可不支持二进制的.

实际上lwp早就有个相应的decode函数,就是如下,

my $res = $response->decoded_content(charset => 'utf8');

记录一下,免得其他人掉坑里了.

记一次perl使用lwp获取结果为乱码相关推荐

【转】解决XMLHTTP获取网页中文乱码问题
这个问题困惑我很久了,以前总是要让用户自己根据网页编码来选择UTF-8还是GB2312 . 今天遇到一个读取文件乱码,突然想起了以前用XMLHTTP获取网页源代码乱码问题,嘿嘿~一同解决了. 跟 ...
ajax获取数据中文乱码问题最简单的完美解决方案
ajax获取数据中文乱码问题最简单的完美解决方案参考文章: (1)ajax获取数据中文乱码问题最简单的完美解决方案 (2)https://www.cnblogs.com/konglxblog/p/1 ...
wechat4j获取用户昵称乱码修复
项目对接微信公众号平台时,微信的官方给出的建议是使用wechat4j.官方建议的,自然心里踏实,但实际用起来时发现wechat4j埋有很多雷,最让人心烦意乱的就是中文乱码问题. 之前写过一篇为JAXB ...
微信昵称乱码 mysql_微信网页开发获取用户昵称乱码微信昵称包含emoji表情乱码的解决方案...
微信网页开发获取用户昵称乱码微信昵称包含emoji表情乱码的解决方案如下: 问题产生原因:由于数据库及属性一致设为utf8,而utf8只支持1-3个字节.当用户昵称为emoji表情时,获取用户基本信 ...
爬虫过程中解决html乱码和获取的文本乱码问题
爬虫过程中解决html乱码和获取的文本乱码问题 response1 = requests.get(url=detail_url, headers=headers) responseText1 = re ...
python urlopen 乱码_Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案
出现乱码的原因是,网页服务端有bug,它硬性使用使用某种特定的编码方案,而并没有按照客户端的请求头的编码要求来发送编码. 解决方案:使用chardet来猜测网页编码. 1.去chardet官网下载ch ...
Perl用LWP实现GET/POST数据发送
1. GET ,获取网页内容,3句话,很简单吧! #!perl -w use strict; use LWP; my $browser = LWP::UserAgent->new(); my $ ...
Perl用LWP实现GET/POST数据发送原
1. GET ,获取网页内容,3句话,很简单吧! #!perl -w use strict; use LWP; my $browser = LWP::UserAgent->new(); my $ ...
【perl】LWP module
2019独角兽企业重金招聘Python工程师标准>>> LWP (short for"Library for World Wide Web in Perl")是一 ...

记一次perl使用lwp获取结果为乱码

记一次perl使用lwp获取结果为乱码相关推荐

最新文章

热门文章