python 爬虫 ~ 查看收发包的情况

DebugLog

　　可以用来查看收发包的情况，比较有意思，现特意记录下来：

Sample:

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

运行结果：

send: 'GET http://www.baidu.com HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nConnection: close\r\nUser-Agent: Python-urllib/2.7\r\n\r\n'
reply: 'HTTP/1.1 200 \r\n'
header: Content-Length: 111470
header: Bdqid: 0xac52fd1000001301
header: X-Powered-By: HPHP
header: Set-Cookie: BAIDUID=C79A798AE88AE217892800990B29F9AF:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
header: Set-Cookie: BIDUPSID=C79A798AE88AE217892800990B29F9AF; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
header: Set-Cookie: PSTM=1506586983; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
header: Set-Cookie: BDSVRTM=0; path=/
header: Set-Cookie: BD_HOME=0; path=/
header: Set-Cookie: H_PS_PSSID=1442_21084_17001_22072; path=/; domain=.baidu.com
header: Expires: Thu, 28 Sep 2017 08:22:20 GMT
header: Bduserid: 0
header: Server: BWS/1.1
header: Cxy_All: baidu+93815e78c13d58fab2103ab02b94c0d4
header: Date: Thu, 28 Sep 2017 08:23:03 GMT
header: P3P: CP=" OTI DSP COR IVA OUR IND COM "
header: Content-Type: text/html; charset=utf-8
header: Bdpagetype: 1
header: X-Ua-Compatible: IE=Edge,chrome=1

References:

　　Python爬虫入门（4）：Urllib库的高级用法

转载于:https://www.cnblogs.com/Hi-blog/p/7607299.html

python 爬虫 ~ 查看收发包的情况相关推荐

用Python爬虫分析上海的房租情况
版权声明:本文为博主原创文章,博客地址:https://blog.csdn.net/m0_37615390,未经博主允许不得转载. 阅读文本大概需要 7 分钟. 大家还记得你们刚来上海的时候租房的房租 ...
Python爬虫系列：使用selenium+Edge查询指定城市天气情况
首先发个福利,有个网店正在推出特价优惠<Python程序设计开发宝典>,原价69.0元,特价46.92元,详情查看:https://detail.tmall.com/item.htm?id ...
python爬虫学习 - 查看显卡价格
python爬虫学习 - 查看显卡价格这是一个简单的爬虫项目,用于从中关村网站上爬取显卡报价数据,后续可以考虑爬取相关的参数信息让数据更立体.数据的保存使用的是json,以python为主要开发语言 ...
用Python抓包工具查看周边拼车情况
说起Python爬虫,很多人第一个反应可能会是Scrapy或者Pyspider,但是今天文章里用到是Python下一个叫Mitmproxy的抓包工具,对付一些非常规的数据获取还是很有效的. 不过凡事都 ...
python查看运行内存占用_python中使用psutil查看内存占用的情况
有的时候需要对python程序内存占用进行监控,这个时候可以用到psutil库,Anaconda中是自带的,如果import出错,可以用pip install psutil(安装在python中)或c ...
python查看显存占用情况以及使用numba.cuda释放显存
一.python查看显存占用情况 # pip install pynvml def nvidia_info():nvidia_dict = {"state": True," ...
python爬虫 - Urllib库及cookie的使用
lz提示一点,python3中urllib包括了py2中的urllib+urllib2.[python2和python3的区别.转换及共存 - urllib] 怎样扒网页? 其实就是根据URL来获取它 ...
学python需要学数据库吗-学习Python爬虫前，你必须知道的一些工具！
原标题:学习Python爬虫前,你必须知道的一些工具! 许多小伙伴在学习了一段时间的Python后,开始上手爬虫项目了,作为一个总算掌握了基础,开始向上进阶的Python小白,在做爬虫的时候肯定会遇到 ...
python爬虫-urllib2的使用方法详解(python3)
文章目录 python编程快速上手(持续更新中-) python爬虫从入门到精通 urllib2概述 python2与python3对比 urlopen Request User-Agent 添加更多 ...

python 爬虫 ~ 查看收发包的情况

DebugLog

Sample:

运行结果：

python 爬虫 ~ 查看收发包的情况相关推荐

最新文章

热门文章