python爬虫---mechanize
mechanize介绍
mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在Web访问控制方面做得更全面。
它对protocol, cookie, redirection都做了比较好的支持,再结合beautifulsoup和re模块,
可以非常有效的解析web页面。
常用函数
.CookieJar():设置cookie
.Browser():打开浏览器
.addheaders():User-Agent,用来欺骗服务器的
.open():打开网页,按照官网描述可以打开任意网页,不仅限于http
.select_form():选择表单的,选择表单的ID的时候需要注意。
.form[]:填写信息
.submit():提交
1.初始化并建立一个浏览器对象
如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。
其实只用默认的设置也可以完成基本任务。
import mechanize
br = mechanize.Browser() # 创建一个浏览器实例
br.set_handle_equiv(True) # 设置是否处理HTML http-equiv标头
br.set_handle_redirect(True) # 设置是否处理重定向
br.set_handle_referer(True) # 设置是否向每个请求添加referer头
br.set_handle_robots(False) # 设置是否遵守robots中的规则
br.set_handle_gzip(True) # 设置是否处理giz传输编码
br.addheaders = [...
] # 设置浏览器的头部信息
#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
2.模拟浏览器行为
浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)
获取web网页
分行打印可以逐个查看详细信息,就不赘述
- r = br.open(sys.argv[1])
- html = r.read()
- print html
- print br.response().read()
- print br.title()
- print r.info()
模拟谷歌和百度查询
打印和选择forms,然后填写相应键值,通过post提交完成操作
- for f in br.forms():
- print f
- br.select_form(nr=0)
谷歌查询football
- br.form['q'] = 'football'
- br.submit()
- print br.response().read()
百度查询football
- br.form['wd'] = 'football'
- br.submit()
- print br.response().read()
相应键值名,可以通过打印查出
回退(Back)---浏览器历史
非常简单的操作,打印url即可验证是否回退
- # Back
- br.back()
- print br.geturl()
3.http基本认证
- br.add_password('http://xxx.com', 'username', 'password')
- br.open('http://xxx.com')
4.form认证
以登陆人人网为例,打印forms可以查出用户名和密码键信息
- br.select_form(nr = 0)
- br['email'] = username
- br['password'] = password
- resp = self.br.submit()
5.cookie支持
通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。
- #!/usr/bin/env python
- import mechanize, cookielib
- br = mechanize.Browser()
- cj = cookielib.LWPCookieJar()
- br.set_cookiejar()
6.proxy设置
设置http代理
- #Proxy
- br.set_proxies({"http":"proxy.com:8888"})
- br.add_proxy_password("username", "password")
- #Proxy and usrer/password
- br.set_proxies({"http":"username:password@proxy.com:8888"})
7.下载
# Download
f = br.retrieve('http://www.google.com.br/intl/pt-BR_br/images/logo.gif')[0]
print f
fh = open(f)
8.简单的打开网页
import urllib2
print urllib2.urlopen('http://stockrt.github.com').read()
# With password?
import urllib
opener = urllib.FancyURLopener()
print opener.open('http://user:password@stockrt.github.com').read()
较好的实践:
http://blog.csdn.net/jeanphorn/article/details/46917159
http://blog.csdn.net/zhaodedong/article/details/46432921
http://www.jb51.net/article/65518.htm
python爬虫---mechanize相关推荐
- 通过python爬虫mechanize库爬取本机的ip地址
需求分析 最近,各平台更新的ip属地功能非常火爆,因此呢,也出现了许多新的网络用语,比如说"xx加几分","xx扣大分"等等,非常的有趣啊 可是呢,最近一个小伙 ...
- Python使用Mechanize模块编写爬虫的要点解析
这篇文章主要介绍了Python使用Mechanize模块编写爬虫的要点解析,作者还讲解了Mechanize程序占用内存过高问题的相关解决方法,需要的朋友可以参考下 mechanize是对urllib2 ...
- linux环境Mechanize安装,Python 爬虫:Mechanize 安装与测试
原标题:Python 爬虫:Mechanize 安装与测试 Mechanize是Python的一个模块,用于模拟浏览器.Mechanize的易用性和实用性比较平衡,功能强大而又简单易用. 1.安装Me ...
- python 爬虫抓站
python 爬虫抓站 记录(虾米,百度,豆瓣,新浪微博) python 下用到的库,urllib, urllib2, BeautifulSoup, cookielib, mechanize, re ...
- java 爬虫框架_不知道Python爬虫?这篇文章丢给他(内含框架结构)
前言 爬虫即网络爬虫,英文是Web Spider.翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来. 我们在浏览器中输入一个网 ...
- 基于python爬虫技术的应用_基于Python爬虫技术的应用
办公自动化杂志 一.引言 本文主要是对 Python 爬虫技术进行阐述,基于 python 的爬虫与其他语言相比的有很多优势.通过爬去某个网站的所有新闻这个案例,来进一步阐释 Python 爬虫技术的 ...
- python爬虫作用小工具_【python小课堂|史上最全的Python爬虫工具列表大全】- 环球网校...
[摘要]在这个科学技术高速发展的时代,越来越多的人都开始选择学习编程软件,那么首先被大家选择的编程软件就是python,也用在各行各业之中,并被大家所熟知,所以也有python学习者关注Python爬 ...
- 爬虫只能用python吗_只针对 Python 爬虫,该如何学习?
最近刚好准备开始写一个 从零开始写python爬虫的系列专栏 希望能帮助到你. 这里先把导言部分贴过来 ------------------------------------------- 从零开始 ...
- python 爬虫框架_Python常用的几个高效率的爬虫框架
1.Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.用这个框架可以轻松爬下来如亚马逊商品信息之类的数 ...
最新文章
- 5G NR — O-RAN 的系统架构
- Ambari Metrics Monitor/Sink 架构
- 织梦首页html在哪儿,dedecms织梦首页去index.html
- java 二进制 文件比较_Java中对文件的读写操作之比较
- 把配置的jenkins主路径删掉_Jenkins详细教程
- 基于JAVA+SpringBoot+Mybatis+MYSQL的校园新闻管理系统
- linux 切换pip路径_windows环境下面如何快速配置pip环境变量
- java线程入门到精通_JAVA入门到精通6.1-Java线程的概念
- 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
- javascript:控制一个元素高度始终等于浏览器高度
- element-ui组件dialog遇到form
- matlab dpabi安装,Android 8 应用安装时 ABI 确认过程
- BIN文件和HEX文件区别
- EDEM资料大全(包含教程、论文、案例、应用)
- 十行python代码定时给微信好友发送晚安,自动应答--python云舔狗
- python三维图形注释_Python使用注释绘制3D点
- 定理(Theorem)、引理(Lemma)、推论(Corollary)的定义及LaTeX用法
- RTL8201-RMII电路
- Kotlin实战练习——自定义圆形图片三种实现方式
- isset与empty的区别
热门文章
- 万有引力特效?我用canvas就能实现了
- Android之冷启动和热启动,以及代码
- chatGPT plus,OpenAI API开通
- 如何解决架构与业务发展冲突?讯飞输入法Android架构演进
- 【Shell】编程之CASE语句+函数+正则(6)
- nowcoder 交换
- 麦兜的日常 学习JAVA第二天 Dos简单命令操作
- c语言为什么是2的15次方,在C语言中为什么int型的取址范围为-2的15次方到2的15次方减1?...
- 阿根廷签证办理指南及其简介
- css自动换行加前置_CSS实现自动换行的技巧