8 个常用的 Python 爬虫技巧,分分钟提高效率!!
源 / Python网络爬虫与数据挖掘
爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。
1、基本抓取网页
get方法
post方法
2、使用代理IP
开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP;
在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段:
3、Cookies处理
cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.
代码片段:
4、伪装成浏览器
某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况
对有些 header 要特别留意,Server 端会针对这些 header 做检查
User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
这时可以通过修改http包中的header来实现,代码片段如下:
5、页面解析
对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:
正则表达式入门:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html
正则表达式在线测试:http://tool.oschina.net/regex/
其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:
lxml:http://my.oschina.net/jhao104/blog/639448
BeautifulSoup:http://cuiqingcai.com/1319.html
对于这两个库,我的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath
6、验证码的处理
对于一些简单的验证码,可以进行简单的识别。本人也只进行过一些简单的验证码识别。但是有些反人类的验证码,比如12306,可以通过打码平台进行人工打码,当然这是要付费的。
7、gzip压缩
有没有遇到过某些网页,不论怎么转码都是一团乱码。哈哈,那说明你还不知道许多web服务具有发送压缩数据的能力,这可以将网络线路上传输的大量数据消减 60% 以上。这尤其适用于 XML web 服务,因为 XML 数据 的压缩率可以很高。
但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。
于是需要这样修改代码:
这是关键:创建Request对象,添加一个 Accept-encoding 头信息告诉服务器你能接受 gzip 压缩数据
然后就是解压缩数据:
import StringIOimport gzipcompresseddata = f.read() compressedstream = StringIO.StringIO(compresseddata)gzipper = gzip.GzipFile(fileobj=compressedstream) print(gzipper.read())
8、多线程并发抓取
单线程太慢的话,就需要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是可以看出是并发的。
虽然说python的多线程很鸡肋,但是对于爬虫这种网络频繁型,还是能一定程度提高效率的。
来源:http://my.oschina.net/jhao104/blog/647308
最担心的事情终于发生了,APP已经可以一键“脱掉”你的衣服了
华为延期,三星下架,讲讲折叠屏为什么这么难
李彦宏被泼水,是“多数人的暴力”还是“群众的宣泄”
8 个常用的 Python 爬虫技巧,分分钟提高效率!!相关推荐
- python深度爬虫_总结:常用的 Python 爬虫技巧
用python也差不多一年多了,python应用最多的场景还是web快速开发.爬虫.自动化运维:写过简单网站.写过自动发帖脚本.写过收发邮件脚本.写过简单验证码识别脚本. 爬虫在开发过程中也有很多复用 ...
- Python爬虫技巧一之设置ADSL拨号服务器代理
Python爬虫技巧一之设置ADSL拨号服务器代理 https://zhuanlan.zhihu.com/p/25286144
- 总结八个好用的Python爬虫技巧
2019独角兽企业重金招聘Python工程师标准>>> 用python也差不多一年多了,python应用最多的场景还是web快速开发.爬虫.自动化运维:写过简单网站.写过自动发帖脚本 ...
- Revit软件的【项目管理类】实用的小技巧,提高效率
Revit是我国建筑业BIM体系中应用最广泛的软件之一.在项目建模过程中常会遇到一些小问题,导致工作效率降低. 今天给大家分享一些实用的小技巧,希望能帮大家提高效率. 项目管理类 1.房间识别设置 机 ...
- 20个常用的Python小技巧
2019 年第 73 篇文章,总第 97 篇文章 原题 | 20 Python Snippets You Should Learn Today 作者 | Chaitanya Baweja 原文 | h ...
- Python爬虫技巧!网站有反爬?我们有selenium!
Selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样. 文章最后有免费的Python资料,获取方式,关注头条号,私信回复资料获取下载链 ...
- 【爬虫】封装了一些 python 爬虫技巧,开箱即用
这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,再加上simplecd这个半爬虫半网站的项目,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了. 目录 1.最 ...
- 封装了一些 python 爬虫技巧,开箱即用
源 / Python开发者(PythonCoder) 这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,再加上simplecd这个半爬虫半网站的项目,累积不少爬虫抓站的经验,在此总结 ...
- python基础常用语句-python爬虫之python一条语句分析几个常用函数和概念
https://www.xin3721.com/eschool/pythonxin3721/ 前言 过年也没完全闲着,每天用一点点时间学点东西,本文为大家介绍几个python操作的细节,包含all.a ...
- Python爬虫技巧-西瓜视频MP4地址获取
记录一下西瓜视频MP4地址的获取步骤 目标: 指定西瓜视频地址,如 https://www.ixigua.com/a6562763969642103303/#mid=6602323830,获取其视频M ...
最新文章
- idea中自定义修改jdk源码,加注释
- -heap 查看当前jvm堆栈信息_必知必会的JVM工具系列二,读懂会用jhat,jstack,jstatd,JConsole...
- 导入CSS的三种方式
- Scala伴生类和伴生对象
- PostgreSQL的高可用与数据复制方案
- java自动加空格吗_程序加上空格和不加空格运行结果不一样
- 荣耀9X/9X Pro外观谍照曝光:屏幕设计竟大不相同
- [詹兴致矩阵论习题参考解答]习题1.11
- SQLServer公历转农历函数(1900年-2049年)
- 东软c语言课后习题,C语言笔试题及参考答案-东软集团
- 酷派把用户手机当肉鸡,非一天两天
- 认证授权中解决AuthenticationManager 无法注入
- Linux实训项目二 用户和组的管理
- 如何播放html文件类型,m3u8格式如何播放
- 程序员必读书单 1.0 ----转自Lucida
- gd32f470总结
- .dcm格式文件软件读取及python处理
- Zbrush 风格化头发的工具
- 记录一下CTF选拔赛的一道misc-ad
- 【机器学习的数学基础】(四)解析几何(Analytic Geometry)(上)