python爬虫抓取房产_Python爬虫实战(3):安居客房产经纪人信息采集
1, 引言
Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫。为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示:
本实战是上图中的“独立python爬虫”的一个实例,以采集安居客房产经纪人(http://shenzhen.anjuke.com/tycoon/nanshan/p1/ )信息为例,记录整个采集流程,包括python和依赖库的安装,即便是python初学者,也可以跟着文章内容成功地完成运行。
2,Python和相关依赖库的安装
运行环境:Windows10
2.1,安装Python3.5.2
2.2,Lxml 3.6.0
对应windows下python3.5的安装文件为 lxml-3.6.0-cp35-cp35m-win32.whl
下载完成后,在windows下打开一个命令窗口,,切换到刚下载的whl文件的存放目录,运行pip install lxml-3.6.0-cp35-cp35m-win32.whl
2.3,下载网页内容提取器程序
网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类,使用这个类,可以大大减少信息采集规则的调试时间,具体参看《Python即时网络爬虫项目: 内容提取器的定义》
3,网络爬虫的源代码
# _*_coding:utf8_*_
# anjuke.py
# 爬取安居客房产经纪人
from urllib import request
from lxml import etree
from gooseeker import GsExtractor
class Spider:
def getContent(self, url):
conn = request.urlopen(url)
output = etree.HTML(conn.read())
return output
def saveContent(self, filepath, content):
file_obj = open(filepath, 'w', encoding='UTF-8')
file_obj.write(content)
file_obj.close()
bbsExtra = GsExtractor()
# 下面这句调用gooseeker的api来设置xslt抓取规则
# 第一个参数是app key,请到GooSeeker会员中心申请
# 第二个参数是规则名,是通过GooSeeker的图形化工具: 谋数台MS 来生成的
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "安居客房产经纪人")
url = "http://shenzhen.anjuke.com/tycoon/nanshan/p"
totalpages = 50
anjukeSpider = Spider()
print("爬取开始")
for pagenumber in range(1 , totalpages):
currenturl = url + str(pagenumber)
print("正在爬取", currenturl)
content = anjukeSpider.getContent(currenturl)
outputxml = bbsExtra.extract(content)
outputfile = "result" + str(pagenumber) +".xml"
anjukeSpider.saveContent(outputfile , str(outputxml))
print("爬取结束")
运行过程如下:
将上面的代码保存到anjuke.py中,和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中
打开Windows CMD窗口,切换当前目录到存放anjuke.py的路径(cd xxxxxxx)
运行 python anjuke.py
请注意:为了让源代码更整洁,也为了让爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个好处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网络爬虫代码不用修改。为内容提取器下载采集规则的方法参看《Python即时网络爬虫:API说明》。
4,爬虫结果
在项目目录下可以看到多个result**.xml文件,文件内容如下图所示:
5,总结
因为信息采集规则是通过api下载下来的,所以,本案例的源代码显得十分简洁。同时,整个程序框架变得很通用,因为最影响通用性的采集规则是从外部注入的。
6,集搜客GooSeeker开源代码下载源
7,文档修改历史
2016.07.11:V1.0
python爬虫抓取房产_Python爬虫实战(3):安居客房产经纪人信息采集相关推荐
- python爬虫抓取房产_Python爬虫一步步抓取房产信息!
嗯,这一篇文章更多是想分享一下我的网页分析方法.玩爬虫也快有一年了,基本代码熟悉之后,我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了,也就是分析过程,对性能没有特殊要求的情况下,编程一般是 ...
- python爬虫抓取房产_Python爬虫一步步抓取房产信息
嗯,这一篇文章更多是想分享一下我的网页分析方法.玩爬虫也快有一年了,基本代码熟悉之后,我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了,也就是分析过程,对性能没有特殊要求的情况下,编程一般是 ...
- python数据抓取课程_Python爬虫入门教程 21-100 网易云课堂课程数据抓取
写在前面 今天咱们抓取一下网易云课堂的课程数据,这个网站的数据量并不是很大,我们只需要使用requests就可以快速的抓取到这部分数据了. 你第一步要做的是打开全部课程的地址,找出爬虫规律, 地址如下 ...
- python数据抓取课程_Python爬虫入门教程 22-100 CSDN学院课程数据抓取
1. CSDN学院课程数据-写在前面 今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/ ...
- python爬虫抓取分页_Python爬虫—简书首页数据抓取
简书 本该昨天完成的文章,拖了一天.可能是没休息好吧,昨天的在思路以及代码处理上存在很多问题,废话不多说,我们一起来看一下简书首页数据的抓取. 抓取的信息 2.2)简书首页文章信息 http://ww ...
- python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库
我最近在学习python爬虫,然后正好碰上数据库课设,我就选了一个连锁药店的,所以就把网上的药品信息爬取了下来. 1,首先分析网页 2,我想要的是评论数比较多的,毕竟好东西大概是买的人多才好.然后你会 ...
- python爬虫抓取双色球_Python爬虫练习:爬取双色球每期的中奖号码,看能不能中奖...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于CSDN ,作者嗨学编程 确定URL 请求网页 http://www.cwl. ...
- Python爬虫实战(3):安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
- python爬虫代码房-Python爬虫实战(3):安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
最新文章
- ORB-SLAM2从理论到代码实现(五):ORBmatcher.cc程序详解
- PyTorch迎来5岁生日,创始人带领大一实习生开发:没想到会这么成功
- Bi-level error correction for PacBio long reads
- 修改项目名称后,部署到tomcat问题
- 半吊子菜鸟学Web开发 -- PHP学习 4 --异常
- node.js之path模块的使用
- c# gerber文件读取_懒猪编程实例六:Visual C# 实现外部文件的读取和写入
- NodeJS(express)连接、封装操作MySQL
- Duilib教程-自动布局1
- fatal: unable to access ‘https://github.com/PanJiaChen/vue-element-admin.git/‘: OpenSSL SSL_read: Co
- [SpringSecurity]基本原理_两个重要的接口_UserDetailsService接口和PasswordEncoder接口
- 【转】刨根究底字符编码之十一——UTF-8编码方式与字节序标记BOM
- 今天动手熟悉了一下css和php
- 中断、轮询、事件驱动、消息驱动、数据流驱动(Flow-Driven)?
- javascript 编译与执行过程
- 解读Depth Map Prediction from a Single Image using a Multi-Scale Deep Network (3)
- 【记录】qt.qpa.screen: Could not connect to any X display 解决方案
- xamarin.forms 自定义Switch 采用 syncfusion.button中的 sfswitch
- ENFJ型的人:什么样的人很适合人工智能方向
- Vertica 常用命令
热门文章
- 免费空间主机屋试用体验
- Lumerical官方案例、FDTD时域有限差分法仿真学习(十)——光栅耦合器(Grating coupler)
- 5种邮件模板分享(含新品开发信、客户人事变动回复、与新采购)
- CentOS7 Hadoop 2.7.3 Hive 2.1.1
- Niushop B2C 使用教程目录
- 弘辽科技:淘宝流失率多少为正常范围?影响流失率的因素有哪些?
- 回忆属于我的第五届“飞思卡尔”智能车竞赛
- 六自由度无人机建模与轨迹跟踪siumlink仿真
- 【调剂】其它计算机/软件调剂信息 21.3.16
- 房奴们的关键时刻:LPR和固定利率到底选哪个?