python简易爬虫：xpath解析方式抓取几页小猪短租官网的住房信息

Xpath即为XML路径语言（XML Path Language），他是一种用来确定XMl文档中某部分位置的语言。

Xpath基于XML的树状结构，提供在数据结构中寻找节点的能力。起初Xpath的提出的初衷是是将其做一种通用的、介于
Xpointer与XSL间的语法模型。但是XPath很快被开发者采用用来当做小型查询语言。

Xpath解析网页的流程：

1.首先通过Requests库获取网页数据
2.通过解析网页，得到想要的数据或链接
3.网页解析可以通过Xpath或其他解析工具进行，Xpath是一个非常好用的解析工具

下面的例子为小猪短租官网抓取住房信息，具体代码如下：

'''
https://hz.xiaozhu.com/?startDate=2019-04-05&endDate=2019-04-08                            第一页小猪短租的网页地址
https://hz.xiaozhu.com/search-duanzufang-p2-0/?startDate=2019-04-05&endDate=2019-04-08     第二页
https://hz.xiaozhu.com/search-duanzufang-p3-0/?startDate=2019-04-05&endDate=2019-04-08     第三页
https://hz.xiaozhu.com/search-duanzufang-p4-0/?startDate=2019-04-05&endDate=2019-04-08     第四页比较以上网页之间的不同'''
import requests          # 导入第三库Requests
from lxml import etree  # 导入第三方库lxml的etree方法
import time              # 导入time模块url = 'https://hz.xiaozhu.com/?startDate=2019-04-05&endDate=2019-04-08'   # 第一页网站地址
data =requests.get(url).text                                                         # 利用requests解析网页，加载网页文本
s=etree.HTML(data)
files=s.xpath('//*[@id="page_list"]/ul/li')                                     # 第一个旅馆的信息with open(r'C:\Users\Administrator\Desktop\xiaozhu.xls','w',encoding='utf-8') as f:    # 使用with open（）方法打开桌面xiaozhu.xls文件，'w'该参数指定为若该文件不存在,则会新建该文件，encoding='utf-8'指定文档的编码风格for ul in files:                                                                            # 使用该循环使每条信息能够进行匹配pic=ul.xpath('./a/img/@lazy_src')[0]        # [0]----抓取的数据默认为列表，需要取其第一个元素，下同price=ul.xpath('./div[2]/div[1]/span/i/text()')[0]place = ul.xpath('./div[2]/div[2]/a/span/text()')[0].strip()    # strip()去掉文本中的空格detial = ul.xpath('./div[2]/div[2]/em/text()')[0].strip()pingjia = ul.xpath('./div[2]/div[2]/em/span/text()')[0].strip()danwei=ul.xpath('./div[2]/div[1]/span/text()')if len(danwei)>1:                             # 当价格模式不一样时，需要写入不一样的数据，否则系统会抛出异常f.write("{},{}{}{},{},{},{}\n".format(pic,danwei[0],price,danwei[1],place,detial,pingjia))else:f.write("{},{}{},{},{},{}\n".format(pic, danwei[0], price, place, detial, pingjia))time.sleep(1)                  # 每次循环后使程序停顿1秒，这样防止访问太过频繁，被官网拉黑，无法进入网站抓取数据，这样也有利于网站，这个非常有必要，下同。for i in range(2,5):            # 循环第2至5页的网站地址，因为网站地址从第二页开始，有规律可循，而第一页无规律可循，所以将第一页单独抓取数据url='https://hz.xiaozhu.com/search-duanzufang-p{}-0/?startDate=2019-04-05&endDate=2019-04-08'.format(i)data = requests.get(url).texts = etree.HTML(data)files = s.xpath('//*[@id="page_list"]/ul/li')for ul in files:pic = ul.xpath('./a/img/@lazy_src')[0]price = ul.xpath('./div[2]/div[1]/span/i/text()')[0]place = ul.xpath('./div[2]/div[2]/a/span/text()')[0].strip()detial = ul.xpath('./div[2]/div[2]/em/text()')[0].strip()pingjia = ul.xpath('./div[2]/div[2]/em/span/text()')[0].strip()danwei = ul.xpath('./div[2]/div[1]/span/text()')if len(danwei) > 1:f.write("{},{}{}{},{},{},{}\n".format(pic, danwei[0], price, danwei[1], place, detial, pingjia))else:f.write("{},{}{},{},{},{}\n".format(pic, danwei[0], price, place, detial, pingjia))time.sleep(1)time.sleep(1)

抓取的文件需要使用写字板打开，然后另存为-选择编码“ANSI”，然后再用微软EXcel打开，否则一打开会乱码。

抓取的数据如下表（本人使用的是WPS，所以数据并不是很规范）：

https://image.xiaozhustatic1.com/12/51,0,4,31361,2666,2000,c69db928.jpg,￥580起/晚,网红Ins风__西湖美食古街Loft三床房,整套出租/2室1厅/3张床/宜住6人,- 0条点评

https://image.xiaozhustatic1.com/12/51,0,42,35867,2666,2000,dfe34828.jpg,￥328,艾迪500米步行到西湖凤起路地铁站武林夜市,整套出租/1室1厅/2张床/宜住4人,- 1条点评

https://image.xiaozhustatic1.com/12/51,0,71,20761,2666,2000,e23db2e6.jpg,￥459起/晚,西湖/灵隐寺/百寸投影复古2房/大隐民宿溢彩,整套出租/2室1厅/2张床/宜住4人,- 3条点评

https://image.xiaozhustatic1.com/12/14,0,27,23832,1800,1200,c101aa4b.jpg,￥398,杭州西湖畔/南宋御街/河坊街/地铁口温馨两居,整套出租/2室1厅/2张床/宜住4人,- 5分/44条点评

https://image.xiaozhustatic1.com/12/51,0,6,25378,3553,2000,a983ebdf.jpg,￥288,温馨大床房,整套出租/1室0厅/1张床/宜住2人,- 1条点评

https://image.xiaozhustatic1.com/12/15,0,36,18275,1800,1200,7f4eff95.jpg,￥468起/晚,步行西湖200米南宋御街河坊街旁北欧公寓,整套出租/2室1厅/2张床/宜住4人,- 4.9分/15条点评

https://image.xiaozhustatic1.com/12/16,0,77,36058,1800,1200,866cd395.jpg,￥398起/晚,文艺/钱塘江景房/地铁4号线/滨江公园,整套出租/1室0厅/1张床/宜住2人,- 5分/16条点评

https://image.xiaozhustatic1.com/12/51,0,68,36309,1688,1124,3d37eee4.jpg,￥398起/晚,美式小资风近西湖武林广场地铁口银泰阳光庭院房,整套出租/2室1厅/3张床/宜住5人,- 0条点评

https://image.xiaozhustatic1.com/12/14,0,5,13892,1800,1201,2d22f4b0.jpg,￥368起/晚,火车东站，直达西湖，双地铁北欧Loft两居,整套出租/1室1厅/2张床/宜住4人,- 5分/39条点评

https://image.xiaozhustatic1.com/12/51,0,2,29429,3000,2000,950fa284.jpg,￥218起/晚,可做饭:浙大城市学院，树人大学，中大银泰-,整套出租/1室0厅/1张床/宜住2人,- 1条点评

https://image.xiaozhustatic1.com/12/51,0,1,30649,2666,2000,ad1c2fb1.jpg,￥299起/晚,婉卿小苑火车东站地铁直达西湖loft电梯房,整套出租/1室2厅/1张床/宜住2人,- 0条点评

https://image.xiaozhustatic1.com/12/51,0,76,25837,2999,2000,72ee46b1.jpg,￥298起/晚,武林广场/双地铁/西湖/市中心清新大床房整租,整套出租/1室0厅/1张床/宜住2人,- 2条点评

https://image.xiaozhustatic1.com/12/14,0,93,8903,1800,1200,52aa7ab7.jpg,￥328起/晚,火车东站旁·地铁直达西湖·温馨两房,整套出租/1室1厅/2张床/宜住4人,- 4.9分/23条点评

https://image.xiaozhustatic1.com/12/14,0,1,19166,1800,1200,76c477ff.jpg,￥358起/晚,北欧时尚风（西湖直达）火车东站文艺青年大众房,整套出租/1室1厅/2张床/宜住4人,- 5分/36条点评

https://image.xiaozhustatic1.com/12/17,0,68,1441,1800,1200,3a8c5b00.jpg,￥388起/晚,金地广场/地铁2号线金家渡/loft两室,整套出租/1室1厅/2张床/宜住3人,- 5分/17条点评

https://image.xiaozhustatic1.com/12/51,0,6,32466,2665,2000,0cbd8876.jpg,￥998,西湖/摩洛哥ins风/投影2房/大隐民宿,整套出租/2室1厅/2张床/宜住4人,- 5分/4条点评

https://image.xiaozhustatic1.com/12/17,0,69,20690,2999,2000,421cc585.jpg,￥258,G20奥体博览城/江景房/直达西湖/地铁口,整套出租/1室0厅/1张床/宜住2人,- 3条点评

https://image.xiaozhustatic1.com/12/14,0,75,25284,1800,1201,db8273c1.jpg,￥468,两卧整套、近西湖、地铁、皇后公园武林夜市的家,整套出租/2室1厅/2张床/宜住4人,- 5分/5条点评

https://image.xiaozhustatic1.com/12/51,0,89,28655,2999,2000,648c8beb.jpg,￥288起/晚,【汽车北站】思·初夏复地壹中心清新风一居,整套出租/1室0厅/1张床/宜住2人,- 1条点评

https://image.xiaozhustatic1.com/12/15,0,96,4800,1800,1200,2ea172fe.jpg,￥408起/晚,婉卿三苑异域复古火车东站地铁双线直达西湖,整套出租/2室1厅/2张床/宜住4人,- 4.9分/36条点评

https://image.xiaozhustatic1.com/12/51,0,58,26313,3000,2000,3d7eedb8.jpg,￥358,睿趣公寓.金铂湾.高层江景房,整套出租/1室1厅/1张床/宜住2人,- 0条点评

https://image.xiaozhustatic1.com/12/51,0,32,40431,2994,2000,784ef9cc.jpg,￥278,金曜日大悦城/运河景区/城西银泰城/整套公寓,整套出租/1室0厅/1张床/宜住2人,- 1条点评

https://image.xiaozhustatic1.com/12/13,0,95,522,1800,1200,27886797.jpg,￥358起/晚,特价南宋御街，河坊街，近西湖，地铁口北欧风格,整套出租/1室0厅/1张床/宜住2人,- 4.9分/30条点评

https://image.xiaozhustatic1.com/12/14,0,18,17784,1800,1200,45e95c49.jpg,￥339,城西loft城西银泰西湖西溪黄龙浙大运河景区,整套出租/1室1厅/2张床铺/宜住4人,- 4.9分/14条点评

https://image.xiaozhustatic1.com/12/11,0,5,14137,1800,1200,3abe58dc.jpg,￥338,漫步西湖、凤起路地铁口旁电梯大投影温馨小户型,整套出租/1室1厅/1张床/宜住2人,- 5分/20条点评

https://image.xiaozhustatic1.com/12/11,0,30,2618,1800,1200,7ebf76d1.jpg,￥488,西湖边/地铁口/妇保旁/一楼/欧式精装二居室,整套出租/2室1厅/2张床/宜住4人,- 5分/36条点评

https://image.xiaozhustatic1.com/12/14,0,78,19642,1800,1201,6bc975dc.jpg,￥359起/晚,良渚文化村全屋地暖黑白经典君君家,整套出租/1室0厅/2张床铺/宜住3人,- 5分/16条点评

https://image.xiaozhustatic1.com/12/12,0,0,26144,1800,1200,d3b57b7c.jpg,￥368起/晚,近火车东站/双地铁/大屏幕投影/loft公寓,整套出租/1室1厅/2张床/宜住4人,- 4.9分/45条点评

https://image.xiaozhustatic1.com/12/13,0,44,20554,1800,1200,eed8b243.jpg,￥428起/晚,杭州乐园地铁口云蔓温泉极地海洋世界森泊花花一,整套出租/2室2厅/2张床/宜住4人,- 5分/18条点评

https://image.xiaozhustatic1.com/12/14,0,68,9059,2999,2000,bc891253.jpg,￥598,近西湖黄龙浙大玉泉校区旁漫步观色大床房,整套出租/1室0厅/1张床/宜住2人,- 5分/15条点评

https://image.xiaozhustatic1.com/12/15,0,49,964,1800,1200,5c794ae8.jpg,￥288起/晚,①近东站、双地铁口、直达西湖、loft公寓,整套出租/2室1厅/2张床/宜住4人,- 5分/11条点评

https://image.xiaozhustatic1.com/12/16,0,30,10468,1800,1200,6fb10fcb.jpg,￥358,微博人气电影主题民宿之*一帘幽梦*,整套出租/1室1厅/1张床/宜住2人,- 5分/5条点评

https://image.xiaozhustatic1.com/12/6,0,76,4342,1800,1200,4953fb38.jpg,￥358,地铁4号线零距离自家精装修LOFT,整套出租/1室1厅/1张床/宜住2人,- 4.9分/94条点评

https://image.xiaozhustatic1.com/12/15,0,59,12250,1609,1079,67b45896.jpg,￥358起/晚,杭州东站直达西湖（北欧田园风）小清新公寓,整套出租/2室1厅/2张床/宜住4人,- 4.9分/22条点评

https://image.xiaozhustatic1.com/12/51,0,61,36458,1440,960,036219ba.jpg,￥398起/晚,近西湖武林广场地铁口武林银泰国大简约休闲两室,整套出租/2室1厅/2张床/宜住4人,- 0条点评

https://image.xiaozhustatic1.com/12/8,0,77,6461,1800,1200,a9cff9e0.jpg,￥228起/晚,【谛听】浙大城院树大智慧谷中大银泰万达,整套出租/1室1厅/1张床铺/宜住2人,- 4.9分/174条点评

https://image.xiaozhustatic1.com/12/14,0,24,18401,3000,2000,c3456b50.jpg,￥688,浙一浙二医院边，西湖、御街、河坊街步行8分钟,整套出租/1室1厅/2张床/宜住4人,- 5分/4条点评

https://image.xiaozhustatic1.com/12/51,0,82,29781,3000,2000,c36e5ee0.jpg,￥218起/晚,温馨:浙大城市学院，树人大学。中大银泰。,整套出租/1室0厅/2张床/宜住4人,- 1条点评

https://image.xiaozhustatic1.com/12/14,0,62,27283,1506,1080,2c478af5.jpg,￥415,【皓筑】西湖500米loft100寸投影,整套出租/1室1厅/2张床铺/宜住4人,- 4.9分/7条点评

https://image.xiaozhustatic1.com/12/13,0,74,13962,1800,1201,d380f38f.jpg,￥358起/晚,火车东站，直达西湖，（公主风）文艺小清新公寓,整套出租/2室1厅/2张床/宜住3人,- 5分/35条点评

https://image.xiaozhustatic1.com/12/14,0,33,18009,3000,2000,0fc66bbe.jpg,￥319起/晚,下城区三塘近新天地／运河文化广场／武林门,整套出租/1室1厅/2张床铺/宜住4人,- 5分/5条点评

https://image.xiaozhustatic1.com/12/14,0,23,19118,3000,2000,76e17255.jpg,￥688起/晚,【柒月拾伍帘梦】闺蜜情侣出游首选。,整套出租/1室1厅/2张床/宜住4人,- 4.8分/10条点评

https://image.xiaozhustatic1.com/12/8,0,73,4386,1800,1200,093fae73.jpg,￥688,杭州西湖漫步南宋御街河坊街定安路地铁口,整套出租/1室1厅/1张床/宜住3人,- 4.9分/46条点评

https://image.xiaozhustatic1.com/12/51,0,56,32426,1800,1200,34807fd1.jpg,￥238起/晚,西溪湿地网红ins风祖母绿loft落地窗公寓,整套出租/1室1厅/1张床/宜住2人,- 2条点评

https://image.xiaozhustatic1.com/12/12,0,33,12849,1800,1200,e328eee1.jpg,￥499,#新推城西繁华商圈拍照旅游必备居所,整套出租/1室1厅/1张床/宜住2人,- 4.9分/22条点评

https://image.xiaozhustatic1.com/12/51,0,1,11611,3000,2000,2739a514.jpg,￥308起/晚,【毗邻西湖南宋御街河坊街精致小屋】,整套出租/1室0厅/2张床铺/宜住3人,- 2条点评

https://image.xiaozhustatic1.com/12/15,0,20,4995,2666,2000,33d67213.jpg,￥415起/晚,【皓筑】西湖月亮小屋跃层定安路地铁口500米,整套出租/1室1厅/2张床铺/宜住4人,- 3条点评

https://image.xiaozhustatic1.com/12/15,0,54,11969,1800,1200,dd9d0e93.jpg,￥358起/晚,火车东站，15分钟到西湖，loft两居台球吧,整套出租/2室1厅/2张床/宜住4人,- 5分/16条点评

https://image.xiaozhustatic1.com/12/14,0,48,9010,3000,2000,f00c33d4.jpg,￥598,近西湖黄龙浙大玉泉校区旁天空之城阳台大床房,整套出租/1室0厅/1张床/宜住2人,- 5分/7条点评

https://image.xiaozhustatic1.com/12/12,0,50,3072,1800,1200,083ff64a.jpg,￥408起/晚,A西湖边的loft公寓湖滨银泰龙翔桥零距离,整套出租/1室0厅/2张床铺/宜住4人,- 4.9分/149条点评

https://image.xiaozhustatic1.com/12/12,0,86,12105,1800,1200,2e40b3f8.jpg,￥728起/晚,长租价优，近湿地运河银泰旁loft北欧风三床,整套出租/1室1厅/3张床/宜住3人,- 4.8分/11条点评

https://image.xiaozhustatic1.com/12/12,0,72,27588,1800,1200,0690225d.jpg,￥328起/晚,步行西湖500米@武林夜市旁【温馨的小窝】,整套出租/1室1厅/2张床/宜住3人,- 4.9分/9条点评

https://image.xiaozhustatic1.com/12/15,0,62,2000,1500,1000,36db6ea9.jpg,￥598,近西湖黄龙浙大玉泉校区旁绿野仙踪庭院标准间,整套出租/1室0厅/2张床/宜住2人,- 2条点评

https://image.xiaozhustatic1.com/12/14,0,41,6823,2999,2000,269f37fa.jpg,￥608起/晚,西湖边河坊街定安路地铁口loft公寓三张大床,整套出租/1室1厅/3张床/宜住6人,- 4.6分/11条点评

https://image.xiaozhustatic1.com/12/14,0,73,7653,1800,1200,caf1d888.jpg,￥459起/晚,【宿品生活】下沙大学城loft地铁口2-6人,整套出租/2室1厅/2张床/宜住4人,- 5分/9条点评

https://image.xiaozhustatic1.com/12/12,0,63,8508,1800,1200,fefa91cb.jpg,￥318起/晚,和风┃西湖畔武林广场地铁口高层日式圆床,整套出租/1室1厅/1张床/宜住2人,- 4.6分/13条点评

https://image.xiaozhustatic1.com/12/8,0,78,9087,1800,1200,ac20286e.jpg,￥238起/晚,毗邻西溪灵隐精装Loft公寓紫庭雅舍美式乡村,整套出租/1室1厅/2张床/宜住4人,- 5分/46条点评

https://image.xiaozhustatic1.com/12/10,0,68,19215,1800,1201,206e560f.jpg,￥458起/晚,杭州西湖漫步南宋御街河坊街定安路地铁口6,整套出租/2室1厅/3张床铺/宜住5人,- 4.9分/42条点评

https://image.xiaozhustatic1.com/12/15,0,83,12557,1800,1200,fe6fbba8.jpg,￥428,西湖凤起路地铁口断桥音乐喷泉机场大巴武林广场,整套出租/2室1厅/2张床/宜住4人,- 5分/14条点评

https://image.xiaozhustatic1.com/12/6,0,30,3161,1800,1200,5470861f.jpg,￥428,良渚文化村/市外桃源的一隅/G20采访精华线,整套出租/2室2厅/2张床/宜住4人,- 4.9分/47条点评

https://image.xiaozhustatic1.com/12/9,0,54,4197,1800,1200,aa3401b8.jpg,￥499,断桥旁精品民宿提供婴儿车,整套出租/2室1厅/3张床铺/宜住4人,- 4.9分/10条点评

https://image.xiaozhustatic1.com/12/10,0,81,22231,1800,1200,a1f4672e.jpg,￥248起/晚,小清新公寓/可住6位下沙天街店/高沙路地铁口,整套出租/1室0厅/1张床/宜住6人,- 4.9分/79条点评

https://image.xiaozhustatic1.com/12/12,0,58,28771,1800,1200,6a7184af.jpg,￥288起/晚,城西运河景园景loft近西湖近西溪湿地西城纪,整套出租/1室1厅/1张床/宜住2人,- 4.8分/28条点评

https://image.xiaozhustatic1.com/12/14,0,81,2146,1800,1200,c1a7ab70.jpg,￥368起/晚,火车东站（直达西湖）温馨家庭房,整套出租/2室1厅/2张床/宜住4人,- 5分/50条点评

https://image.xiaozhustatic1.com/12/51,0,78,5888,1800,1200,0b2f5f09.jpg,￥620,西湖零距离可见西湖的大空间家庭房,整套出租/1室0厅/2张床/宜住4人,- 4.9分/51条点评

https://image.xiaozhustatic1.com/12/12,0,7,1961,1800,1200,31c719ae.jpg,￥528起/晚,百步西湖· 武林商圈花园房·距地铁口120米,整套出租/2室1厅/2张床/宜住4人,- 5分/26条点评

https://image.xiaozhustatic1.com/12/14,0,61,21595,3000,2000,01e2c5fb.jpg,￥488起/晚,西湖畔300米@武林夜市@断桥温馨公寓,整套出租/1室0厅/1张床/宜住4人,- 3条点评

https://image.xiaozhustatic1.com/12/14,0,82,7702,1800,1200,6f598ad3.jpg,￥571,万事屋/摄影师的民宿跃层大空间/1号线云水站,整套出租/2室1厅/2张床/宜住4人,- 4.9分/16条点评

https://image.xiaozhustatic1.com/12/12,0,63,12520,1800,1201,86298cc4.jpg,￥708起/晚,近湿地银泰旁LOFT双床文艺风-3,整套出租/1室1厅/2张床/宜住4人,- 5分/8条点评

https://image.xiaozhustatic1.com/12/8,0,90,10225,1800,1200,1ded263e.jpg,￥399,运河拱宸桥边风景之家.五大博物馆.交通便利,整套出租/2室1厅/2张床/宜住4人,- 4.6分/18条点评

https://image.xiaozhustatic1.com/12/11,0,63,5621,1800,1200,24fd1186.jpg,￥368起/晚,嬉西湖.武林市中心.地铁口高档日式风落地窗,整套出租/1室1厅/1张床/宜住3人,- 4.9分/23条点评

https://image.xiaozhustatic1.com/12/14,0,83,6291,3199,2000,9549fadf.jpg,￥288,杭州东站旁，直达西湖，精品Loft,整套出租/1室1厅/2张床/宜住4人,- 4.9分/8条点评

更多关于爬虫的实例（正则表达式，Beautiful soup，scrapy框架）后续带来，加关注了解详情

python简易爬虫：xpath解析方式抓取几页小猪短租官网的住房信息相关推荐

Python开发爬虫之动态网页抓取篇：爬取博客评论数据——通过浏览器审查元素解析真实网页地址...
由于主流网站都使用JavaScript展示网页内容,和前面简单抓取静态网页不同的是,在使用JavaScript时,很多内容并不会出现在HTML源代码中,而是在HTML源码位置放上一段JavaScrip ...
Python笔记：使用代理方式抓取App的数据操作案例
概述 App的爬取相比Web端爬取更加容易,反爬中能力没有那么强,而且响应数据大多都是JSON形式,解析更加简单. 在APP端若想查看和分析内容那就需要借助抓包软件,常用的有:Filddler.Cha ...
Python新手爬虫，简单制作抓取廖雪峰教程的小爬虫
先看几张对比图,分别是官网截图和抓取下来的 txt文档的截图,不算那难看的排版的话,内容是一致的,图片用 url替换了! 在整个抓取过程中,除了普通的文本以外,还需要处理 3个地方,分别是:代码.图片 ...
Python异步爬虫之协程抓取妹子图片(aiohttp、aiofiles)
目录前言一.什么是协程? 二.协程的优势三.代码分析 1.引入库 2.获取所有时间线的链接 3.获取一个时间线中所有相册的链接 4.获取一个相册中所有的图片链接以及相册的名字 5.下载并保存图片 ...
Python开源爬虫项目代码：抓取淘宝、京东、QQ、知网数据--转
数据来源:数据挖掘入门与实战公众号: datadw scrapy_jingdong[9]- 京东爬虫.基于scrapy的京东网站爬虫,保存格式为csv.[9]: https://github.co ...
Python爬虫之requests+正则表达式抓取猫眼电影top100以及瓜子二手网二手车信息(四)...
requests+正则表达式抓取猫眼电影top100 一.首先我们先分析下网页结构可以看到第一页的URL和第二页的URL的区别在于offset的值,第一页为0,第二页为10,以此类推. 二.< ...
php爬虫js解析,Spider抓取动态内容（JavaScript指向的页面）
PHP新手,在写爬虫练手,一般情况下跟踪链接不是很难,但是如果是动态页面就束手无策了. 也许分析协议(但是怎么分析?),模拟执行JavaScript脚本(怎么弄?),-- 另外可能写一个通用的爬取AJ ...
python学习(24) 使用Xpath解析并抓取美女图片
Xpath最初用来处理XML解析,同样适用于HTML文档处理.相比正则表达式更方便一些 Xpath基本规则 nodename 表示选取nodename 节点的所有子节点 / 表示当前节点的直接子节点 ...
python3 爬虫第二步Selenium 使用简单的方式抓取复杂的页面信息
Selenium 简介该系列专栏上一篇爬虫文章点击这里. 网站复杂度增加,爬虫编写的方式也会随着增加.使用Selenium 可以通过简单的方式抓取复杂的网站页面,得到想要的信息. Selenium ...
疫情过去女朋友想去重庆玩，python批量爬取小猪短租重庆民宿信息
疫情过去女朋友想去重庆玩,python批量爬取小猪短租重庆民宿信息随着时间的流逝,在中国共产党的领导,全国人民的共同努力下,疫情逐渐受到了控制,逐渐好转,复工,开学有望.最近在和女朋友的闲聊当中得知 ...

python简易爬虫：xpath解析方式抓取几页小猪短租官网的住房信息

python简易爬虫：xpath解析方式抓取几页小猪短租官网的住房信息相关推荐

最新文章

热门文章