基于python3.x的爬取马蜂窝旅游的游记照片

前几天在csdn首页看到一个大佬爬取看准网数据并分析的博客，自己搞了一下，各种问题，已超过目前的认知领域，so，先从基本的做起吧，一点点添加新内容。

本次任务为爬取马蜂窝旅行达人的游记照片，之前搞过几次马蜂窝，中间停顿过长，再次回归吧。

上代码：

import re
import urllib.request
import os
from lxml import etreedef savePhoto(soup,path):print(u"开始保存图片")img=soup.xpath('//img/@data-src')total_img=0for myimg in img:total_img += 1print(myimg)urllib.request.urlretrieve(myimg,path+'%s.jpg'%total_img)print(u"已经保存第",total_img,u"张照片")print(u"总共保存第",total_img,u"张照片")def getTitle(soup):result=soup.xpath('//div/h1/text()')[0]result=re.sub('\\n','',result)result=re.sub('\|','',result) print("title:"+result)if result:return resultelse:return Nonedef mkdi

基于python3.x的爬取马蜂窝旅游的游记照片相关推荐

Python爬取马蜂窝各城市游记总数
Python爬取马蜂窝各城市游记总数完整代码在最下方马蜂窝的省和直辖市都有一个对应的编号,编写程序获取编号第一步创建一个Spider的类,headers为一个字典,user-agent从浏览器中 ...
使用Python爬取马蜂窝网站的游记和照片
使用Python爬取马蜂窝网站的游记和照片特殊原因需要在马蜂窝上爬取一些游记和照片作为后续分析处理的数据,参考网上一些类似的爬虫文章,自己尝试了一下,这次爬取的是马蜂窝上所有有关苏州的游记(包括游记 ...
Python爬取马蜂窝城市游记
游记标题.用户.日期.阅读数量.评论数量上一篇: Python爬取马蜂窝各城市游记总数.爬取了马蜂窝所有城市的游记总数,本文爬取具体城市的游记详情 import os import time imp ...
python爬取景点信息_python 爬取马蜂窝景点翻页文字评论的实现
使用Chrome.python3.7.requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/poi/5426285.html). 首先,我们复制 ...
使用python爬取马蜂窝游记
马蜂窝( http://www.mafengwo.cn/ )是著名的游记分享网站.本例从中爬取2018年"南京"地区游记. 观察游记列表,发现以时间顺序url以类似"ht ...
python爬虫——爬取马蜂窝景点翻页文字评论
python爬虫--爬取马蜂窝景点翻页文字评论使用Chrome.python3.7.requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/po ...
使用python+selenium爬取同城旅游网机票信息
最近使用python+selenium爬取了同城旅游网机票信息相关主要代码如下,通过模拟人为操作,拿下了这个机票列表的html代码,然后就可以使用xpath或者re等方式从中提取需要的字段信息了. ...
python3.x+requests 爬取网站遇到中文乱码的解决方案
正常情况下,遇见问题上google找答案能甩百度100条街,但是这个问题是个例外······人家老外就没有乱码的问题.言归正传,首先建议大家看一下python3.x+requests 爬取网站遇到中文 ...
【归档】爬取马蜂窝景点信息（含源代码）
爬取马蜂窝景点信息(含源代码) 爬取热门目的地信息 MafengwoCrawler()._get_mdd() 爬取目的地内景点信息 MafengwoCrawler().crawler_mdd() 爬取 ...

基于python3.x的爬取马蜂窝旅游的游记照片

基于python3.x的爬取马蜂窝旅游的游记照片相关推荐

最新文章

热门文章