Python爬取煎蛋网多页的图片

使用requests和re模块来实现目的
以爬取煎蛋网里面的随手拍的图片为例
网址：http://jandan.net/ooxx

爬取一页的图片相对比较简单，直接使用这个网址，对里面的源代码进行分析和检索，使用re模块里面的正则表达式进行对目标图片的链接进行提取，这样就可以把单页的图片下载并保存起来。

如果要爬取多页的图片的话，这要在原来的基础上进行一个for each in range（page）的循环，即可爬取多页的图片。

这时我们要分析一下每一页的网址有什么变化，找出相同和不同之处。
例如：
http://jandan.net/ooxx/page-10#comments
http://jandan.net/ooxx/page-9#comments
这两个分别是第9页和第10页的图片网址，不难看出这两个网址，只有page-后面的数字变化，分别对应不同的页数，找到这个规律，我们就可以实现爬取多页的图片。

定义 url = “http://jandan.net/ooxx/page-%s#comments”%page (page为页数)

下面以爬取10页的图片为例
源代码如下：

import requests
import redef open_url(url):headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'}response = requests.get(url,headers=headers)return response.textdef find_inf(html,page):p = r'img src="([^"]+\.jpg)"'imglist = re.findall(p,html)i=1for each in imglist:print(each)res = requests.get('http:'+each)with open('C:/picture/%s-%s.jpg'%(page,i),'wb') as f: f.write(res.content)i +=1f.close()def main(page):url = "http://jandan.net/ooxx/page-%s#comments"%pagehtml = open_url(url)find_inf(html,page)if __name__ == '__main__':for each in range(1,11):main(each)

爬取图片如下：

后面还有图片就不一一列举了。
好了，这样就可以实现爬取煎蛋网多页的图片了，再也不用一张一张地下载了，直接批量下载，既快速又便捷。

Python爬取煎蛋网多页的图片相关推荐

python爬取煎蛋网妹子图
看了小甲鱼的python教学视频,爬取煎蛋网妹子图的代码已经不适用了,网上其它人的代码多有报错,本萌新结合其他人的方法,终于写出一个可行的,在此分享_(:з)∠)_(运行非常慢就是了) import ...
Python 爬取煎蛋网随手拍
百度百科对爬虫的定义为:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁, ...
Python爬取煎蛋网的妹子图
煎蛋网其中有一个版面,全是好看的小姐姐.本着美女是学习的第一动力的原则,写个程序把小姐姐们都下载下来. URL:http://jiandan.net/ooxx 程序结构分析目标网页提取目标信息将 ...
python 爬取煎蛋网妹子的图片
昨晚跑完步,回家看了点小甲鱼的python视频,讲了点爬虫相关知识,于是今天兴致来了,尝试自己写写看,晚上再回去看看他是怎么实现的. 写的过程中发现对于正则表达式这块真是个坑,很多时候都我都是将一些u ...
python爬取煎蛋网妹子图，已解密图片~~~~~
本来想爬一波无聊图,唉,竟然加密了.... 还好是base64 不说了,代码献上 2018.12.14 有效..... import requests from bs4 import Beautifu ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！
前言大家好,这里是「brucepk」爬虫系列教程.此系列教程以实例项目为材料进行分析,从项目中学习 python 爬虫,跟着我一起学习,每天进步一点点. 煎蛋网站 image 很多朋友都反应学 p ...
Python Scrapy 爬取煎蛋网妹子图实例（一）
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例爬取煎蛋网妹子图,遗憾的是上周煎蛋网还有妹子图了,但是这周妹子图变成了随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...

Python爬取煎蛋网多页的图片

Python爬取煎蛋网多页的图片相关推荐

最新文章

热门文章