煎蛋网妹子图爬虫（requests库实现）

文章目录

煎蛋网妹子图爬虫（requests库实现）
- 一、前言
- - 环境配置
- 二、完整代码

一、前言

说到煎蛋网爬虫，相比很多人都写过，我这里试着用request库简单的完成，爬取煎蛋网的妹子图并保存到本地，直接上爬取效果。

环境配置

1、requests库
2、BeautifulSoup库
3、os库

二、完整代码

import requests
from bs4 import BeautifulSoup
import os# 创建一个soup对象
def get_soup(url):r = requests.get(url, headers=headers)html = r.textreturn BeautifulSoup(html, 'html.parser')# 获取原图链接并将图片保存到本地
def get_jpg(soup):global indexfor link in soup.find_all('a', {'class': 'view_img_link'}):href = link.get('href')with open('{}{}.jpg'.format(root, index), 'wb') as f:f.write(requests.get('http:' + href).content)print('成功爬取%d张图片' % index)index += 1if __name__ == '__main__':root = 'D:\\meizi\\'os.mkdir(root)  #创建一个文件夹index = 1    # 初始化图片索引depth = 30   # 指定爬取页数url = 'http://jandan.net/ooxx'headers = {'referer': 'http://jandan.net/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'}for i in range(depth):soup = get_soup(url)get_jpg(soup)url = 'http:' + soup.find('a', {'class': 'previous-comment-page'}).get('href')

煎蛋网妹子图爬虫（requests库实现）相关推荐

Python爬虫之煎蛋网妹子图爬虫，解密图片链接加密方式
之前在鱼C论坛的时候,看到很多人都在用Python写爬虫爬煎蛋网的妹子图,当时我也写过,爬了很多的妹子图片.后来煎蛋网把妹子图的网页改进了,对图片的地址进行了加密,所以论坛里面的人经常有人问怎么请求的 ...
python爬虫煎蛋网妹子图动态爬虫1
------来自某潮汕人的菜鸟教程爬虫目标网站:http://jandan.net/ooxx 爬虫目标中文名称:煎蛋网妹子图爬虫需求:分析js下载煎蛋网的妹子图 ...
python爬虫--下载煎蛋网妹子图到本地
1 # -*- coding:utf-8 -*- 2 """ 3 下载煎蛋妹子到本地,通过selenium.正则表达式.phantomjs.Beautifulsoup实现 ...
Python爬虫之煎蛋网妹子图（一）
python爬虫是数据挖掘与数据处理中的重要一部分,为了让大家深入了解爬虫,这里会更新爬虫系列教程及例子.第一篇来送福利啦!!!http://jandan.net/ooxx,先进来看一眼,是不是动力十 ...
Python Scrapy 爬取煎蛋网妹子图实例（一）
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例爬取煎蛋网妹子图,遗憾的是上周煎蛋网还有妹子图了,但是这周妹子图变成了随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...
python 爬取煎蛋网妹子的图片
昨晚跑完步,回家看了点小甲鱼的python视频,讲了点爬虫相关知识,于是今天兴致来了,尝试自己写写看,晚上再回去看看他是怎么实现的. 写的过程中发现对于正则表达式这块真是个坑,很多时候都我都是将一些u ...
python爬虫入门-煎蛋网妹子图片下载
知识点:多线程/BeautifulSoup/正则表达式/hashlib/base64/requests 参考: python爬虫之反爬虫情况下的煎蛋网图片爬取初步探索煎蛋网的反扒用了个障眼法..首页 ...
python学习之爬取煎蛋网美女图
用到库 os ,requests, base64 os简单介绍:点这里 requests介绍:点这里 base64介绍:点这里其中 requests和 base64属于第三方库,需要自己安装 pip ...
Python爬虫煎蛋网全站妹子图爬虫
爬取流程从煎蛋网妹子图第一页开始抓取: 爬取分页标签获得最后一页数字: 根据最后一页页数,获得所有页URL: 迭代所有页,对页面所有妹子图片url进行抓取:访问图片URL并且保存图片到文件夹. 开始 ...

煎蛋网妹子图爬虫（requests库实现）

煎蛋网妹子图爬虫（requests库实现）

文章目录

一、前言

环境配置

二、完整代码

煎蛋网妹子图爬虫（requests库实现）相关推荐

最新文章

热门文章