python爬虫之——爬取煎蛋网图片

事先声明：本人之前并没有听说过什么煎蛋网，代码学习来自其他网站，仅供学习使用。

import requests
import os
import time
from bs4 import BeautifulSoup# 发出请求获得HTML源码
def get_html(url):# 指定一个浏览器头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}# 代理，免费的代理只能维持一会可能就没用了，自行更换proxies = {'http': '111.23.10.27:8080'}try:# Requests库的get请求resp = requests.get(url, headers=headers)except:# 如果请求被阻，就使用代理resp = requests.get(url, headers=headers, proxies=proxies)return resp# 创建文件夹的函数，保存到D盘
def mkdir(path):# os.path.exists(name)判断是否存在路径# os.path.join(path, name)连接目录与文件名isExists = os.path.exists(os.path.join("D:\jiandan", path))# 如果不存在if not isExists:print('makedir', path)# 创建文件夹os.makedirs(os.path.join("D:\jiandan", path))# 切换到创建的文件夹os.chdir(os.path.join("D:\jiandan", path))return True# 如果存在了就返回Falseelse:print(path, 'already exists')return False# 获得图片地址调用download函数进行下载
def get_imges():# 调用函数获得所有页面for url in all_page():path = url.split('-')[-1]# 创建文件夹的函数mkdir(path)# 调用请求函数获得HTML源码html = get_html(url).text# 使用lxml解析器，也可以使用html.parsersoup = BeautifulSoup(html, 'lxml')# css选择器allimgs = soup.select('div.text > p > img')# 调用download函数下载保存download(allimgs)# 执行完毕打出okprint('ok')# 获得所有页面
def all_page():base_url = 'http://jandan.net/ooxx/'# BeautifulSoup解析页面得到最高页码数soup = BeautifulSoup(get_html(base_url).text, 'lxml')# 获得最高页码数allpage = soup.find('span', class_="current-comment-page").get_text()[1:-1]urllist = []# for循环迭代出所有页面，得到urlfor page in range(1, int(allpage) + 1):allurl = base_url + 'page-' + str(page)urllist.append(allurl)return urllist# 保存图片函数，传入的参数是一页所有图片url集合
def download(list):for img in list:urls = img['src']# 判断url是否完整if urls[0:5] == 'http:':img_url = urlselse:img_url = 'http:' + urlsfilename = img_url.split('/')[-1]# 保存图片with open(filename, 'wb') as f:# 直接过滤掉保存失败的图片，不终止程序try:f.write(get_html(img_url).content)print('Sucessful image:', filename)except:print('Failed:', filename)if __name__ == '__main__':# 计时t1 = time.time()# 调用函数get_imges()print(time.time() - t1)

通过如代码，我们可以在D盘创建目录并保存相关图片。

亲测，代码无误。

（不过，煎蛋网对图片进行了加密，所以，以上代码并不能下载到太多的图片）

参考：https://www.jqhtml.com/13393.html

python爬虫之——爬取煎蛋网图片相关推荐

python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python3网络爬虫：爬取煎蛋网美女照片
1.1 前言今天开学不久,课也不多,就想着来做个爬虫,看着好多老司机喜欢看美女图片,想做个爬去煎蛋网的小爬虫.哈哈,下面开车了,各位,上车记得滴卡参考: http://blog.csdn.net/ ...
B站小甲鱼零基础python视频P57爬取煎蛋网OOXX妹纸图代码修改
问题描述在B站看[小甲鱼]零基础入门学习PythonP57集时遇到了一些问题,现在煎蛋网的的图片每一页的网址和视频里的不太一样,看弹幕有的说能爬,有的说不能爬,也没有标明日期,当时挺懵逼的,不知道该 ...
python学习之爬取煎蛋网美女图
用到库 os ,requests, base64 os简单介绍:点这里 requests介绍:点这里 base64介绍:点这里其中 requests和 base64属于第三方库,需要自己安装 pip ...
scrapy从安装到爬取煎蛋网图片
下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ pip install wheel pip install lxml pip install pyop ...
利用C#爬取煎蛋网图片
本程序还有待优化,我只爬取了每个页面的第一张图片,你们可以自己更新优化代码以实现全站爬取的功能. 主要用到的命名空间有: using System; using System.Collections. ...
python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！
前言大家好,这里是「brucepk」爬虫系列教程.此系列教程以实例项目为材料进行分析,从项目中学习 python 爬虫,跟着我一起学习,每天进步一点点. 煎蛋网站 image 很多朋友都反应学 p ...
python爬取煎蛋网妹子图
看了小甲鱼的python教学视频,爬取煎蛋网妹子图的代码已经不适用了,网上其它人的代码多有报错,本萌新结合其他人的方法,终于写出一个可行的,在此分享_(:з)∠)_(运行非常慢就是了) import ...

python爬虫之——爬取煎蛋网图片

python爬虫之——爬取煎蛋网图片相关推荐

最新文章

热门文章