Python爬虫实战—vmgrils图片网站
一、实战背景
唯美女生:https://www.vmgirls.com/
少女情怀总是诗,一双发现美的眼睛!
工具:Python3.7,PyCharm
程序所需用到的模块:requests,fake_useragent,parsel,os,time
所使用的解析器:xpath
二、明确目标
明确我们需要爬取哪个图片集的图片资源,这里以少女情怀总是诗为例。
2.1 分析我们需要爬取的图片链接地址
按F12打开开发者工具
这里可以看见,选择 a 标签中的 href 属性或者 img 标签中的 src 属性都是可以的,我这里就选择 a 标签中的 href属性
2.2 分析节点,使用xpath解析器审查元素
三、编写代码
"""Python爬取 https://www.vmgirls.com/ 网站的图片
"""
import requests
from fake_useragent import UserAgent
import parsel
import time
import osclass VmGirlsPhotos(object):"""类说明:下载 vmgirls图片网站的《少女情怀总是诗》图集"""def __init__(self):self.server = "https://www.vmgirls.com/"self.target = "https://www.vmgirls.com/13344.html"self.headers = {"User-Agent": UserAgent().random}self.dir_name = "F:\Python\爬虫资源\girls图片资源\\"self.urls = [] # 存放图片链接地址def isDir_existed(self):"""函数说明:判断当前目录是否存在,没有则创建:return:"""if not os.path.exists(self.dir_name):os.mkdir(self.dir_name)def get_urls(self):"""函数说明:获取每张图片的链接:return:"""""" 请求网页 """response = requests.get(url=self.target, headers=self.headers)html = response.text""" 解析网页 """selector = parsel.Selector(html)# 返回的是所有的图片链接地址的列表url_list = selector.xpath('.//div[@class="nc-light-gallery"]/p/a/@href').getall()for url in url_list:self.urls.append(self.server + url)def write(self, dir_name, url):"""函数说明:下载图片:return:"""# https://www.vmgirls.com/image/2019/12/2019122411001976-scaled.jpeg# 2019122411001976-scaled.jpeg 就作为保存图片的名称fileName = url.split('/')[-1]response = requests.get(url=url, headers=self.headers)with open(dir_name + fileName, 'wb') as file:file.write(response.content)file.close()if __name__ == '__main__':print("<<<<<=====图片资源开始下载=====>>>>>")vp = VmGirlsPhotos()vp.isDir_existed()vp.get_urls()print("图片资源有{}张".format(len(vp.urls)))for i in range(len(vp.urls)):vp.write(vp.dir_name, vp.urls[i])print("正在下载第{}张图片".format(str(i + 1)))time.sleep(1)print("<<<<<=====图片资源下载完成=====>>>>>")
四、效果展示
做一个文明守法的好网民,不要爬取公民的隐私数据,不要给对方的系统带来不必要的麻烦
此篇博客仅作学习用途
Python爬虫实战—vmgrils图片网站相关推荐
- img绝对路径图片显示_使用python爬虫去风景图片网站批量下载图片
使用python爬虫(requests,BeautifulSoup)去风景图片网站批量下载图片 1.写代码背景: 今天闲来无事,想弄点图片放到电脑,方便以后使用,故去百度查找一些风景图片网站,发现图片 ...
- Python爬虫实战之爬取网站全部图片(一)
Python爬虫实战之爬取网站全部图片(二) Python爬虫实战之通过ajax获得图片地址实现全站图片下载(三) 一.获得图片地址 和 图片名称 1.进入网址之后 按F12 打开开发人员工具点击e ...
- Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3) 1. 异步加载爬虫 对于静态页面爬虫很容易获取到站点的数据内容,然而静态页面需要全量加载站点的所有数据,对于网站的访问 ...
- Python爬虫实战系列(一)-request爬取网站资源
Python爬虫实战系列(一)-request爬取网站资源 python爬虫实战系列第一期 文章目录 Python爬虫实战系列(一)-request爬取网站资源 前言 一.request库是什么? 二 ...
- python爬虫图片实例-【图文详解】python爬虫实战——5分钟做个图片自动下载器...
我想要(下)的,我现在就要 python爬虫实战--图片自动下载器 之前介绍了那么多基本知识[Python爬虫]入门知识(没看的赶紧去看)大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk ...
- Python爬虫实战爬取租房网站2w+数据-链家上海区域信息(超详细)
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦 大佬们请见谅 后面会贴代码 带火们有需求的话就用吧 正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
- 【图文详解】python爬虫实战——5分钟做个图片自动下载器
python爬虫实战--图片自动下载器 之前介绍了那么多基本知识[Python爬虫]入门知识,大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk is cheap show me the c ...
- python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
- python爬虫实战(一)--爬取知乎话题图片
原文链接python爬虫实战(一)–爬取知乎话题图片 前言 在学习了python基础之后,该尝试用python做一些有趣的事情了–爬虫. 知识准备: 1.python基础知识 2.urllib库使用 ...
最新文章
- 查找手机型号云服务器,查找手机型号云服务器
- pytorch cpu占用较高
- 后端直接跳转前端页面_WEB前端开发中页面跳转等待时间过长如何解决?
- RSA加密原理:非对称加密鼻祖
- linux根文件系统创建过程
- 用ARM DS-5进行android linux开发
- matlab中函数的公式计算,MATLAB怎样定义函数(入门) 有一函数 f(x,y)=x^2+sinxy+2y , 写一程序, 输入自变量的值,输出函数值....
- 上传文件到ftp服务器
- 实例分解神经网络反向传播算法(转)
- redhat6.3下配置使用cenos yum源
- leetcode 338 比特位计数
- ubuntu 网络设置
- java登录抓取网页_java模拟登录内部系统抓取网页内容
- 2022-2027年中国血液制品行业市场深度分析及投资战略规划报告
- 搭建网站的六个基本步骤流程(教程解说)
- 解决网页文字不能复制,复制网页文字的方法
- .vimrc快捷键设置
- 【Unity3d】3d网页游戏场景打包与加载
- 算法竞赛入门经典+挑战编程+USACO
- 网秦发家-隐性的sp赚钱的暴富