手把手教你用Python网络爬虫获取壁纸图片
点击上方“Python爬虫与数据挖掘”,进行关注
回复“书籍”即可获赠Python从入门到进阶共10本电子书
今
日
鸡
汤
桃之夭夭,灼灼其华。
/1 前言/
想要电脑换个壁纸时都特别苦恼,因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面图片的质量嘛,实在是不忍直视…。而有些4K高清的壁纸大多是有版权的 ,这就使我们想要获取高清的图片,变得非常的困难。
wallhaven 网站是无版权的4K壁纸 ,而且主题丰富(创意、摄影、人物、动漫、绘画、视觉),今天教大家如何去批量的去下载wallhaven4K原图。
/2 项目目标/
获取对应的4K壁纸,并批量下载保存在文件夹。
/3 涉及的库和网站/
软件:PyCharm
需要用到的库:requests、lxml、fake_useragent、time
先列出网址,如下所示:
https://wallhaven.cc/search?q=id%3A65348&page={}
网址city=%E5%B9%BF%E5%B7%9E指的是广州这个城市、pn指的是页数。
/4 项目分析/
滑动鼠标观察下一页的网址的变化:
https://wallhaven.cc/search?q=id%3A65348&page=1
https://wallhaven.cc/search?q=id%3A65348&page=2
https://wallhaven.cc/search?q=id%3A65348&page=3
滑动下一页时,每增加一页page自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。
/5 具体实现/
1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址。
import requests
from lxml import etree
from fake_useragent import UserAgent
import timeclass wallhaven(object):def __init__(self):self.url = "https://wallhaven.cc/search?q=id%3A65348&page={}"def main(self):passif __name__ == '__main__':imageSpider = wallhaven()imageSpider.main()
2、fake_useragent模块实现随机产生UserAgent。
ua = UserAgent(verify_ssl=False)for i in range(1, 50):self.headers = {'User-Agent': ua.random,}
3、for循环实现多网址访问。
startPage = int(input("起始页:"))
endPage = int(input("终止页:"))
for page in range(startPage, endPage + 1):url = self.url.format(page)
4、发送请求 获取响应。
'''发送请求 获取响应'''def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html
5、解析一级页面,得到二级页面的 href 地址。
def parse_page(self, html):parse_html = etree.HTML(html)image_src_list = parse_html.xpath('//figure//a/@href')
6、遍历二级页面网址,发生请求、解析数据。找到相对于的图片地址。
html1 = self.get_page(i) # 二级页面发生请求
parse_html1 = etree.HTML(html1)
# print(parse_html1)
filename = parse_html1.xpath('//div[@class="scrollbox"]//img/@src')
# print(filename)
7、获取到的图片地址,发生请求,保存。
# 图片地址发生请求
for img in filename:dirname = "./图/" + img[32:] '''可修改图片保存的地址'''print(dirname)html2 = requests.get(url=img, headers=self.headers).contentwith open(dirname, 'wb') as f:f.write(html2)print("%s下载成功" % filename)
8、调用方法,实现功能。
html = self.get_page(url)
self.parse_page(html)
优化:设置延时。(防止ip被封)。
time.sleep(1.4) """时间延时"""
/6 效果展示/
1、点击绿色按钮运行,将结果显示在控制台,如下图所示。输起始页和终止页,回车。
2、图片下载成功控制台输出。
3、批量保存。
4、验证4K。(点击图片打开属性)
/7 小结/
1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。
2、本文基于Python网络爬虫,利用爬虫库,获取wallhaven4K壁纸。
3、4K的壁纸下载时可能会有点缓慢,请大家耐心的等待。如果图片的地址不一样,需要自己修改一下图片的保存的地址。
4、大家也可以在wallhaven网址上,寻找自己喜欢图片,按照操作步骤,自己尝试去做。自己实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。
5、如果本文源码的小伙伴,请在后台回复“4K壁纸”四个字进行获取,觉得不错,记得给个Star噢~
------------------- End -------------------
往期精彩文章推荐:
手把手用Python教你如何发现隐藏wifi
手把手教你用Python做个可视化的“剪刀石头布”小游戏
手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论
欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情,点个【在看】行不行
/今日留言主题/
随便说一两句吧~~
手把手教你用Python网络爬虫获取壁纸图片相关推荐
- 手把手教你使用Python网络爬虫获取B站视频选集内容(附源码)
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 位卑未敢忘忧国,事定犹须待阖棺. ...
- 手把手教你使用Python网络爬虫获取音效信息
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 一腔热血勤珍重,洒去犹能化碧涛. ...
- 手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 夜阑卧听风吹雨,铁马冰河入梦来. ...
- 手把手教你使用Python网络爬虫获取王者荣耀英雄皮肤
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 欢度国庆,共度中秋. /1 前言/ ...
- 实战|手把手教你利用Python网络爬虫获取新房数据
一.项目背景 大家好,我是J哥. 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. 今天J哥以惠民之家 ...
- 手把手教你使用Python网络爬虫获取菜谱信息
/1 前言/ 在放假时 ,经常想尝试一下自己做饭,下厨房这个网址是个不错的选择. 下厨房是必选的网址之一,主要提供各种美食做法以及烹饪技巧.包含种类很多. 今天教大家去爬取下厨房的菜谱 ,保存在wor ...
- python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...
爬虫系列: 当我们出去旅游时,会看这个地方有哪些旅游景点,景点价格.开放时间.用户的评论等. 本文基于Python网络爬虫技术,以hao123旅游网为例,获取旅游景点信息. 1.项目目标 获取网站的景 ...
- python链家网爬虫_手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方" Python爬虫与数据挖掘 ",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 夜阑卧听风吹雨,铁马冰河入梦来 ...
- 手把手教你用Python网络爬虫获取网易云音乐歌曲
前天给大家分享了用Python网络爬虫爬取了网易云歌词,在文尾说要爬取网易云歌曲,今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地. 跟着小编运行过代码的筒子们将 ...
最新文章
- Java服务启动慢,JVM预热的问题,我在k8s上改进了
- 260. Single Number III
- v-for和v-if同时使用(案例分析:循环最新的前14条数据显示) - 踩坑篇
- (转)STORM启动与部署TOPOLOGY
- 数学建模——商人过河(Matlab)
- 打印101~200之间的素数
- 游戏常用算法:四种迷宫生成算法
- “一寺一墓”的典型格局
- 前端h5 打开pdf文件
- 无法在计算机上读取移动硬盘,解决苹果电脑不能读写移动硬盘
- CCF计算机职业资格认证考试资料 部分题目答案 题库
- Super-pack按键精灵安卓离线打包发布
- 微信公众号 接口配置
- [fairseq] 报错:TypeError: _broadcast_coalesced(): incompatible function arguments
- VS2019无法启动程序 系统找不到指定文件解决办法
- 解决 Maven ‘parent.relativePath‘ of POM
- Effective_go_Notes
- 大赛来袭 | 千万项目商机+超40W大赛奖金,快来报名吧!
- android 应用图标替换后手机安装还显示旧的图标或者显示android小人人
- 物联网环境监测数据中心-物联网项目开发
热门文章
- 停止setInterval的clearInterval函数
- RuntimeError: grad can be implicitly created only for scalar outputs的原因:Pytorch不支持对张量的求导
- bigfoot auto release
- php图形验证码颜色,PHP实现生成带背景的图形验证码功能
- JSP九大内置对象,四大作用域
- 智能重复文件查找器:Gemini mac中文
- MySql 中的skip-grant-tables(跳过权限验证的问题)
- 个人计算机组装主板,组装一台电脑需要哪些配件【详细列举】
- C++substr函数
- 在VMware11虚拟机上安装Windows 7 x64操作系统(详细教程)