python爬取4k高清壁纸（再也不怕没有壁纸了）

今天突然想换壁纸，在网上找了一圈没有找到满意的，正好学了爬虫，于是我就想把它们全都爬取下来，慢慢挑选。
这次爬取的目标是：彼岸图网动漫壁纸

接下来，我将详细讲解爬取过程：
首先点开网站，右键–检查观察源码信息：

可以发现图片地址就是网站的域名加上上面的地址，接下来就是敲代码的事了。

观察可以发现图片总共134页：

但为了保证代码实用性，因为今天134页，明天就有可能135，甚至136页，所以首先提取壁纸页数，代码如下：

# 启始urlurl = 'http://pic.netbian.com/4kdongman/'req = requests.get(url, headers=headers)html = req.content.decode('gbk')# print(html)tree = etree.HTML(html)# 提取壁纸页数num = tree.xpath('//div[@class="page"]/a[last() - 1]/text()')[0]

接下来，得到所有页数的url:

    for i in range(int(num)):# 创建目录用于下载path = 'F:\\图片文件\\高清壁纸\\第{}页\\'.format(i + 1)if not os.path.exists(path):os.makedirs(path)# 改变当前工作目录os.chdir(path)print('----------第{}页---------正在下载-----'.format(i + 1))img_url = url + 'index_{}.html'.format(i + 1)if i == 0:img_url = url# print(img_url)

这样就可以对每一页的url请求得到每一张图片的url:

r = requests.get(img_url, headers=headers)html = r.content.decode('gbk')tree = etree.HTML(html)# 图片链接img_list = tree.xpath('//div[@id="main"]/div[@class="slist"]/ul/li/a/img/@src')# print(img_list, len(img_list))count = 1for img in img_list:img = 'http://pic.netbian.com' + img

接下来，就是下载了。
完整代码如下：

import requests
from lxml import etree
import osheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36',
}def download(img, count):r = requests.get(img, headers=headers)pic = r.contenttry:with open('{}.jpg'.format(count), 'wb') as f:f.write(pic)print('{}.jpg-----下载成功'.format(count))except:print('下载失败！')def get_img(img_url):r = requests.get(img_url, headers=headers)html = r.content.decode('gbk')tree = etree.HTML(html)# 图片链接img_list = tree.xpath('//div[@id="main"]/div[@class="slist"]/ul/li/a/img/@src')# print(img_list, len(img_list))count = 1for img in img_list:img = 'http://pic.netbian.com' + img# 下载图片download(img, count)count = count + 1def main():# 启始urlurl = 'http://pic.netbian.com/4kdongman/'req = requests.get(url, headers=headers)html = req.content.decode('gbk')# print(html)tree = etree.HTML(html)# 提取壁纸页数num = tree.xpath('//div[@class="page"]/a[last() - 1]/text()')[0]for i in range(int(num)):# 创建目录用于下载path = 'F:\\图片文件\\高清壁纸\\第{}页\\'.format(i + 1)if not os.path.exists(path):os.makedirs(path)# 改变当前工作目录os.chdir(path)print('----------第{}页---------正在下载-----'.format(i + 1))img_url = url + 'index_{}.html'.format(i + 1)if i == 0:img_url = url# print(img_url)# 获取图片链接get_img(img_url)if __name__ == '__main__':main()

python爬取4k高清壁纸（再也不怕没有壁纸了）相关推荐

python爬取4k高清壁纸（多线程版）
刚学了多线程,于是把上次写的博客拿出来进行改写, 原文链接:python爬取4k高清壁纸(再也不怕没有壁纸了) 爬取过程已经在上一次写过了,可以点击原文链接查看. 废话不多说,直接上多线程代码: im ...
python爬取4K超清画质手机壁纸，壁纸这东西当然是越多越好啦~
前言手机壁纸这东西大家都很熟悉吧,相信不论谁打开手机都希望自己的壁纸是自己喜欢的图片, 但是一张壁纸用久了就会想换一张新鲜感满满的图(当然排除情有独钟的), 但挑选图片的时间总是恒久的,有时长时间的 ...
Python爬取LOL高清皮肤壁纸
Python爬取LOL高清皮肤壁纸兴趣点: 这两天复习爬虫,CSDN上看到了一个爬取LOL皮肤的博客,哎这个有意思,看了一下他写的代码,感觉难度还可以,就结合着自己的理解写了一下参考博客: 传送门 ...
Python 网络爬虫：爬取4K高清美图
爬取4K高清美图这篇爬虫主要是用来爬取网站高清4K图片,这也是笔者学初学爬虫的时候最先写一个的爬虫脚本,现在回过头来重新梳理一下,也算是对从前知识的一个总结,希望对大家有所帮助! 文章目录爬取4K ...
Python爬虫从入门到精通:（9）数据解析_xpath解析2_爬取4K高清动漫图片_Python涛哥
使用xpath爬取4K高清动漫图片名称和图片数据爬取当前页: # 创建文件夹存储图片 dirName = 'GirlsLib' if not os.path.exists(dirName):os. ...
全网最细------爬取4k高清大图
本次案例将教大家免费爬取4k高清大图,即使你是爬虫新手,也可以食用本次文章实现你的免费下载梦,话不多说,先看效果网站视图: 看到这些图片你是否怦然心动,跟着我一起看下去. 一.思路分析首先最基本的 ...
用Python爬取wallhaven高清原图
wallhaven高清原图爬取第一步:整理思路第二步:分析网址第三步:编写代码第一步:整理思路首先要知道自己要干嘛,怎么干,去哪里干?要干嘛?我们要爬取图片,而且我们要原图.怎么干?这里我用 ...
如何利用 Python 爬取 LOL 高清精美壁纸？
作者 | 阿拉斯加来源 | 杰哥的IT之旅一.背景介绍随着移动端的普及出现了很多的移动 APP,应用软件也随之流行起来.最近看到英雄联盟的手游上线了,感觉还行,PC 端英雄联盟可谓是爆火的游戏, ...
JSOUP爬取4K高清壁纸
jsoup jar包 1.11.2 链接: https://pan.baidu.com/s/1pe3-r5_YB-pGEsosfRLbsA?pwd=41w5 提取码: 41w5 效果: 代码: imp ...

python爬取4k高清壁纸（再也不怕没有壁纸了）

python爬取4k高清壁纸（再也不怕没有壁纸了）相关推荐

最新文章

热门文章