Python爬虫 - wallhaven任意页面下的壁纸批量下载

基于Python 任意页面下的壁纸批量下载
github
Maxpagenum 爬取页数
fpath 保存路径
url 基础地址

import requests
import re
import time
import os
#爬取页数
Maxpagenum = 10
Sleeptime =0.1
def creatPath(path):if not os.path.exists(path):print("Creat path")os.makedirs(path)if __name__ == '__main__':#创建文件夹路径fpath = "D:\Download\pic"creatPath(path=fpath)#源地址'https://wallhaven.cc/search?q=id%3A2278&sorting=random&ref=fp&seed=ZYNEUQ&page=2' 'https://wallhaven.cc/hot''https://wallhaven.cc/hot?page=4'...#图片列表链接url = 'https://wallhaven.cc/search?q=id%3A4641&page=4'#初始化pagenum = 0picnum = 0#获取每一个pagewhile pagenum<Maxpagenum:headers = {'referer': url + 'page = ' + str(pagenum),"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"}pagenum = pagenum + 1par = {'page': str(pagenum)}img_data = requests.get(url=url,headers=headers,params=par).text#获取图片详情页链接的正则表达式ex = '<a class="preview" href="(.*?)"  target="_blank"  ></a>'img_src_list = re.findall(ex,img_data,re.S)#获取图片链接的正则表达式img_url_ex = '<img id="wallpaper" src="(.*?)" alt'# 从详情页获取图片链接for src in img_src_list:time.sleep(Sleeptime)img_page = requests.get(url=src,headers=headers).textimg_url = re.findall(img_url_ex,img_page,re.S)[0]img_data = requests.get(url=img_url).contentimg_name = img_url.split('/')[-1]img_path = fpath+'/'+img_namefp = open(img_path, 'wb')fp.write(img_data)print("finish " + str(picnum))picnum += 1

github
https://www.cnblogs.com/w0000/p/15106473.html

Python爬虫 - wallhaven任意页面下的壁纸批量下载相关推荐

Python爬虫实战，Request+urllib模块，批量下载爬取飙歌榜所有音乐文件
前言今天给大家介绍的是Python爬取飙歌榜所有音频数据并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是 ...
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3) 1. 异步加载爬虫对于静态页面爬虫很容易获取到站点的数据内容,然而静态页面需要全量加载站点的所有数据,对于网站的访问 ...
Python爬虫抓取某音乐网站MP3（下载歌曲、存入Sqlite）
Python爬虫抓取某音乐网站MP3(下载歌曲.存入Sqlite) 最近右胳膊受伤,打了石膏在家休息.为了实现之前的想法,就用左手打字.写代码,查资料完成了这个资源小爬虫.网页爬虫, 最主要的是协议分 ...
使用python实现高清壁纸批量下载
一.高清壁纸批量下载 1.概述此代码是使用python多线程批量下载高清壁纸的一个小脚本,代码略为简陋. 此代码仅供学习与交流,请不要用于违法用途. import requests from lxm ...
python爬虫——三步爬得电影天堂电影下载链接，30多行代码即可搞定：
python爬虫--三步爬得电影天堂电影下载链接,30多行代码即可搞定: 本次我们选择的爬虫对象是:https://www.dy2018.com/index.html 具体的三个步骤:1.定位到202 ...
python爬虫入门：在命令行搜索并下载小说
文章目录前言一.生成小说章节目录 1.具体流程 2.效果演示二.小说下载 1.具体流程 2.效果演示总结前言本篇文章以笔趣阁为例,链接:https://www.biquge7.com,实现 ...
Python实现壁纸批量下载
Python实现壁纸批量下载最近想要一些新的壁纸,但是从网站上面找一张一张下载太慢了,所以写了个爬虫批量下载壁纸. 先看看实现的效果需要的包: requests.bs4 .os.re 源码: # ...
Python爬虫WallHaven首页壁纸（多功能）----多线程
目录前言一.多线程是什么? 二.首页壁纸爬的步骤 1.主程序(选择爬取功能) 2.三个功能类别(功能类似,内容发生一点点改变) 3.实现具体的抓取功能---(抓取缩略图的网址以此获取后继的高清图片 ...
python爬虫如何从一个页面进入另一个页面-Python爬虫如何获取页面内所有URL链接？本文详解...
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup ...

Python爬虫 - wallhaven任意页面下的壁纸批量下载

Python爬虫 - wallhaven任意页面下的壁纸批量下载相关推荐

最新文章

热门文章