python批量下载图片

背景：通过python脚本多线程从《https://wallhaven.cc》壁纸网站批量下载图片，如果下载其它站点请调整html结构。

系统环境：windows10

python版本：3.8

完整脚本如下：

# -*- coding: UTF-8 -*-
import time
from queue import Queue
from requests_html import HTMLSession
import requests
import threadingnow = time.time()
get_links_list = []
session = HTMLSession()# url_1 用于获取当前图片页码，urls2为当前页码
url_1 = 'https://wallhaven.cc/search?q=id%3A24972&sorting=random&ref=fp&seed=WbEycL&page=2'
urls2 = 'https://wallhaven.cc/search?q=id%3A24972&sorting=random&ref=fp&seed=WbEycL&page='# 需要爬取的页面，30为爬取的内容至30页，如果小于30页则获取所有页码图片
page_number = 30# 保存图片至指定页面
def save_image(url, title):img_response = requests.get(url)with open('.\Wallpapers\\'+title+'.png', 'wb') as file:file.write(img_response.content)# 获取页码数
def get_page(url_1):r = session.get(url_1)news = r.html.find('div > section > header > h2')for new in news:page1 = new.textif 'Page' in page1:page2 = str(page1).split(' ')[-1]return page2# 获取图片下载连接
def get_picturs_url(page, urls2):page = int(page)if page <= page_number:print(f'当前页码数是：{page} ')for page1 in range(page):url = f'{urls2}{page1}'r = session.get(url)news = r.html.find('div > section > ul > li > figure > a')for new in news:get_links_list.append(str(new.absolute_links).replace('\'', '').replace('{', '').replace('}', ''))else:for page2 in range(page_number):url = f'{urls2}{page2}'r = session.get(url)news = r.html.find('div > section > ul > li > figure > a')for new in news:get_links_list.append(str(new.absolute_links).replace('\'', '').replace('{', '').replace('}', ''))return get_links_list# 下载图片
def get_picture(links, output_q):r = session.get(links)items_img = r.html.find('body > main > section > div > img')for imgs in items_img:url = imgs.attrs['src']title = imgs.attrs['data-wallpaper-id']print(url + title)save_image(url, title)# 通过多线程调用下载函数
if __name__ == '__main__':page = get_page(url_1)get_picturs_url(page, urls2)for links in get_links_list:time.sleep(2)t = threading.Thread(target=get_picture, args=(links, Queue()))t.start()print(time.time() - now)

模块安装：

pip install requests-html
pip install requests

参考文档：

https://docs.python-requests.org/projects/requests-html/en/latest/

https://docs.python-requests.org/en/latest/

python批量下载图片相关推荐

教你怎么使用python批量下载图片
教你怎么使用python批量下载图片文章目录教你怎么使用python批量下载图片前言一.运行环境 1. win10 2. python==3.7.2 二.需要用到的参数 1. download ...
如何使用Python批量下载图片
爬虫程序在采集网页的过程中,需要从网上下载一些图片,比如表情包.壁纸.素材等,如果图片的数量很多,这样做就会非常麻烦和耗时.那么有没有更方便快捷的方法呢?答案是肯定的.我们可以利用Python编程语言 ...
用python批量下载网络图片_使用python批量下载图片吗?怎么做？
没想到吧,我们居然可以用python去下载图片,关于单个下载内容,之前已经出了教程告诉大家,大家应该都知道,图片跟文字似的,经常多个发布,我们如果想得到很多个图片,还得一个代码或者一个图片源的去敲击吗 ...
python 批量下载图片_Python 批量下载图片示例
使用Python find函数和urllib下载图片. A:#!/usr/bin/env python import time import urllib i = 0 url = ['']*10 na ...
python下载网页里面所有的图片-python批量下载图片的三种方法
有三种方法,一是用微软提供的扩展库win32com来操作IE,二是用selenium的webdriver,三是用python自带的HTMLParser解析.win32com可以获得类似js里面的doc ...
用python批量下载网络图片_用python批量下载图片
在网上找的,单线程,下载速度不错 #!/usr/bin/env python # coding=utf-8 import json import itertools import urllib imp ...
python下载网页里面所有的图片-Python批量下载网页图片详细教程
很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...
python批量下载网页文件-Python批量下载网页图片详细教程
目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件夹,每个文件夹包含n个链接所对应的文件夹. 步骤1:获得网页的所有链接,访问所有链接,获得链接里的图片地址. 步骤2:根据图片 ...
2021-03-10 Python多线程爬虫快速批量下载图片
Python多线程爬虫快速批量下载图片 1.完成这个需要导入的模块 urllib,random,queue(队列),threading,time,os,json 第三方模块的安装键盘win+R,输入 ...

python批量下载图片

背景：通过python脚本多线程从《https://wallhaven.cc》壁纸网站批量下载图片，如果下载其它站点请调整html结构。

系统环境：windows10

python版本：3.8

完整脚本如下：

python批量下载图片相关推荐

最新文章

热门文章