python实现下载任意网站所有图片

操作演示

视频中爬取网站地址：
https://www.ivsky.com/tupian/

完整代码

# !/user/bin/env python
# -*- coding: utf-8 -*-
# des: 下载任何网页的图片
import reimport requestsdef download_img():error_count = 0success_count = 0url = input('请输入您要下载的图片的网址：')headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75'}web_text = requests.get(url, headers=headers).textex = '<img.*?src="(.*?)".*?'img_list = re.findall(ex, web_text)print('图片地址:', img_list)if len(img_list) == 0:print('该网站有反爬虫机制，爬取失败，请换个网站继续尝试。')for img in img_list:try:# 补充协议头if not (img.startswith('http') or img.startswith('https')):img = 'http:' + imgimg_binary = requests.get(img, headers=headers).content# 切割出最后一个字符串file_name = img.split('/')[-1]# 切割 query字符file_name = file_name.split('?')[0]with open(f'./img/{file_name}', 'wb') as fp:fp.write(img_binary)print(file_name, '，下载成功')success_count += 1except Exception as e:print(e)error_count += 1continueprint('下载图片结束！')return success_count, error_countif __name__ == '__main__':success_count, error_count = download_img()print(f'总计下载：{success_count}，下载失败：{error_count}')

备注说明

有些网站由于具有反爬虫机制，所以会导致爬取失败。例如某度图片。其他均正常。

python实现下载任意网站所有图片相关推荐

python代码下载视频_小白也能学会用一行Python代码下载任意网站视频
我们都知道用Python可以批量抓取网络上的图片.文字.视频等,今天小优给大家教一个简单的方法让小白用一行代码就能抓取任意网站上面的视频,但是前提是你要安装好Python环境哦! You-Get Yo ...
python爬虫下载视频网站视频
python爬虫下载视频网站视频 xpath解析页面源码 requests.Session() 解决 status_code 302 网页重定向 selenium 获取网页遇到 iframe 标签解 ...
下载任意网站内容到本地
一.功能1. 实现百度的关键词的搜索以及保存,查询多个一样的词的时候,产生随机数字进行保存 import random import urllib.request import urllib.pars ...
python爬虫下载影视网站的电影
python爬虫下载影视网站的电影我这边选取了vip网站 F12打开调试抓包模式搜索影片的名称, 观察看看给那个url地址发送了请求, 我看到了这个请求需要携带发送数据而这个数据就是我们要的影 ...
一行Python代码就可以下载任意网站视频，零基础小白也能轻松学会
前言对于Python爬虫很多人都不陌生,可以用它来批量下载文字.图片.视频等,其中涉及的知识点也是比较多的,但是Python中有一个方法,一行代码就能爬取任意网站上面的视频,只要你安装了Python ...
python软件下载网站
几个不错的python软件下载网站如下所示: https://www.lfd.uci.edu/~gohlke/pythonlibs/ https://pypi.org/project/
python 小说下载工具_python 制作网站小说下载器
基本开发环境・ Python 3.6 ・ Pycharm 相关模块使用目标网页分析输入想看的小说内容,点击搜索这里会返回很多结果,我只选择第一个网页数据是静态数据,但是要搜索,是post请求 ...
网不好，看个漫画加载半天？教你用Python批量下载网站所有漫画（附源码和视频教程）
回老家去了,显得无聊上网看个小漫画,不是那种你们想的~ 结果真的是移不动联不通信不过了,不是一格信号就是无信号,4G变2G了,搞心态! 没办法,只能连夜跑去网吧编程,用Python直接把整个网站的漫画 ...
python抓取dblp网站的arXiv论文，下载保存成pdf
python抓取dblp网站的arXiv论文,下载保存成pdf 需求需要查找一些关于强化学习决策方面的论文,懒得一个一个下载,所以用python写了个脚本,在dblp网站上爬取论文. import ...

python实现下载任意网站所有图片

操作演示

完整代码

备注说明

python实现下载任意网站所有图片相关推荐

最新文章

热门文章