Python爬取一个网站的所有图片（附源码）

前面搭建爬虫环境完成第一个实例爬取信息，今天继续，Python第二个项目：爬取一个网站的所有图片，看到一个网站的图片，想要弄到本地，一张张保存太过于麻烦，于是，往下看：

爬取目标网站：https://blog.csdn.net/qq_42363090/article/details/100581060

1：确保已经安装 requests模块如果没有安装，可以使用命令安装，安装命令如下:

pip install requests

成功安装模块requests

2：新建一个first.py 文件，写代码如下

#_*_coding:utf-8_*_
import requests
import re
import os
class GetImage(object):def __init__(self,url):self.url = urlself.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}self.dir_path = os.path.dirname(os.path.abspath(__file__))self.path = self.dir_path+'/imgs'isExists = os.path.exists(self.dir_path+'/imgs')# 创建目录if not isExists:os.makedirs(self.path)def download(self,url):try:res = requests.get(url,headers=self.headers)return resexcept Exception as E:print(url+'下载失败,原因:'+E)def parse(self,res):content = res.content.decode()# print(content)img_list = re.findall(r'<img.*?src="(.*?)"',content,re.S)img_list = ['http://www.yangqq.com/skin/jxhx/'+url for url in img_list]return img_listdef save(self,res_img,file_name):if res_img:with open(file_name,'wb') as f:f.write(res_img.content)print(url+'下载成功')def run(self):# 下载res = self.download(self.url)# 解析url_list = self.parse(res)# 下载图片for url in url_list:res_img = self.download(url)name = url.strip().split('/').pop()file_name = self.path+'/'+name# 保存self.save(res_img,file_name)if __name__ == '__main__':url_list = ['https://www.yangqq.com/skin/jxhx/', 'https://www.yangqq.com/skin/jxhx/list.html','https://www.yangqq.com/skin/jxhx/share.html', 'https://www.yangqq.com/skin/jxhx/list2.html','https://www.yangqq.com/skin/jxhx/list3.html', 'https://www.yangqq.com/skin/jxhx/daohang.html','https://www.yangqq.com/skin/jxhx/about.html']for url in url_list:text = GetImage(url)text.run()

3：在文件上鼠标右键点击运行按钮，得到结果如下

ok，完成

Python爬取一个网站的所有图片（附源码）相关推荐

python第一个项目：爬取一个网站的所有图片
目的:爬取一个网站的所有图片调用库:requests库,BeautifulSoup库程序设计: 1.函数getHTML():用于获取url的html文本代码如下 def getHTML(url) ...
python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python爬取同花顺_Java爬取同花顺股票数据（附源码）
最近有小伙伴问我能不能抓取同花顺的数据,最近股票行情还不错,想把数据抓下来自己分析分析.我大A股,大家都知道的,一个概念火了,相应的股票就都大涨. 如果能及时获取股票涨跌信息,那就能在刚开始火起来的时 ...
scrapy爬取字幕组今日更新影视-附源码
由于本人比较喜欢看美剧,字幕组的美剧资源更新又是非常快的,而本人scrapy爬虫写的也比较多,同时维护了一个小小的影视站给朋友下载,就想着能不能够用脚本实现每天的字幕组影视资源的更新与抓取,googl ...
用 Python 写了一个天天酷跑(附源码)
写出来的效果图就是这样了: 下面就更新一下全部的代码吧还是老样子先定义 import pygame,sys import random 写一下游戏配置 width = 1200 #窗口宽度 heig ...
Python爬取英雄联盟官网壁纸源码分享
import json import re import requests import time def getLOLImages(): header = {'User-Agent':'Mozill ...
python爬取小说并下载_python爬取138看书网小说源码
python爬取138看书网小说源码由论坛用户制作并分享,适用于138小说网,能够帮助用户爬取网站获取小说资源,软件提供分类搜索查找的功能,支持目录爬取,还附带书签功能,用户使用这款软件能够更加轻松地 ...
使用Python爬取马蜂窝网站的游记和照片
使用Python爬取马蜂窝网站的游记和照片特殊原因需要在马蜂窝上爬取一些游记和照片作为后续分析处理的数据,参考网上一些类似的爬虫文章,自己尝试了一下,这次爬取的是马蜂窝上所有有关苏州的游记(包括游记 ...

Python爬取一个网站的所有图片（附源码）

Python爬取一个网站的所有图片（附源码）相关推荐

最新文章

热门文章