网络图片爬取

前提准备

安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装

主要分为以下几个部分：

1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以

爱奇艺的首页为例，注意下图：

可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到）

2. 读取网页的内容

代码如下：

#导入两个开发库
import urllib.request
from bs4 import BeautifulSoup
#定义图像的url地址（就是你想要爬取的网址）
domain = 'https://www.iqiyi.com/'
#在大多数网站都会有反爬取机制，所以我们这里以修改UserAgent的方式来模拟浏览器的形式来骗过该机制
req = urllib.request.Request(domain)
req.add_header('Host','www.iqiyi.com')
req.add_header('Referer','https://www.iqiyi.com/')
req.add_header('User-Agent','fake-client')
#接下来通过urllib.request的urlopen()函数来打开网页并发出请求，获得数据，再通过read()函数读取获得的数据，代码如下：
html = urllib.request.urlopen(req)
info = html.read()
print('打印info','\n',info)#将结果打印出来，验证是否成功

在此运行一下，效果如图：

能够获取到数据，基本上上边几步就算成功了

3. 获取图片的数据

在第二步我们获取到了网页内的数据，那么我们就可以从获取的网页数据中筛选出我们想要的图片数据

soup = BeautifulSoup(info,'html.parser')
#这里使用开发库BeautifulSoup4的一个类BeautifulSoup，来实例化我们的对象info，
#让其相当于一个页面，使其HTML页面结构成为BeautifulSoup的属性，
#函数的第二个参数是指定使用HTML解释器
all_img = soup.find_all('img',class_ = 'i71-img')#通过find_all()函数进行筛选，筛选条件是img标签并且表示属性class为i71-img
print("打印all_img",all_img)#打印输出筛选出的图片信息

4.下载图片

这里我们获取到了图片的信息，其中src属性里是图片的url地址，我们通过这个地址就可以下载图片了，下载代码如下：

#使用for循环遍历all_img来定义下载后图片的名称，再使用urllib.request.urlretrieve()函数来下载图片
i=0
for img in all_img:i=i+1image_name = '%s.jpg' % i#设置图片的保存位置，记得提前创建好文件夹，有能力的可以通过python来自动创建urllib.request.urlretrieve('https:'+img['src'],'D:\\12345\\'+image_name)print('第%s张下载完成' %i,image_name)
print('下载完成')

运行结果如下

最后查看一下你保存图片的文件夹，就可以看到爬取到的所有图片了

网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)相关推荐

用Python中BeautifulSoup爬取翻页式网页图片（爬取海贼王漫画）
以爬取海贼王漫画为例成果图: 话不多逼,开始表演首先需要的库: import request from bs4 import BeautifulSoup import urllib.request ...
Educode--故宫壁纸网页图片的爬取实验
第1关:网页爬虫选择题第2关:获取故宫壁纸网页的第一张图片的信息实现代码: import requests from bs4 import BeautifulSoup url = " ...
python爬虫爬取安居客并进行简单数据分析
此篇博客为普通方式爬取安居客租房数据一共提取出1200条,但是在进行大规模的数据爬取时,不建议使用这种方式,速度太慢是最大的诟病,在进行大规模爬取时,使用分布式爬虫是第一选择爬取过程一.指定爬取数 ...
python爬虫爬取图片代码_Python爬虫入门：批量爬取网上图片的两种简单实现方式——基于urllib与requests...
Python到底多强大,绝对超乎菜鸟们(当然也包括我了)的想象.近期我接触到了爬虫,被小小地震撼一下.总体的感觉就两个词--"强大"和"有趣".今天就跟大家分享 ...
python爬虫快速下载图片_Python爬虫入门：批量爬取网上图片的两种简单实现方式——基于urllib与requests...
Python到底多强大,绝对超乎菜鸟们(当然也包括我了)的想象.近期我接触到了爬虫,被小小地震撼一下.总体的感觉就两个词--"强大"和"有趣".今天就跟大家分享 ...
python使用Cookie登录网页爬取信息（超简单）
python使用Cookie登录网页爬取信息(超简单) 因为工作原因,需要爬取一个医疗行业的网站的信息,而且目标网站还要登录才给你展现完整的页面,所以有了本文-- 看了好多爬取需要登录的博客,过程不表 ...
python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]
目录前言一.正则表达式的学习 1.正则表达式的匹配工具 2.正则表达式的样式 3.正则表达式的案例二.爬取网页图片 1.分析网页 2.获取数据爬取妹子网的案例后记前言 hello,大家好 ...
python爬取豆瓣图书（详细步骤讲解）
题目: 老师安排我们爬取豆瓣图书,恰好想学,所以把爬取的过程按照顺序写下来,主要是留个痕迹.在文中我会把爬虫所需的所有代码以图片形式一一讲解,图片里的代码就是全部的爬虫代码!!!如果你懒得自己敲的话, ...
如何用python爬取网页数据,python爬取网页详细教程
大家好,本文将围绕python怎么爬取网站所有网页展开说明,如何用python爬取网页数据是一个很多人都想弄明白的事情,想搞清楚python如何爬取网页数据需要先了解以下几个事情. 1.如何用Pyth ...
eclipse if代码折叠_仅需一页Java代码就能实现网页源码爬取
作者|小鱼儿. yanxiao|CSDN Java代码基于Eclipse简单实现网页源码爬取今天给大家分享我的最新java学习进程--java网页源码爬虫,废话不多说盘代码. 仅需一页代码: pac ...

网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)

文章目录