python爬虫（爬取图片）

在家无聊写的爬虫程序，用来爬取图片，由于这个是好久之前写的，有点忘了，写的不详细，后面再写一份详细的

爬虫的基本原理就是：
发起请求->获取响应->解析内容->保存数据

第一步：发起请求，这一步需要用到requests库，此库专门用于发请求，一般需要一个headers用于伪装

第二步：获取响应，这一步就是将刚才发请求后得到的响应保存到变量中，方便后面解析

第三步：解析内容（这一步是重点），就是将获取到的响应数据进行解析，一般可以用正则（用着头疼，高手的话当我没说）、beautifulsoup或者xpath，我这里用的是xpath，因为他是一层一层写的，我比较喜欢用这个

最后一步：保存数据，对解析后的数据保存到本地，大功告成

这里提一下，由于这个网站第一页的index不是1，所以爬取时起始页不能输入1（其他都可以，只要在这个网站的页码范围内），不然会报错

运行截图如下（我这里图片的命名用的是源码中解析出来的相关的中文字符串）：

具体代码如下（使用时需要改一下保存地址，具体位置代码中已给出注释）：

import requests
from lxml import etree
if __name__ == "__main__":url='https://pic.netbian.com/4kdongman/index_%d.html'headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"}a=eval(input('请输入起始页'))b=eval(input('请输入终止页'))for num in range(a,b):newurl=format(url%num)response=requests.get(url=newurl,headers=headers)response.encoding='gbk'text=response.texttree=etree.HTML(text)list=tree.xpath('//div[@class="slist"]/ul/li')for li in list:c_url='https://pic.netbian.com'+li.xpath('./a//@href')[0]c_response=requests.get(url=c_url,headers=headers)c_text=c_response.textc_tree=etree.HTML(c_text)c_list=c_tree.xpath('//div[@class="photo-pic"]/a/img/@src')[0]lasturl='https://pic.netbian.com'+c_listl_response=requests.get(url=lasturl,headers=headers)l_response.encoding='gbk'name = c_tree.xpath('//div[@class="photo-pic"]/a/img/@alt')[0]name=name.encode('iso-8859-1').decode('gbk')date=l_response.contentpath = 'D:\\图片\\' + name +'.jpg'# 根据自己需要改这里（name之前）with open(path, 'wb') as p:p.write(date)print(name, '爬取成功')
print('爬取完成')

python爬虫（爬取图片）相关推荐

【大学生课程实践】实操：使用Python爬虫爬取图片
实操:使用Python爬虫爬取图片参考链接: 源码部署安装源码中的爬虫库创建 images文件参考链接: 本博客作为大佬博客学习笔记记录参考链接:孩子说"你没看过奥特曼" ...
python爬虫爬取图片无法打开_半小时入门python爬虫爬下网站图片，不能再简单了...
阅读本文大约需要2分钟本文旨在为没有爬虫基础的,偶尔想爬虫爬一下某个网站上的图片的初学者使用,如果你已经是对爬虫很熟悉了,下面依然有你感兴趣的东西. 我最近也才正儿八经学习了下爬虫,出于某种需要爬一 ...
Python爬虫爬取图片
** Python爬虫爬取网站指定图片(多个网站综合经验结论分享) ** 我想以这篇文章来记录自己学习过程以及经验感受,因为我也是个初学者.接下来我将分享几个我爬取过的图片网站,给大家们分享下自己的方 ...
[python爬虫] 爬取图片无法打开或已损坏的简单探讨
本文主要针对python使用urlretrieve或urlopen下载百度.搜狗.googto(谷歌镜像)等图片时,出现"无法打开图片或已损坏"的问题,作者对它进行简单的探讨.同时 ...
python爬虫爬取图片的简单步骤和实现代码
目录 1. 如何获取网页信息 1). 直接从网络读取 2). 先将网页源码保存到本地,再读取 2. 分析获取到的网页信息,提取需要的信息(图片地址) 3. 使用request将图片保存到本地以及会碰到 ...
利用python爬虫爬取图片并且制作马赛克拼图
想在妹子生日送妹子一张用零食(或者食物类好看的图片)拼成的马赛克拼图,因此探索了一番= =. 首先需要一个软件来制作马赛克拼图,这里使用Foto-Mosaik-Edda(网上也有在线制作的网站,但是我 ...
python爬虫爬取图片
图片爬取单张图片 #网址:https://pic.netbian.com/ 我们爬取:https://pic.netbian.com/4kmeinv/ from lxml import etree ...
python爬虫爬取图片代码_Python爬虫入门：批量爬取网上图片的两种简单实现方式——基于urllib与requests...
Python到底多强大,绝对超乎菜鸟们(当然也包括我了)的想象.近期我接触到了爬虫,被小小地震撼一下.总体的感觉就两个词--"强大"和"有趣".今天就跟大家分享 ...
python爬虫爬取图片代码_python爬虫实战爬取天极图片
学习爬虫个人的意见是直接实战效果会很好不要等全学完requests ,正则表达式,BeautifulSoup等再来实际操作.其实很多实战我们并不会用到requests库,BeautifulSoup, ...
python爬虫爬取图片保存到本地文件
今天搜索电脑壁纸突发奇想就把所有壁纸怕取下来了百度壁纸随便挑了一个点进去是zol电脑壁纸ZOL桌面壁纸现在开始爬取 import requests from lxml import etree ...

python爬虫（爬取图片）

python爬虫（爬取图片）相关推荐

最新文章

热门文章