python scrapy框架 抓取的图片路径打不开图片_Python中Scrapy爬虫图片处理详解
下载图片
下载图片有两种方式,一种是通过 Requests 模块发送 get 请求下载,另一种是使用 Scrapy 的 ImagesPipeline 图片管道类,这里主要讲后者。
安装 Scrapy 时并没有安装图像处理依赖包 Pillow,需手动安装否则运行爬虫出错。
首先在 settings.py 中设置图片的存储路径:
IMAGES_STORE = ‘D:/’
图片处理相关的选项还有:
# 图片最小高度和宽度设置,可以过滤太小的图片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110
# 生成缩略图选项
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
}
之前已经存在提取内容的 TuchongPipeline 类,如果使用 ImagePipeline 可以将提取内容的操作都合并过来,但是为了更好的说明图片管道的作用,我们再单独创建一个 ImagePipeline 类,加到 pipelines.py 文件中,同时重载函数 get_media_requests:
class PhotoGalleryPipeline(object):
...
class PhotoPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for (id, url) in item['images'].items():
yield scrapy.Request(url)
上篇文章中我们把图片的URL保存在了 item[‘images’] 中,它是一个字典类型的数组,形如:[{img_id: img_url}, …],此函数中需要把 img_url 取出并构建为 scrapy.Request 请求对象并返回,每一个请求都将触发一次下载图片的操作。
到 settings.py 中注册 PhotoPipeline,并把优先级设的比提取内容的管道要高一些,保证图片下载优先于内容处理,目的是如果有图片下载未成功,通过触发 DropItem 异常可以中断这一个 Item 的处理,防止不完整的数据进入下一管道:
ITEM_PIPELINES = {
'Toutiao.pipelines.PhotoGalleryPipeline': 300,
'Toutiao.pipelines.PhotoPipeline': 200,
}
执行爬虫 scrapy crawl photo ,如无错误,在设定的存储目录中会出现一个 full 目录,里面是下载后的图片。
文件名处理
下载的文件名是以图片URL通过 sha1 编码得到的字符,类似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好,可以通过重载 file_path 函数自定义文件名,比如可以这样保留原文件名:
...
def file_path(self, request, response=None, info=None):
file_name = request.url.split('/')[-1]
return 'full/%s' % (file_name)
...
上面这样处理难免会有重名的文件被覆盖,但参数 request 中没有过多的信息,不便于对图片分类,因此可以改为重载 item_completed 函数,在下载完成后对图片进行分类操作。
函数 item_completed 的定义:
def item_completed(self, results, item, info)
参数中包含 item ,有我们抓取的所有信息,参数 results 为下载图片的结果数组,包含下载后的路径以及是否成功下载,内容如下:
[(True,
{'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf'}),
(False,
Failure(...))]
重载该函数将下载图片转移到分类目录中,同时关联文件路径到 item 中,保持内容与图片为一个整体:
def item_completed(self, results, item, info):
image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok}
if not image_paths:
# 下载失败忽略该 Item 的后续处理
raise DropItem("Item contains no files")
else:
# 将图片转移至以 post_id 为名的子目录中
for (dest, src) in image_paths.items():
dir = settings.IMAGES_STORE
newdir = dir + os.path.dirname(src) + '/' + item['post_id'] + '/'
if not os.path.exists(newdir):
os.makedirs(newdir)
os.rename(dir + src, newdir + dest)
# 将保存路径保存于 item 中(image_paths 需要在 items.py 中定义)
item['image_paths'] = image_paths
return item
接下来在原 TuchongPipeline 类中写入数据库的操作中,通过 item[‘image_paths’] 路径信息写入本地图片链接。
除了 ImagesPipeline 处理图片外,还有 FilesPipeline 可以处理文件,使用方法与图片类似,事实上 ImagesPipeline 是 FilesPipeline 的子类,因为图片也是文件的一种。
python scrapy框架 抓取的图片路径打不开图片_Python中Scrapy爬虫图片处理详解相关推荐
- Python爬虫实战之二 - 基于Scrapy框架抓取Boss直聘的招聘信息
Python爬虫实战之三 - 基于Scrapy框架抓取Boss直聘的招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于 ...
- 使用scrapy框架抓取手机商品信息(2)
目录 1.模块设计 2.手机页面代码编写 2.1数据获取 2.2主页面编写 3.功能编写 3.1通过人民查询 3.2清空选项和查询函数 3.3列表相关功能定义 4.最终成功展示和总结 上一篇:使用sc ...
- 使用scrapy框架抓取手机商品信息(1)
目录 1.准备工作 1.1 启动pycharm 1.2 setting.py 配置 1.3爬取页面分析 2.代码编写 2.1 爬虫代码 2.2 piplines.py代码编写 3 运行及收尾 追加 1 ...
- python frame框架抓取_Python抓取框架Scrapy爬虫入门:页面提取
前言 Scrapy是一个非常好的抓取框架,它不仅提供了一些开箱可用的基础组建,还能够根据自己的需求,进行强大的自定义.本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的相关内容,分享 ...
- python find的使用方法_Python中的rfind()方法使用详解
Python中的rfind()方法使用详解 rfind()方法返回所在子str 被找到的最后一个索引,或者-1,如果没有这样的索引不存在,可选择限制搜索字符串string[beg:end]. 语法 以 ...
- python脚本运行时网络异常_Python中异常重试的解决方案详解
前言 大家在做数据抓取的时候,经常遇到由于网络问题导致的程序保存,先前只是记录了错误内容,并对错误内容进行后期处理. 原先的流程: def crawl_page(url): pass def log_ ...
- python xlrd课程_python中xlrd模块的使用详解
一.xlrd的安装 打开cmd输入pip install xlrd安装完成即可 二.xlrd模块的使用 下面以这个工作簿为例 1.导入模块 import xlrd 2.打开工作薄 # filename ...
- python迭代器创建序列_Python 中迭代器与生成器实例详解
Python 中迭代器与生成器实例详解 本文通过针对不同应用场景及其解决方案的方式,总结了Python中迭代器与生成器的一些相关知识,具体如下: 1.手动遍历迭代器 应用场景:想遍历一个可迭代对象中的 ...
- python decimal类型转化_python中的decimal类型转换实例详解
[Python标准库]decimal--定点数和浮点数的数学运算 作用:使用定点数和浮点数的小数运算. Python 版本:2.4 及以后版本 decimal 模块实现了定点和浮点算术运算符,使用的是 ...
- python的sort方法是哪种_python中的sort方法使用详解
Python中的sort()方法用于数组排序,本文以实例形式对此加以详细说明: 一.基本形式列表有自己的sort方法,其对列表进行原址排序,既然是原址排序,那显然元组不可能拥有这种方法,因为元组是不可 ...
最新文章
- usaco Electric Fence
- 操作系统习题2—进程调度
- python脚本自动运行失败_Linux下Python脚本自启动和定时启动的详细步骤
- Google or Baidu
- 小程序下一破局点?钉钉小程序卡片,应用与平台的深度集成
- LeetCode: Valid Sudoku
- Spring实现多数据源配置
- 在Macbook M1上安装Parallels Desktop 17虚拟机和Originlab 2021
- winform中listview选中整行_Excel办公实操,操作区域的3大小技巧,办公中的你使用过吗...
- Google 今天抽风了!
- Android Studio安装、应用与卸载
- swift. 扩展类添加属性_IOS_Swift中用到extension的一些基本的扩展功能讲解,现有的类,结构或枚举类型的 - phpStudy...
- 基于CarMaker的C-NCAP主动安全系统试验仿真(二)
- 千兆8光8电宽温环网工业以太网交换机8光8电全千兆二层管理型宽温工业级环网交换机 光纤自愈环网工业交换机
- 2021-07-27 Vue修改主页
- bcm5396交换机级联配置_工业以太网交换机的专业术语汇总
- idea修改中文字体
- python日常实用小脚本-Python实现自动挂机脚本 | 沐雨浥尘
- 落魄前端,整理给自己的前端知识体系复习大纲(上篇,2w字)
- 软件工程硕士研究生论文撰写事项
热门文章
- 离职113天后,微软的“中国先生”沈向洋云受聘清华大学教授
- Docker-Compose 基础与实战,看这一篇就够了 | 原力计划
- 如何做一名了不起的开发人员?
- 腾讯云发布“小程序·云开发十大优秀实践”,猫眼、唯品会、香格里拉等入选
- 云数据库时代已来,程序员该如何出击?
- 直接拿来用!Google 新推 AI 模型打破了现有 CNN 技术壁垒
- “Oracle 不会放弃 Java!”
- 第二届字节跳动夏令营启动全球报名,图灵奖得主授课
- Java 在「权力的游戏」里,能活到第几集?
- 苹果输了,赔了高通 2 个亿