Scrapy基础(八)————图片下载后将本地路径添加到Item中
前边讲到简单的图片下载,但是怎样将图片的本地路径和存储在Item中的数据对应起来,所以本篇博文讲解到如何将
本地的下载后的图片路径写入到Item中
思路:自定义pipline,多加个管道,该管道继承下载图片的类,并重写与Item 交互的方法,从众提取到本地路径,并返回这个Item交给下一个pipline管道
具体代码:
先导入
from scrapy.pipelines.images import ImagesPipeline
1 #补充Item的字段,将文章列表页的图片下载下来,并将图片的路径添加到item 2 class ArticalImagesPipeline(ImagesPipeline): 3 def item_completed(self, results, item, info): 4 for ok,value in results: #debuge得知:result是一个元组,(状态,{"path":"","url":"http://***"}) 5 image_file_path = value["path"] 6 item["front_image_path"] = image_file_path #将提取到的path写入到Item中 7 return item #将加工后的Item传递给下一个管道进行处理
将自定义的管道加入到setting的管道管理的设置
转载于:https://www.cnblogs.com/ruoniao/p/6891284.html
Scrapy基础(八)————图片下载后将本地路径添加到Item中相关推荐
- Android-Studio插件安装后的本地路径
Android-Studio的插件下载后管理操作,需要知道其下载后的详细路径. 这里提供的是默认的Android-Studio的插件下载路径,如果未曾更改,其应该为: C:\Users\Adminis ...
- 手机壁纸设置以及图片下载保存到本地
首先下载网络图片(权限自己处理) public Bitmap GetImageInputStream(final String imageurl, final int i) { //i根据自己的业务做 ...
- Android Http基础:图片下载并显示和WebView的应用,android实战视频教程
/** 在Android上发送HTTP请求的方式一般有两种,HttpURLConnection和HttpClient */ public class MainActivity extends Acti ...
- 关于图片下载后保存背景透明变黑色的问题
bitmap.compress(Bitmap.CompressFormat.PNG, 70, bitmapWtriter); 写本地缓存要配置好压缩方案,不然png图片会损失透明通道 http://w ...
- python爬取淘宝搜索页面+url+图片下载并将信息保存到MySQL数据库中
人狠话不多,直接上代码,都有详细注释,不多解释 需要安装的包: pymysql,用于连接mysql数据库 urllib,爬虫必备包,urllib3也可以 # encoding:utf-8 import ...
- Java布局怎么加图片组件_java – 将图像缩略图添加到网格中的布局...
所以基本上,你需要一些存在于滚动窗格中的容器(通常称为视图). 为此你应该添加你的图像. import java.awt.BorderLayout; import java.awt.Component ...
- python pil保存图片_python爬取百度图片并保存到本地
安装scrapy pip install Scrapy 进入终端,切换到自己项目代码的工作空间下,执行 scrapy startproject baidu_pic_spider 生成如下工程文件: i ...
- python爬取一张图片并保存_python爬取百度图片并保存到本地
安装scrapy pip install Scrapy 进入终端,切换到自己项目代码的工作空间下,执行 scrapy startproject baidu_pic_spider 生成如下工程文件: i ...
- Scrapy之FilesPipeline和ImagesPipline文件与图片下载
Media Pipeline Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的 item pipelines . 这些pipeline有些共同的方 ...
- Bmob+Luban(鲁班)压缩图片实现相册选择图片压缩后上传到Bmob后台Glide加载图片显示到本地
源代码已上传CSDN:https://download.csdn.net/download/qq_16519957/11068345 因为本章需要跟前面的知识结合起来看所以就做了一个前面链接方便大家查 ...
最新文章
- Go 学习笔记(31)— 字符串 string、字符 rune、字节 byte、UTF-8 和 Unicode 区别以及获取字符串长度
- 鹅厂是如何使用 Git 的?
- 使用JDK自带jvisualvm监控tomcat
- GD32F207移植FreeRtos,程序运行vTaskStartScheduler后进入HardFault_Handler死循环解决方法
- HTML与CSS基础知识补遗(一)
- 微盟涉嫌二清,大商户模式将受理严监管
- 电商的本质是“商”还是“用户”?
- 老手机能升级华为鸿蒙,华为正式发布鸿蒙2.0!实现手机、平板等多平台共用一套代码!...
- pyqt界面屏幕分辨率自适应_后台系统界面设计踩过的那些坑
- 账号管理工具_新媒体账号管理工具,自媒体运营神器,管理多个账号很简单
- POJ-1328 Radar Installation 贪心
- 用fft对信号进行频谱分析实验报告_频谱分析之Analyzer软件分析
- 2021-08-21Verilog三段式状态机的写法,标准示例和仿真。
- 如何压缩pdf文件 把pdf文件变小
- 填坑Ⅰ | 简单的数据结构
- Blender带凹凸质感的渐变玻璃材质
- js版【微信机器人】——wechat-robot
- 关关于android 微信sdk 分享 图片 到 朋友圈 的问题
- 《运营力——微信公众号 设计 策划 客服 管理 一册通》一一1.1 创博公众号团队简介...
- QT报错cannot find -lxxx(xxx为被调模型)和undefined reference to’_imp__ZN11/14xxx(xxx为自己定义)
热门文章
- mysql 删除用户下的所有表_使用PL/SQL快速删除用户下的所有表数据
- .net5项目托管到iis无法访问
- C# 递归实现tree view(树结构)
- C# 比较两个数组中的内容是否相同的算法
- 5G技术将如何改变我们的世界
- php extension,php的extension要开启哪些
- 朋友圈文字怎么到中间_怎样查看微信朋友圈访客记录
- MAC编译OpenJDK8:ld: library not found for -lstdc++(独家解决办法)
- 所谓国产机:别的LINUX,要么无法安装,要么安装了跑不起来
- error: ‘avcodec_alloc_frame’ was not declared in this scope