scrapy简单爬取图片

#这里只爬取第一页

items.py
import scrapy
#定义爬取数据
class InsistItem(scrapy.Item):image_urls=scrapy.Field()tengxun.py
import scrapy
from insist.items import InsistItem
import jsonclass TengxunSpider(scrapy.Spider):name = 'tengxun'allowed_domains = ['douyucdn.cn']start_urls = ['http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=']def parse(self, response):item=InsistItem()con=json.loads(response.body)datas=con['data']print(datas)for i in datas:item['image_urls']=[i['vertical_src']]#非常重要，由于#{'scrapy.pipelines.images.ImagesPipeline': 301}用到的是图片的url列表，即使是一个链接也要用列表yield itemsettings.py
ITEM_PIPELINES = {#'insist.pipelines.InsistPipeline': 300,'scrapy.pipelines.images.ImagesPipeline': 1,
}
IMAGES_STORE='C:\\Users\\lenovo\\Desktop\\data'#图片保存地址
IMAGES_URLS_FIELD='image_urls'#保存链接的字段

pipelines.py
import scrapy
from scrapy.pipelines.images import ImagesPipeline#导包
class SDPipeline(ImagesPipeline):def get_media_requests(self,item,info):image_link=item['image_urls']yield scrapy.Request(image_link)最后scrapy crawl tengxun
然后在所写的图片的目录中打开一个full的文件夹查看图片

转载于:https://www.cnblogs.com/persistence-ok/p/11560304.html

scrapy简单爬取图片相关推荐

使用Scrapy爬虫框架简单爬取图片并保存本地(妹子图）
使用Scrapy爬虫框架简单爬取图片并保存本地(妹子图) 初学Scrapy,实现爬取网络图片并保存本地功能一.先看最终效果保存在F:\pics文件夹下二.安装scrapy 1.python的安装 ...
scrapy简单爬取内容
scrapy的简单爬取不用新建项目.安装好scrapy后编写爬虫文件 import scrapyclass ZaobaoScrapy(scrapy.Spider):name = "zaoba ...
python用for循环读取图片_python 使用for循环简单爬取图片（1）
现在的网站大多做了反爬处理,找一个能爬的网站还真不容易. 下面开始一步步实现: 1.简单爬录目图片 1 importurllib.request2 importre3 4 defgethtml(url ...
Scrapy管道爬取图片
大家好,我是python的初学者,我最近在学习Scrapy管道下载时遇到很多问题,最终虽没有完全克服,但也是收获颇丰,下面我将最近遇到并克服的问题与大家分享一下! 本文的基础是pycharm,scra ...
[python学习] 简单爬取图片网站图库中图片
最近老师让学习Python与维基百科相关的知识,无聊之中用Python简单做了个爬取"游讯网图库"中的图片,因为每次点击下一张感觉非常浪费时间又繁琐.主要分享的是如何爬取HTML的 ...
（纯小白）Python简单爬取图片
在具体介绍图片爬取之前我们先简单弄个小实验,使用Python来写一个下载图片的程序. #完整代码 import requestsdef down_pic(down_url, picname):head ...
利用scrapy简单爬取新片场前20页视频数据，并存入mysql数据库
1.创建Scrapy项目 scrapy startproject XPC 2.进入项目目录,使用命令genspider创建Spider(注意后面允许爬取的域要增加) scrapy genspider ...
python+scrapy简单爬取淘宝商品信息
python结合scrapy爬取淘宝商品信息一.功能说明: 已实现功能: 通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息. 待扩展功能: 爬取商品中的全部其他商品信息. 二. ...
python爬取图片实例_Python简单爬取图片实例
都知道Python的语法很简单易上手,也很适合拿来作爬虫等等,这里就简单讲解一下爬虫入门--简单地爬取下载网站图片.html 效果就像这样自动爬取下载图片到本地:python 代码: 其实很简单,咱 ...

scrapy简单爬取图片

scrapy简单爬取图片相关推荐

最新文章

热门文章