源码下载：http://download.csdn.net/download/adam_zs/10167921

1.项目结构，下载图片

2.代码介绍

pipelines.py

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy.http import Request# 下载图片Pipeline
class DownImagePipeline(ImagesPipeline):def get_media_requests(self, item, info):for image_url in item['image_urls']:yield Request(image_url, meta={'item': item, 'index': item['image_urls'].index(image_url)})def file_path(self, request, response=None, info=None):item = request.meta['item']  # 通过上面的meta传递过来itemindex = request.meta['index']car_name = item['car_name'][index] + "." + request.url.split('/')[-1].split('.')[-1]down_file_name = u'full/{0}/{1}'.format(item['country'][0], car_name)return down_file_name

pcauto_spider.py

# -*- coding: utf-8 -*-
import scrapy
from pcauto.items import PcautoImageclass PcautoSpider(scrapy.Spider):name = "pcauto"allowed_domains = ["pcauto.com.cn"]start_urls = ['http://www.pcauto.com.cn/zt/chebiao/guochan/','http://www.pcauto.com.cn/zt/chebiao/riben/','http://www.pcauto.com.cn/zt/chebiao/deguo/','http://www.pcauto.com.cn/zt/chebiao/faguo/','http://www.pcauto.com.cn/zt/chebiao/yidali/','http://www.pcauto.com.cn/zt/chebiao/yingguo/','http://www.pcauto.com.cn/zt/chebiao/meiguo/','http://www.pcauto.com.cn/zt/chebiao/hanguo/','http://www.pcauto.com.cn/zt/chebiao/qita/',]def parse(self, response):item = PcautoImage()srcs = response.xpath('//div[@class="dPic"]/i[@class="iPic"]/a/img/@src').extract()car_name = response.xpath('//div[@class="dTxt"]/i[@class="iTit"]/a//text()').extract()country = response.xpath('//div[@class="th"]/span/a//text()').extract()item['image_urls'] = srcsitem['car_name'] = car_nameitem['country'] = countryyield item

3.运行项目

pycharm中运行begin.py

from scrapy import cmdline# cmdline.execute("scrapy crawl dmoz".split())cmdline.execute("scrapy crawl pcauto".split())

Scrapy修改下载图片名字相关推荐

Python爬虫——利用Scrapy批量下载图片
Python爬虫--利用Scrapy批量下载图片 Scrapy下载图片项目介绍使用Scrapy下载图片项目创建项目预览创建爬虫文件项目组件介绍 Scrapy爬虫流程介绍页面结构分析定义I ...
Scrapy框架下载图片(站酷网下载图片)
Scrapy框架下载图片下载图片 Scrapy框架下载文件(包括图片有自己一套解决方案,比我们直接使用urlretriever更加有优势) 避免重新下载最近下载过的文件可以方便的指定文件存储路径 ...
scrapy (2)下载图片及存储信息
例1:scrapy项目的使用(利用item收集抓取的返回值) 1.创建scrapy项目 1 2 3 4 5 6 scrapy startproject booklist New Scrapy proj ...
scrapy python下载图片_使用Scrapy自带的ImagesPipeline下载图片，并对其进行分类。
imagespipeline是scrapy自带的类,用来处理图片(爬取时将图片下载到本地)用的. 优势: 将下载图片转换成通用的jpg和rgb格式避免重复下载缩略图生成图片大小过滤异步下载 . ...
scrapy 自动下载图片
Item 字段名必须是 image_urls 即:image_urls = Field() item['image_urls']的类型是一个list. item['image_urls'] = &qu ...
Scrapy图片下载，自定义图片名字
原文链接学习Scrapy过程中发现用Scrapy下载图片时,总是以他们的URL的SHA1 hash值为文件名,如: 图片URL:http://www.example.com/image.jpg 它的 ...
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例
一.Scrapy框架简介 Scrapy是:由Python语言开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,只需要实现少量的代码,就能够快速的抓取. S ...
手把手教你用Scrapy 爬取斗鱼妹子头像下载图片
项目展示: 项目结构: 成果: 1.新建项目确保安装了所用到的库 scrapy image Pillow pip install scrapy pip install image pip insta ...
爬虫——scrapy下载图片
使用scrapy下载图片只需要几部,因为系统自带得有(☄⊙ω⊙)☄ [toc] 第一步,还是定义items title,url 第二步,定义spider 爬取的内容然后装入items中上一篇我们说了 ...

Scrapy修改下载图片名字

源码下载：http://download.csdn.net/download/adam_zs/10167921

1.项目结构，下载图片

2.代码介绍

3.运行项目

Scrapy修改下载图片名字相关推荐

最新文章

热门文章