• http://www.ituring.com.cn/article/114408

#-*- coding: utf-8 -*-
#coding：UTF-8import scrapy#自定义要获取的数据Item的结构
class GifItem(scrapy.Item):#自定义数据item的结构,这里的item只有gif_url一项#要获取更多的数据，可以增加item的项gif_url = scrapy.Field()pass

#-*- coding: utf-8 -*-
#coding：UTF-8
import urllib
import urllib2
import time
import os
import shutil
from scrapy.exceptions import DropItem
import pymongo#Pineline用于处理获取到的item数据
class GifPipeline(object):#启动爬虫时执行，新建一个名为gaoxiao_gif的文件#创建一个名为gif_url的mongo数据库, 并创建一个集合my_collection#创建一个名为gif_url的txt文件def __init__(self):conn = pymongo.Connection('localhost', 27017)db = conn['gif_url']self.collection = db['gif_collection']self.f = open('url_gif.txt', 'wb')if os.path.exists('gaoxiao_gif'):  shutil.rmtree("gaoxiao_gif")  else:  os.mkdir("gaoxiao_gif")#爬虫启动时调用，处理获取到的item数据,注意item是每一个页面的数据集合def process_item(self, item, spider):#去除没用的数据if item['gif_url']:#遍历每个页面item集合里面的所有url#字符串判断，过滤所有.jpg和.png文件，只下载gif文件#将url插入mongo数据库#将url存放进txt，稍后可以用迅雷下载for i in item['gif_url']:if ".gif" in i:self.f.write(i)self.f.write('\r\n')gif_url=[{"url":i}]self.collection.insert(gif_url)now = time.localtime(time.time())fname = str(now)urllib.urlretrieve(i, 'gaoxiao_gif/%s.gif' %fname)else:raise DropItem(item)return item#爬虫关闭时调用def close_spider(self, spider):print("Done")

设置Setting.py文件启动Pipeline功能：

# -*- coding: utf-8 -*-BOT_NAME = 'gif'SPIDER_MODULES = ['gif.spiders']
NEWSPIDER_MODULE = 'gif.spiders'#启动对应的Pipeline，有多个Pipeline时，数字小的先执行
ITEM_PIPELINES={'gif.pipelines.GifPipeline': 1}

启动爬虫，下载gif

• 打开CMD，CD到项目目录
• 执行scrapy crawl  gif