scrapy爬虫下载文件、重命名文件

scrapy下载文件并重命名文件，python下载文件并重命名文件

目标：下载网页 http://www.zimuku.cn/search?q=&t=onlyst&p=1 上的字幕文件

设计：涉及scrapy的文件下载中间件

扩展：下载图片也是同样的原理

代码：如下

(1)爬虫模块

# coding:utf-8

import sys
import urllib
import os
reload(sys)
sys.setdefaultencoding( "utf-8" )

import scrapy
from w3lib.html import remove_tags
from subtitle_crawler.items import SubCrawlerItemclass SubSpider(scrapy.Spider):
    name = "sub"
    allowed_domains = []
    start_urls = [
            "http://www.zimuku.cn/search?q=&t=onlyst&p=%s" %i for i in range(1,21)
    ]

    def parse(self, response):
        hrefs = response.selector.xpath('//div[contains(@class, "persub")]/h1/a/@href').extract()
        for href in hrefs:
            url = response.urljoin(href)
            # print "processing1: ", url
            yield scrapy.Request(url, callback=self.parse_detail)

    def parse_detail(self, response):
        url = response.selector.xpath('//li[contains(@class, "dlsub")]/div/a/@href').extract()[0]
        print "processing2: ", urlitem = SubtitleCrawlerItem()
        item['file_url'] = [url]
        yield item

(2)item模块

import scrapy
class SubCrawlerItem(scrapy.Item):
    # define the fields for your item here like:
    file_url = scrapy.Field()

(3)Pipeline模块，继承重命名模块

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import scrapy
import os
# from scrapy.pipeline.images import ImagesPipeline
from scrapy.pipelines.files import FilesPipeline
from scrapy.exceptions import DropItem

class MyfilesPipeline(FilesPipeline):

    def get_media_requests(self, item,info):
        for url in item["file_url"]:
            yield scrapy.Request(url)

    def file_path(self, request, response=None, info=None):
        """
        重命名模块
        """
        path = os.path.join('D:\\result', ''.join( [request.url.replace('//', '_').replace('/', '_').replace(':', '_').replace('.', '_').replace('__','_'), '.zip']))
        return path

(4)settings模块加入FILES_STORE 并修改 ITEM_PIPELINES

FILES_STORE是下载路径

FILES_STORE = 'D:\\result'
ITEM_PIPELINES = {
    # 'subtitle_crawler.pipelines.SubtitleCrawlerPipeline': 300,
    'subtitle_crawler.pipelines.MyfilesPipeline': 400,# 'scrapy.pipeline.files.FilesPipeline': 1
}

有什么不会的可以在下面留言

参考官方文档：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/images.html

scrapy爬虫下载文件、重命名文件相关推荐

node.js 文件重命名||文件复制||删除||追加增删改查
文件重命名 //文件处理 const fs = require("fs") //文件路径 const pathToFile = path.join(__dirname, " ...
批处理命令删除文件,重命名文件
@echo off rem %1 为路径参数; rem del /q /s del /q /s D:\数据库-勿删\Data\config.xml 删除文件 rem rename D:\数据库-勿删 ...
Linux 命令之 mv -- 移动文件/重命名文件
文章目录命令介绍语法格式常用选项命令示例 (一)文件重命名 (二)目录重命名 (三)移动目录 (四)移动目录且重命名 (五)将一个目录下的内容移动到另外一个目录下 (六)移动文件 (七)移动多 ...
(转)C#对FTP的操作（上传，下载，重命名文件，删除文件，文件存在检查）
转自:http://blog.csdn.net/hejialin666/article/details/3522815 1 using System; 2 using System.Collectio ...
cmd ren命令重命名文件（夹）
ren取自rename的前三个字母,name在英文中有"为--取名"的意思,而re是前缀,有"重新做某事"的含义,结合起来,rename就是重命名的含义. re ...
python下载文件并改名_第46p，8行代码，用Python批量重命名文件
大家好,我是杨数Tos,这是<从零基础到大神>系列课程的第46篇文章,第二阶段的课程:Python基础知识:小案例之用Python批量重命名文件. 学习本课程,建议先看一遍:[计算机基础知 ...
python 重命名文件出现乱码_下载的文件名总是「乱码」？这里有各平台的解决方法...
说起「乱码」,没遇到过的电脑用户可能是极少的,尤其在国内中文环境下.暴露年龄的「烫烫烫」系列乱码已经绝迹,现如今遇到的往往是类似「%E9%AB%98%E9%A2%91」和「èªå¨é£è±è½»ä¼¼ ...
华为云OBS对象存储使用临时URL访问，并对下载文件重命名
目录解读 1.使用临时URL访问OBS,并获取临时URL 官方文档举例 2.使用临时URL访问OBS,并对临时URL下载的文件重命名分析举例解读在使用OBS进行对云上文件进行下载的时候,发 ...
迅雷下载iso镜像失败（文件重命名失败）
打开文件夹找到相应文件重命名(去掉后缀)即可

scrapy爬虫下载文件、重命名文件

scrapy爬虫下载文件、重命名文件相关推荐

最新文章

热门文章