scrapy爬取斗鱼图片并且重命名后保存

斗鱼的api为：

http://capi.douyucdn.cn/api/v1/live?limit=20&offset=0

建立一个scrapy爬虫

douyu.py

import jsonimport scrapy
from Douyu.items import DouyuItemclass DouyuSpider(scrapy.Spider):name = 'douyu'allowed_domains = ['douyucdn.cn']baseURL = 'http://capi.douyucdn.cn/api/v1/live?limit=20&offset='offset = 0start_urls = [baseURL + str(offset)]def parse(self, response):data_list = json.loads(response.body)['data']if len(data_list) == 0:returnfor data in data_list:item = DouyuItem()item['imagelink'] = data['vertical_src']item['nickname'] = data['nickname']yield itemself.offset += 20url = self.baseURL + str(self.offset)yield scrapy.Request(url, callback=self.parse)

piplines

import scrapy
import os
from scrapy.pipelines.images import ImagesPipeline
from Douyu.settings import IMAGES_STORE as images_storeclass DouyuPipeline(ImagesPipeline):def get_media_requests(self, item, info):image_link = item['imagelink']yield scrapy.Request(image_link)def item_completed(self, results, item, info):image_path = [x['path'] for ok, x in results if ok]print('图片路径是：', images_store + image_path[0])os.rename(images_store + '/' + image_path[0], images_store + '/' + item["nickname"] + '.jpg')return item

items

class DouyuItem(scrapy.Item):# define the fields for your item here like:imagelink = scrapy.Field()nickname = scrapy.Field()

setting

USER_AGENT = 'Mozilla/5.0 (Linux; U; Android 4.4.2; zh-cn; PE-TL20 Build/HuaweiPE-TL20) ' \'AppleWebKit/537.36 (KHTML, like Gecko)Version/4.0 MQQBrowser/5.3 Mobile Safari/537.36'

robots需要修改成False

这样爬到的图片就自动重命名后并且下载好了

git地址

scrapy爬取斗鱼图片并且重命名后保存相关推荐

使用Scrapy爬取斗鱼图片
1.具体文件结构 2.代码: items # -*- coding: utf-8 -*-# Define here the models for your scraped items # # See ...
python+scrapy爬取斗鱼图片
创建scrapy的项目请参考:https://blog.csdn.net/qq_35723619/article/details/83614670 items的实现: DouyumeinvSpider ...
Python爬虫：scrapy爬取斗鱼直播图片
通过斗鱼给出的api,获取json文件,解析出图片地址,可以获取直播间的图片斗鱼api接口: http://open.douyucdn.cn/api/RoomApi/live/{num} 比如: h ...
使用scrapy框架爬取斗鱼图片
使用scrapy框架爬取斗鱼图片首先我们先认识一下框架 scrapy-Scrapy是Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scr ...
Scrapy爬取ammmi图片
Scrapy爬取ammmi图片相关配置: python version:3.7 IDE:Pycharm environment:windows10 Framework:Scrapy 相关链接: We ...
使用scrapy爬取斗鱼直播间信息
目录 1. 谷歌抓包工具的使用 1.1 打开Chrome开发者工具的方法 1.2 开发者工具的结构 1.3 network模块 2. 使用谷歌抓包工具抓取斗鱼数据 3. 使用scrapy爬取斗鱼直播间 ...
Scrapy爬取美女图片续集 (原创)
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scra ...
利用python爬虫爬取斗鱼图片(简单详细)
关于在一个安静的夜晚,我缓慢的打开了电脑,望着已经睡着的父母,我轻轻的把门关上,看着斗鱼颜值主播的魅力,我不尽感叹,要是每天都可以不需要那么麻烦的去看那该有多好! 于是我想起了最近刚学的爬虫,嘴角露 ...
Scrapy爬取美女图片续集
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scra ...

scrapy爬取斗鱼图片并且重命名后保存

scrapy爬取斗鱼图片并且重命名后保存相关推荐

最新文章

热门文章