scrapy存储到Excel中

首先需要安装下openpyxl,写入Excel是用的这个库

pip install openpyxl

根据需要存储的item字段写入到Sheet的第一行,假如存储的字段分别是sources,url,title的话,如下代码所示,会在wuliao.xlsx中新建一个ware_detail的Sheet来存放数据,通过isinstance判断item的类型,存储指定的item

from openpyxl import Workbook'''
author: tieyongjie
'''class ExcelPipeline(object):def __init__(self):self.wb = Workbook()self.wb.create_sheet("ware_detail")self.ws = self.wb["ware_detail"]self.ws.append(['sources', 'url', 'title'])def process_item(self, item, spider):if isinstance(item, FactoryMaterialItem):self.ws.append([item['sources'], item['url'], item['title']])return itemdef __del__(self):# 调用__del__() 销毁对象，释放其空间self.wb.save('wuliao.xlsx')

最后需要在settings中打开 ITEM_PIPELINES 中存储Excel的管道就可以愉快的存储数据了,如下图

ITEM_PIPELINES = {'HAHA.pipelines.ExcelPipeline': 300,
}

scrapy存储到Excel中相关推荐

easypoi导出word表格_拒绝加班，批量将word文档中的信息高效率提取出来存储到Excel中...
最近,有小伙伴跟我提了一个需求,小伙伴是做扶贫工作的,从扶贫系统里面可以批量的导出每一户的信息到一个word文档中,导出的内容是在word中是以表格的形式存在的.小伙伴的需求是如何批量的将每个word ...
使用selenium爬取电视剧排行榜中电视剧的信息并存储到excel中
本人是爬虫初学者,想通过爬取电视剧信息来巩固自己所学的一些知识,但是在一些网站中并没有找到类似于page的参数,或者就是参数加密,自己的能力没法解开,导入无法使用下一页的功能.所以我就想到了selen ...
【uiautomation】微信好友昵称及备注获取（存储到excel中）
一键获取前程无忧招聘信息,并存储到excel中，全程只需要输入职位名称（51job 你要的自动化这里全都有~~~）
from selenium import webdriver import time import pymysql import pandas as pd from selenium.webdrive ...
pandas 取excel 中的某一列_Excel快速分表（xlwings+pandas）
Excel总表快速分表: step1: 读取exel数据到DataFrame step2: dataframe中数据进行筛选 step3:将筛选完的数据存储到excel中工作中应用实例 step1: ...
matlab数据导出excel,matlab数据点导出excel表格-怎样将matlab中数据导出到excel中？...
怎样将matlab中数据导出到excel中? xlswrite('E:系数.xls',B,'','A2') E:系数.xls 是路径 B是需要导入的矩阵 A2是指矩阵从表格中的A2开始输入希望可以帮 ...
实战｜手把手教你用Python爬取存储数据，还能自动在Excel中可视化
来源 | 早起Python 大家好,在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序,很多本文将迎合热点,延续上次的NBA爬虫GUI,探讨如何爬取虎扑NBA官网数据,并且将数据写入Exc ...
如何用DELPHI实现把WORD、EXCEL和图片等存储到数据库中
如何用DELPHI实现把WORD.EXCEL和图片等存储到数据库中用image字段保存这些文档. var word_stream: TMemoryStream; ...
Python 批量提取Excel中的图片，图片文件名按指定列存储
openpyxl 以及 openpyxl_image_loader,conda或者pip无法安装的话,官网下载whl,然后pip安装本地包 [注意]:图片必须在单元格内,不能压过单元格边界 from ...

scrapy存储到Excel中

scrapy存储到Excel中相关推荐

最新文章

热门文章