scrapy 序列化写入器 —

scrapy 序列化写入器

Scrapy支持多种序列化格式(serialization format)及存储方式(storage backends)。

如果你是想单纯的将数据输出或存入文件，那直接可以用Scrapy提供的现成类。
Item Exporters

为了使用 Item Exporter，你必须对 Item Exporter 及其参数 (args) 实例化。每个 Item Exporter 需要不同的参数。在实例化了 exporter 之后，你必须：

调用方法start_exporting()以标识过程的开始。
对要导出的每个item调用export_item()方法。
最后调用finish_exporting()表示过程的结束

例如:

from scrapy.exporters import JsonItemExporterclass TestPipeline(object):def open_spider(self, spider):self.fp = open("data.json", 'wb')  # 打开文件 ,要以wb的形式打开self.exporter = JsonItemExporter(self.fp, ensure_ascii=False, encoding='utf-8')   # 实例化写入器self.exporter.start_exporting() # 开启写入器def process_item(self, item, spider):self.exporter.export_item(item) # 写入一条数据return itemdef close_spider(self, spider):self.exporter.finish_exporting() # 关闭写入器self.fp.close()  # 关闭文件

序列化方式(Serialization formats)

导入方式:from scrapy.exporters import XXXX

JSON(常用)
- ```
JsonItemExporter
```
JSON lines(常用)
- ```
JsonLinesItemExporter
```
CSV
- ```
CsvItemExporter
```
XML
- ```
XmlItemExporter
```

关于JsonItemExporter和JsonLinesItemExporter

源码如下:

class JsonLinesItemExporter(BaseItemExporter):#指定了输出文件，以及BaseItemExporter所需要的属性。#ScrapyJSONEncoder提供了将字典类型的数据转换为Json格式数据的方法def __init__(self, file, **kwargs):self._configure(kwargs, dont_fail=True)self.file = filekwargs.setdefault('ensure_ascii', not self.encoding)self.encoder = ScrapyJSONEncoder(**kwargs)#将转化为字典类型的item写入指定的文件中,每条数据就是一个字典def export_item(self, item):itemdict = dict(self._get_serialized_fields(item))data = self.encoder.encode(itemdict) + '\n'self.file.write(to_bytes(data, self.encoding))class JsonItemExporter(BaseItemExporter):#创建Json格式的Exporter
#与JsonLinesItemExporter不同的是该类会把所有的item封装成数组写入文件，
#整个json文件就是一个列表。def __init__(self, file, **kwargs):self._configure(kwargs, dont_fail=True)self.file = file# there is a small difference between the behaviour or JsonItemExporter.indent# and ScrapyJSONEncoder.indent. ScrapyJSONEncoder.indent=None is needed to prevent# the addition of newlines everywherejson_indent = self.indent if self.indent is not None and self.indent > 0 else Nonekwargs.setdefault('indent', json_indent)kwargs.setdefault('ensure_ascii', not self.encoding)self.encoder = ScrapyJSONEncoder(**kwargs)self.first_item = Truedef _beautify_newline(self):if self.indent is not None:self.file.write(b'\n')def start_exporting(self):self.file.write(b"[")self._beautify_newline()def finish_exporting(self):self._beautify_newline()self.file.write(b"]")def export_item(self, item):if self.first_item:self.first_item = Falseelse:self.file.write(b',') # 添加逗号self._beautify_newline()  # 添加\n换行itemdict = dict(self._get_serialized_fields(item))data = self.encoder.encode(itemdict)self.file.write(to_bytes(data, self.encoding))

大致概括下：

（要用二进制的方式来写）

首先我们从名字里大致可以看出来了，两者区别 Lines 也就是行的意思.

JsonLinesItemExporter每一条数据就是一个字典,一个字典一行,没有逗号隔开,这个文件不是一个特别规范的json文件

JsonItemExporter在打开写入器和关闭写入器的时候分别写入看[和]并且每一条数据都有逗号和换行分隔,整个文件是一个字典列表

scrapy 序列化写入器 ——ItemExporter相关推荐

2013-6-28-StreamWriter写入器
1.web StreamWriter sw = new StreamWriter(AppDomain.CurrentDomain.BaseDirectory + "/xmuser_add.t ...
python在读写文件之前需要创建文件对象-Python对象序列化写入文件对象
1.创建Python文件对象的读写模式(r,w模式)与创建Java输入输出流: FileInputStream inputStream=new FileInputStream(new File(&qu ...
C#温故而知新学习系列之XML编程—Xml写入器XmlWriter类（三）
前言与XmlReader类相对应,.NETFramework也提供了一个以快速的,非缓存的,只向前的,动态写入XML数据的类即XmlWriter类,可以将XmlWriter类理解为与XmlReade ...
java 序列化写入mysql_java 序列化到mysql数据库中
使用hibernate跟数据库打交道 hibernate配置文件如下 /p> "-//Hibernate/Hibernate Configuration DTD 3.0//EN&quo ...
scrapy异步写入mysql_scrapy之异步写入数据库
1 setting.py文件,写入数据库连接属性# mysql连接属性 MYHOST = '127.0.0.1' MYUSER = 'root' MYPASSWORD = '123' MYDB = ' ...
网络爬虫--26.Scrapy中下载器中间件Downloader Middlewares的使用
文章目录一. Downloader Middlewares 二. 设置随机请求头三. ip代理池中间件一. Downloader Middlewares 二. 设置随机请求头三. ip代理池中 ...
Scrapy是什么?Scrapy怎么用?Scrapy进阶使用[链接提取器、自动登录、图片(文件)下载器](基于scrapy2.0+编写) ๑乛◡乛๑ Scrapy框架使用方法
文章目录 Scrapy框架链接提取器(LinkExtractors) Rule与LinkExtractor 实战演示自动登录旧方法-携带cookie登录和模拟提交登录表单新方法-自动登录图片 ...
Python scrapy爬虫爬取伯乐在线全部文章，并写入数据库
伯乐在线爬虫项目目的及项目准备: 1.使用scrapy创建项目 2.创建爬虫,bole 域名 jobbole.com 3.Start_urls = ['http://blog.jobbole.com/ ...
html5lib解析丢失span标签,xpath - 可以用Beautiful Soup的html5lib解析器替换Scrapy的默认lxml解析器吗？ - 堆栈内存溢出...
问题:有没有办法将BeautifulSoup的html5lib解析器集成到scrapy项目中,而不是scrapy的默认lxml解析器中? Scrapy的解析器在某些抓取页面上失败(对于某些元素). 每 ...

scrapy 序列化写入器 ——ItemExporter

scrapy 序列化写入器

序列化方式(Serialization formats)

关于JsonItemExporter和JsonLinesItemExporter

scrapy 序列化写入器 ——ItemExporter相关推荐

最新文章

热门文章