Scrapy保存到txt文件或者数据库里面

首先要理解yield的作用。

在pipelines.py文件中定义了保存方法，但是一直没有保存，为什么呢？

file = open("E:\\Scripy\\spidersitems.txt", "a") # 以追加的方式打开文件，不存在则创建
        # 因为item中的数据是unicode编码的，为了在控制台中查看数据的有效性和保存，
        # 将其编码改为utf-8
        item_string = str(item).decode("unicode_escape").encode('utf-8')
        file.write(item_string)
        file.write('\n')
        file.close()
        print item_string #在控制台输出
        return item # 会在控制台输出原item数据，可以选择不写

最后找到原因，Setting.py里面没有配置，配置如下：

ITEM_PIPELINES = {
'tutorial.pipelines.TutorialPipeline': 300,
}

这样就可以将数据保存了。

Scrapy保存到txt文件或者数据库里面相关推荐

python输出print到txt-pycharm实现print输出保存到txt文件
程序比较大,运行时间又长的时候,不想等着结果,只要先确保程序功能正确无误,可以把需要的结果print然后保存到TXT文件中,超级方便 # 创建一个txt文件,文件名为mytxtfile def tex ...
在当当买了python怎么下载源代码-初学Python 之抓取当当网图书页面目录并保存到txt文件...
这学期新开了门"高大上"的课<机器学习>,也开始入门Python.然后跟我们一样初学Python 的老师布置了个"作业"--用Python 弄个抓取 ...
python将二维和三维数组保存到txt文件
首先要保证在你的python环境中装了numpy包,接下来我们要使用其中的两个函数用于存储和加载数组:np.savetxt()和np.loadtxt(). 二维数组的保存和获取 import nump ...
np.savetxt()——将array保存到txt文件，并保持原格式
np.savetxt()--将array保存到txt文件,并保持原格式 **问题:**1.如何将array保存到txt文件中?2.如何将存到txt文件中的数据读出为ndarray类型? **需求:** ...
C语言下链表数据保存到.txt文件失败
问题描述保存链表中的数据的代码 int readin3(ConRecNode* head) {ListConRec p = head->next;FILE* fp;char fileName[ ...
python 爬取HTML内容并保存到txt文件内
# @UpdateTime : 2020-12-08 16:53 # @Author : wz # @File : Get_WebDetails # @Software: PyCharm # @use ...
python去除数据集里空格_Python将文本去空格并保存到txt文件中
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
使用pycaffe读取caffemodel参数（保存到txt文件）
#!/usr/bin/env python # 引入"咖啡" import caffe import numpy as np # 使输出的参数完全显示 # 若没有这一句,因为参数太 ...
146_路由器项目_附加功能：可以拿取文件内IP保存到过滤链表中，过滤IP也可以保存到txt文件，也可以终端输入IP，保存到文件【单链表的尾插、头插、删除指定节点、遍历等】】
动图: ip_file.h: #ifndef IP_FILE_H #define IP_FILE_H #include <stdio.h> #include <string.h> ...

Scrapy保存到txt文件或者数据库里面

Scrapy保存到txt文件或者数据库里面相关推荐

最新文章

热门文章