步骤1：构造Item

import scrapyclass StockItem(scrapy.Item):stock_code = scrapy.Field()company_name = scrapy.Field()stock_type = scrapy.Field()class CompanyInfoItem(scrapy.Item):name = scrapy.Field()company_name = scrapy.Field()

步骤2：构造Pipeline

from .items import StockItem, CompanyInfoItem
import pymysqlclass MyPipeline(object):def __init__(self): # 这里可以定义数据库的一些配置host = "127.0.0.1"user = "testuser"password = "testpassword"db = "test_db"self.conn = pymysql.connect(host=host, user=user, password=password, database=db)self.cursor = self.conn.cursor()def process_item(self, item, spider):if isinstance(item, StockItem):print("StockItem") # StockItem的处理逻辑elif isinstance(item, CompanyInfoItem):print('CompanyInfoItem') # CompanyInfoItem的处理逻辑

如果是多个spider，这里的process_item也可以使用spider.name先作区分

除了：isinstance(item, StockItem)，还可以使用：

item.__class__.__name__ == "StockItem"

步骤3：setting配置pipeline

ITEM_PIPELINES = {'company_finance.pipelines.MyPipeline': 300,
}

scrapy使用pipeline保存不同的表单Item到数据库、本地文件相关推荐

php表单提交到数据库详解
一般朋友们逛一些网站的时候,想使用网站或者看到更多网站里的内容,网站会要求用户进行新用户的注册,网站会把新用户的注册信息存入数据库中,需要的时候再进行提取. 这样网站就会首先创建自己的数据库和对应的表 ...
获取当前按钮所在行的input_form表单的input上传文件
在这次的一个小项目中用到了文件的上传,在之前我对form表单的认知还只是发送用户名和密码.行吧,既然用到了那就硬着头皮上咯. 使用首先文件的上传需要一个type=file的input.它的意义就是上 ...
[html] Form表单是怎么上传文件的？你了解它的原理吗？
[html] Form表单是怎么上传文件的?你了解它的原理吗? 简单来说就是把文件转化成字节流,然后使用http进行传输,后端接受后在把二进制转化成原先的文件格式.在HTML表单中,可以上传文件的唯一 ...
Django框架之 Form表单和Ajax上传文件
Django框架之 Form表单和Ajax上传文件浏览目录 Form表单上传文件 Ajax上传文件伪造Ajax上传文件 Form表单上传文件 html 1 2 3 4 5 6 7 <h3& ...
报错解决：form表单提交存入数据库出现中文乱码
遇到问题:在JavaWeb学习阶段,通过表单提交对数据库数据进行修改,发现原本为中文字段的数据,表单提交之后都变成了乱码. 解决措施:针对form表单的请求方式修改编码格式 get和post请求的区别 ...
php表单提交至数据库
一.php配置MySQL 1.将php安装目录下的php_mysql.dll和MySQL安装目录下的libmysql.dll文件拷贝至c:/windows/system32中: 2.配置php.ini ...
html提交表单到sql,HTML表单到SQL数据库
我有一个HTML表单,我想要将SQL数据库连接到表中.我几乎没有使用SQL的经验,因为这是我第一次使用它.我通过CodeAchedemy学习了一些基本的命令,但除此之外,我不知道我在做什么.HTML表 ...
Ajax传Form表单，包括上传文件
2019独角兽企业重金招聘Python工程师标准>>> 被这个问题困扰了好久...真是醉了借用了jquery 的插件,jquery-form.js,链接:http://jquery ...
一、PHP基础——表单传值、上传文件
表单传值概念: 表单传值即浏览器通过表单元素将用户的选择或者输入的数据提交给后台服务器语言. 为什么使用表单传值? 动态网站(Web2.0)的特点就是后台根据用户的需求定制数据,所谓的"需 ...

scrapy使用pipeline保存不同的表单Item到数据库、本地文件

文章目录

步骤1：构造Item

步骤2：构造Pipeline

步骤3：setting配置pipeline

scrapy使用pipeline保存不同的表单Item到数据库、本地文件相关推荐

最新文章

热门文章