异步保存数据到mysql或mssql 学习笔记

from twisted.enterprise import adbapi
class NewtqPipeline:#def process_item(self, item, spider):#print(item['city'],item['day'],item['gw'],item['dw'],item['tq'])#以上两行为直接打印出啦def __init__(self,mssql_config):self.adbpool = adbapi.ConnectionPool(mssql_config['DRIVER'],#易错server = mssql_config['SERVER'],user = mssql_config['USER'],password = mssql_config['PASSWORD'],database = mssql_config['DATABASE'],port = mssql_config['PORT'],charset = 'utf8')@classmethoddef from_crawler(cls,crawler):mssql_config = crawler.settings['MSSQL_CONFIG']return cls(mssql_config)#易错哦def process_item(self, item, spider):result = self.adbpool.runInteraction(self.insert_parse,item)result.addErrback(self.insert_error)return itemdef insert_parse(self,cursor,item):sql = "insert into tianqi(rq,tq,tem,dw,city) values(%s,%s,%s,%s,%s)"args = (item['day'], item['tq'], item['gw'], item['dw'], item['city'])cursor.execute(sql,args)def insert_error(self, failure):print("--" * 30)print(failure)def spider_close(self, spider):self.adbpool.close()

异步保存数据到mysql或mssql 学习笔记相关推荐

python保存数据型变量_Python基础学习笔记（一）变量与数据类型
https://m.toutiao.com/is/J3fN6eK/ Python是一门易学的面向对象的程序设计语言,可以轻易地完成界面.文件.封装等高阶需求,可移植性好,有非常多功能强大的库与包,如N ...
springMVC保存数据到mysql数据库中文乱码问题解决方法
springMVC保存数据到mysql数据库中文乱码问题解决方法参考文章: (1)springMVC保存数据到mysql数据库中文乱码问题解决方法 (2)https://www.cnblogs.co ...
hibernate保存mysql乱码_hibernate保存数据到mysql时的中文乱码问题
因为hibernate底层使用的是jdbc的技术,所以我参考了别人使用jdbc保存数据到mysql里面时解决乱码问题的方法! 首先要告诉数据库要插入的字符串的字符集,mysql 默认使用的字符集是 l ...
emq数据储存到mysql,规则引擎示例 - 保存数据到 MySQL - 《EMQ X Enterprise v4.0 中文文档》 - 书栈网 · BookStack...
保存数据到 MySQL 搭建 MySQL 数据库,并设置用户名密码为 root/public,以 MacOS X 为例:$ brew install mysql $ brew services sta ...
B站《一天学会 MySQL 数据库》学习笔记
B站<一天学会 MySQL 数据库>学习笔记老司机带我飞职场十字诀:思考.计划.行动.总结.反思关注他 4 人赞同了该文章登录和退出MySQL服务器 # 登录MySQL $ my ...
大数据第二阶段Python基础编程学习笔记（待完善）
大数据第二阶段Python基础编程学习笔记(待完善) 第一章 Python基础语法 3.8 1-1Python概述 python基础部分: ●Python基础语法: 标识符,关键字,变量,判断循环.. ...
mysql的sqlyog学习笔记（查询部分）（代码用命令行显示）
索引语言查询基础查询 select 查询列表 from 表名; 查询函数(调用函数,获取返回值) 起别名 +的作用 distinct的使用(去重) 查看表的结构条件查询按关系表达式筛选按逻 ...
mysql性能优化-学习笔记
mysql性能优化-学习笔记
三、MySQL子查询学习笔记（标量子查询、列子查询、行子查询、表子查询详解）
三.MySQL子查询学习笔记 7:子查询含义: 一条查询语句中又嵌套了另一条完整的select语句,其中被嵌套的select语句,称为子查询或内查询:在外面的查询语句,称为主查询或外查询分类: 一 ...
mysql root密码忘记2018_MySQL数据库之2018-03-28设置及修改mysql用户密码学习笔记
本文主要向大家介绍了MySQL数据库之2018-03-28设置及修改mysql用户密码学习笔记 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 退出mysql方法 quit或者e ...

异步保存数据到mysql或mssql 学习笔记

异步保存数据到mysql或mssql 学习笔记相关推荐

最新文章

热门文章