scrapy构架
为了方便操作，我们自己新建一个mysqlpipelines文件夹，编写自己的pipelines.py文件，来运行保存items，在此文件夹下新建sql.py来编写我们保存数据库的sql语句。
编写sql语句
打开sql.py 编写代码，首先要连接数据库
import pymysql.cursors
# 连接数据库
connect = pymysql.Connect(host=MYSQL_HOSTS,port=MYSQL_PORT,user=MYSQL_USER,passwd=MYSQL_PASSWORD, db=MYSQL_DB,charset='utf8'
)
cursor = connect.cursor()# 获取游标
print('连接数据库OK')数据库连接ok后，我们打印一下，以便测试
新建一个类，编写sql语句
class my_sql:@classmethod #插入数据def insert_data(cls,novelname,author,category,nameid,status,num,url):...................................................................................@classmethod #判断数据是否存在def select_name(cls,novelname):................................................................................@classmethod # 更新数据def update_data(cls,author,category,nameid,status,num,url,novelname):................................................................................@classmethod # close sqldef close_sql(cls):cursor.close()connect.close()print('数据库断开连接OK')类中我们定义了插入，更新，查询的基本sql语句，最后定义一个关闭数据库的操作,中间操作数据库的详细代码请参考往期文件。
编写pipelines
from myproject.mysqlpipelines.sql import my_sql
from myproject.items import PowersItem
#插入新建的sql与item定义pipelines
class Powerspipeline(object):def process_item(self,item,spider):if isinstance(item,PowersItem):#判断item是否存在novelname=item['novelname']author = item['author']category = item['category']nameid = item['nameid']status = item['status']num = item['num']url = item['novelurl']
#以上获取爬取的数据ret=my_sql.select_name(novelname)#判断数据是否存在在数据库中if ret[0]==1:#已经存在print('已经存在，等待更新')
#若数据库中有以前的数据，更新数据库my_sql.update_data(author,category,nameid,status,num,url,novelname)passelse:
#若数据库中没有数据，保存itemprint('开始保存')my_sql.insert_data(novelname,author,category,nameid,status,num,url)else :print('no find items')return item通过以上的操作我们爬虫的所有代码就完成了，运行代码就可以从数据库中，看到保存的数据