当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。

使用scrapy框架写的当当网数据爬取，数据能爬下来，但是导入不进去数据库中

大神，又来打扰你了

1.数据库名称：

dd：数据库名

ddw 表名

2.问题报错

3.代码：

3.1 items文件代码：

import scrapy

class DangdangItem(scrapy.Item):

title=scrapy.Field()

link=scrapy.Field()

comment =scrapy.Field()

3.2 ddd文件代码：

import scrapy

from dangdang.items import DangdangItem

class DdSpider(scrapy.Spider):

name = 'ddd'

allowed_domains = ['dangdang.com']

start_urls = ['http://category.dangdang.com/pg1-cid4010275.html']

def parse(self, response):

item=DangdangItem()

item['title']=response.xpath('//p[@class="name"]/a/@title').extract()

item['link']=response.xpath('//p[@class="name"]/a/@href').extract()

item['comment']=response.xpath('//p[@class="star"]/a/text()').extract()

yield item

3.3pipeline文件代码

import pymysql

from dangdang.items import DangdangItem

class DangdangPipeline(object):

def process_item(self, item, spider):

conn=pymysql.connect(host="127.0.0.1",user="root",passwd="562390",db="dd")

cursor=conn.cursor()

for i in range(0,len(item["title"])):

title=item["title"][i]

link=item["link"][i]

comment=item["comment"][i]

sql="insert into ddw(title,link,comment)values('"+title+"','"+link+"','"+comment+"')"

conn.query(sql)

conn.close()

return item

当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。相关推荐

［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...
高德地图交通态势爬取并存入MySQL数据库
高德地图交通态势爬取并存入mysql数据库高德地图交通态势开放api链接: 高德交通态势高德地图交通态势使用流程: 第一步,申请"Web服务API接口"密钥(Key): 第二步 ...
coba mysql_在Android Studio中将数据从MySQL数据库显示到TextView中-问答-阿里云开发者社区-阿里云...
我是新手,Android Studio我想将数据库(我使用MySQL)中的数据显示到中TextView.我也使用Button和RadioButton.单击按钮后,数据将显示在中TextView.这是我 ...
python将数据存入数据库_python3 两种方法将数据存入mysql数据库
原博文 2017-09-22 18:25 − 方法一:(数据量小的时候推荐使用这种) 第一步:pip install mysqlclient 这里我没有报错也许你可能会报错Read timed ou ...
基于ThinkPHP5 使用QueryList爬取并存入mysql数据库
QueryList4教程地址: https://doc.querylist.cc/site/index/doc/45 在ThinkPHP5代码根目录执行composer命令安装QueryList: ...
Python爬虫爬取数据到sqlite数据库实例
萌新:使用xpath和正则表达式解析网页内容代码如下: import sqlite3 import re import requests from lxml import htmlfindlink ...
python股票数据库_利用Python爬股票数据并存入数据库Mysql
直接上代码,小白也能爬股票......... import tushare as ts import mysql.connector import re,time #创建所有股票的表格以及插入每支股票 ...
雪球网爬取数据并存入数据库
创建数据库连接 from urllib import request import json import pymysqlclass mysql_connect(object):# 初始化的构造函数d ...
组态中怎么使用mysql数据库_组态王中PLC数据连接MySQL数据库教程
操作步骤: ① 确定中控室电脑连网,并且安装MySQL环境,下载地址如下:https://www.mysql.com/downloads/ ② 修改win MySQL服务信息(最好修改 ...

当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。

当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。相关推荐

最新文章

热门文章

当当网 用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。

当当网 用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。相关推荐

最新文章

热门文章

当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。

当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。相关推荐