爬取数据并写入MySQL数据库

1.爬取思路总结概述：

a.请求网页，获取json数据：request函数

b.使正则re 模块，提取出 { {……} }信息所在部分的字典：re.search()

c.为了防止连续请求中出现，IP被封的风险，将数据保存到文件中，实现数据永久化存储

d.读取文件中的数据，数据筛选，提取有用信息：可使用jsonpath库快速定位查找

e.写入CSV文件，写入数据库MySQL：写入数据库时，可能会有异常而终止，加入try……

2.数据提取、存储源码如下：

from urllib import request
import re,json,csv
from jsonpath import jsonpathurl='https://voice.baidu.com/act/newpneumonia/newpneumonia'
dates=request.urlopen(url)
res=dates.read().decode()
date=re.search(r'id="captain-config">(.*?)</script>',res).group().replace('id="captain-config">','').replace('</script>','')
# 将网页抓取到json信息保存到文件
with open('shuju.json','w',encoding='utf-8') as fp:fp.write(date)
# 从文件中读取信息
with open('shuju.json','r',encoding='utf-8') as fp1:# 读取数据并反序列化D=json.loads(fp1.read())# 信息查找，可使用jsonpath快速定位查找信息列表 jsonpath(D,'$..caseList')
list1 = []
for x in D['component'][0]['caseList']:for y in x['subList']:dict1 = {}dict1['省份']=x['area']dict1['城市']=y['city']dict1['累计确诊']=y['confirmed']dict1['当前确诊']=y['confirmedRelative']dict1['新增无症状感染者']=y['asymptomaticRelative']dict1['累计死亡']=y['died']list1.append(dict1)# # 写入csv文件
with open('百度疫情.csv','w',encoding='utf-8') as fp2:header = ['省份', '城市', '累计确诊', '当前确诊', '新增无症状感染者', '累计死亡']writer = csv.DictWriter(fp2, header)for ss in list1:if ss!=[]:writer.writerow(ss)else:continue# 向数据库的指定数据表插入数据，这里已经提前创建好数据库
import pymysql
try:db=pymysql.connect(host='localhost',           # 数据库服务器ip,Windows上的数据库,使用回环ip或者localhostuser='root',                # 用户password='********',        # 登录密码port=3306,                  # 端口号，默认3306db='baiduyiqing'            # 数据库名)print(db)       # 获取数据库连接对象# 获取一个游标对象with db.cursor() as cursor:sql='insert into yiqing(`省份`,`城市`,`累计确诊`,`当前确诊`,`新增无症状感染者`,`累计死亡`) values(%s,%s,%s,%s,%s,%s)'# 执行sql语句for s in list1:# 字段是一个元组affected_row=cursor.execute(sql,(s['省份'],s['城市'],s['累计确诊'],s['当前确诊'],s['新增无症状感染者'],s['累计死亡']))if affected_row==1:db.commit()
except pymysql.MySQLError as e:
# 如果错误 回滚 恢复到操作前的状态db.rollback()print(e)
finally:db.close()

3.写入CSV文件：

4.写入MySQL数据库：（数据很多并没有完全展示）

爬取数据并写入MySQL数据库相关推荐

python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据. 按 F12 或 ctrl+u 审查元 ...
python爬取mysql数据_Python爬取数据并写入MySQL数据库的实例
Python爬取数据并写入MySQL数据库的实例来源:中文源码网浏览: 次日期:2018年9月2日 [下载文档: Python爬取数据并写入MySQL数据库的实例.txt ] (友 ...
python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
Python爬取数据并写入MySQL
关于爬虫爬取数据并存入MySQL数据库(以东方财富网上的股票数据为例,网页:深南电A(000037)资金流向 _ 数据中心 _ 东方财富网) 第一步,创建数据库中的数据表 import request ...
python爬虫开发数据库设计入门经典_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作.分享给大家供大家参考,具体如下: 爬一个电脑客户端的订单.罗总推荐,抓包工具用的是HttpAnalyzerStdV7,与chr ...
练习使用Python post请求爬取数据，并用mySQL数据库进行存储
2019独角兽企业重金招聘Python工程师标准>>> 我看了许多教程,之前练习过爬取百度百科和汽车之家,都没有成功,可能功力不到,有些问题总看不出到底是哪里出了毛病. 我看得其中有 ...
mysql打印语句_大数据挖掘—（八）：scrapy爬取数据保存到MySql数据库
(大数据挖掘-(七):读懂MySql数据库操作)(大数据挖掘神器--scrapy spider爬虫框架(五):解析多层网页) 通过往期的文章分享,我们了解了如何爬取想要的数据到Items中,也了解了如 ...
python：使用selenium爬取51job（前程无忧）并将爬取数据存储到MySql数据库中的代码实例
自己捣鼓了几天写的代码,基本上把51job的岗位相关的数据都爬下来了,可以视要求自行增减,代码虽然有些简陋,不过我爬取的时候没报什么错.代码适合初学者学习使用,废话不多说,代码如下: from sel ...
python爬取新闻存入数据库_python 爬取古诗文存入mysql数据库的方法
使用正则提取数据,请求库requests,看代码,在存入数据库时,报错ERROR 1054 (42S22): Unknown column 'title' in 'field list'.原来是我写s ...

爬取数据并写入MySQL数据库

1.爬取思路总结概述：

2.数据提取、存储源码如下：

3.写入CSV文件：

4.写入MySQL数据库：（数据很多并没有完全展示）

爬取数据并写入MySQL数据库相关推荐

最新文章

热门文章