python连接mysql并写入数据(简单爬虫)
1、在python中把一组数据写进mysql中,重点主要是实现python和MySQL的初步连接: import pymysql # 导入pymysql模块,这样才能连接到mysql,但是还需要我们在DOS中-u root -p输入密码登陆一下,否则连接会报错,可以下载另一个模块解决,但是我觉得没必要登录一下就登录呗,否则模块太多了 db = pymysql.Connect(host='localhost', port=3306, user='root', # 连接数据库MySQLpasswd='******', database='db_securities', charset='utf8') #这就是pymysql.Connect函数,里面的参数大家可以主义研究,直接拿来用只需要改你的密码就是passwd='******'和要连接的数据库database='db_securities' cursor = db.cursor() # 相当创建一个光标 sql = """ # 典型的SQL语句,以str的形式 insert into t_pe(date, 10yearsyotb, cna, hs300, zz500, zz1000, cyb, kcb, shch, hkt, nsdq100) values('2022-10-21', 2.7287, 16.36, 10.98, 20.96, 28.35, 45.43, 40.4, 54.72, 36.95, 23.45) """ cursor.execute(sql) # 执行SQL语句相当于“;+enter”,SQL遇到;结束,按下enter执行 db.commit() # 提交命令写入硬盘,不过MySQL默认提交,你不乱改的话 cursor.close() # 关闭光标 db.close() # 关闭数据库
2、python连接mysql并写入简单的爬虫数据,重点是json import requests # 爬虫requests模块 import re # 正则匹配模块 import json # 接送模块,能把类字典的字符串干成字典,能把字典字符串干成字典,反正很强大 import pymysql index_tuple = [] # 建立一个空列表放爬出来的数据 headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) ''AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} # 复制过来一个'user-agent'让爬虫模拟用户的更逼真一些,还可以用cookie,代理IP(免费的已经用烂了) rule = r'quote: (.*),' # 指定正则匹配规则,看一下网页源码数据,自己需求的数据开头是啥,结尾是啥,然后匹配出来 response = requests.get('https://xueqiu.com/S/SH000001', headers=headers) # 发一个get请求,post请求需要交互参数,比如你要输入一个验证码啥的 result = re.findall(rule, response.text) # 把我们的结果匹配出来,匹配出来是个['{目标数据}']这个类型 data = result[0] # 从列表里拿出来'{目标数据}' data1 = json.loads(data) # 用json还原成字典,然后根据key就可以获得value,一下就是重复爬虫部分和第一部分的连接 index_tuple.extend([float(data1['current']), data1['amount']/100000000]) response = requests.get('https://xueqiu.com/S/SZ399006', headers=headers) result = re.findall(rule, response.text) data = result[0] data1 = json.loads(data) index_tuple.extend([float(data1['current']), data1['amount']/100000000]) index_list = [] asd = round(index_tuple[1]+index_tuple[3],2) date = '2022-10-21' db = pymysql.Connect(host='localhost', port=3306, user='root', # 连接数据库MySQLpasswd='******', database='db_securities', charset='utf8') cursor = db.cursor() sql = "insert into t_index(日期, 上证指数, 创业板指数, 2市成交额, 创业板成交额)" \" values('%s', '%.2f', '%.2f', '%.2f', '%.2f')" %(date, index_tuple[0], index_tuple[4], asd, index_tuple[5]) cursor.execute(sql) db.commit() cursor.close() db.close()
python连接mysql并写入数据(简单爬虫)相关推荐
- python连接MySQL并进行数据查询
python连接MySQL并进行数据查询 #建立数据库的连接 mydb = mysql.connector.connect(host="0.0.0.0",user="ro ...
- python向mysql中添加数据标签_用python在MySQL中写入数据和添加数据
在笔者之前的博文中,已介绍了用python连接与mysql数据库的知识.包括如何安装python连接mysql的pymysql包,如何通过cusor语句将python与mysql连接起来,以及如何用p ...
- python连接mysql查询一个数据_使用Connector / Python连接MySQL/查询数据
使用Connector / Python连接MySQL connect()构造函数创建到MySQL服务器的连接并返回一个 MySQLConnection对象 在python中有以下几种方法可以连接到M ...
- python向数据库写入数据_如何用Python向Mysql中插入数据
我们使用Python经常会和Postgresql进行搭配,很少将python和mysql进行搭配.下面小编给大家分享如何用Python向Mysql中插入数据. 工具/原料 Pycharm 方法/步骤 ...
- Python连接MySQL数据库(pymysql),DataFrame写入 MySQL(create_engine)- Python代码
模块安装 使用以下命令安装 PyMySQL: $ pip install PyMySQL 若系统不支持 pip,还可以这样安装: $ git clone https://github.com/PyMy ...
- Python连接MySQL、PostgreSQL数据库(简单便捷)
一.安装库 Python连接MySQL.PostgreSQL数据库需要导入相关的模块,分别是"pymysql"和"psycopg2"模块,我们可以在Pychar ...
- python链接mysql 判断是否成功_【初学python】使用python连接mysql数据查询结果并显示...
因为测试工作经常需要与后台数据库进行数据比较和统计,所以采用python编写连接数据库脚本方便测试,提高工作效率,脚本如下(python连接mysql需要引入第三方库MySQLdb,百度下载安装) # ...
- 【数据平台】基于pymysql库python连接mysql
1.场景:python连接mysql的API使用pymysql库 https://pypi.python.org/pypi/PyMySQL/ 安装:pip install pymysql 即可 2.代 ...
- 使用Connector / Python连接MySQL/查询数据
使用Connector / Python连接MySQL connect()构造函数创建到MySQL服务器的连接并返回一个 MySQLConnection对象 在python中有以下几种方法可以连接到M ...
最新文章
- SQL游标(cursor)详细说明及内部循环使用示例
- 从零入门 Serverless | Serverless 应用如何管理日志 持久化数据
- 不需要SAP请求号修改程序的方法
- Spring Cloud(6.1):搭建OAuth2 Authorization Server
- 木马开机启动的六种方法
- 算法与数据结构(part1)--算法简介及大O表示法
- MyBatis-Plus_AR 模式
- python 手机编程termux_如何优雅的在手机上进行Python编程?
- android 通知_Android 全局消息通知框架实现(类似EventBus)
- Nginx 动态模块
- 性能测试测试环境与生产环境_不在生产中测试? 在生产中进行测试!
- mysql查询语句有点难_Mysql惯用函数,难点,注意_mysql
- C++之继承探究(九):多态的代价
- 数据:以太坊2.0合约余额新增1.52万ETH
- python实现将文件夹/子文件夹中内容清空
- Ubunt 12.04 中的QT中配置Tyin mini210 的交叉编译环境
- php ayyay,在PHP中使用Redis
- 超详细使用VirtualBox安装虚拟机
- LayUI之动态选项卡Tabiframe使用
- the little schemer 学习