在Python里通过Pandas和pymysql库批量修改MySQL数据库的字段名称和字段类型

在Python做一个关键词排名处理程序的时候，使用Pandas将处理好的数据以pd.to_sql的方法写入MYSQL数据库，带有日期的字段名自动加了时分秒这样的"00:00:00"字符，比如原来列名称为2020-02-29，pandas处理并导入数据库后，字段名变为了2020-02-29 00:00:00，并且字段类型自动设置成了DOUBLE，由于有几十个字段，手动一个个修改太麻烦，而且容易出错。于是想到了用Pandas和pymysql库来处理。
核心思路如下：

用pymysql库来建立数据库连接引擎
用Pandas的pd.read_sql()方法来从mysql数据库读取1条记录，返回的数据为DataFrame, pd.columns就算这个数据表的全部字段名称，然后用for col in pd.columns.tolist()就可以把这个数据表的字段名称全部读取出来，再用字符替换函数replace把 00:00:00替换成空值。
再用这个新的值生成SQL语句，并设定好新字段数据类型，用pymysql库的connection对象的游标cursor.execute(sql)方法来循环执行所有字段修改就可以了。

另外的方式是直接用SQL语句查询数据库里存储字段名称的系统表来获取字段名称，但是我觉得这种方法太麻烦，主要是不熟悉。所以采用了pandas来读取sql的方法。

关键代码如下：

import pymysql.connections
import pandas as pd
def connect_mysql():   #连接数据库#下面数据库连接信息是瞎编的conn = pymysql.connect(host='110.110.119.112', user='coolyl',passwd='fakeg@2021',db='testdb',port=3306,charset='utf8')print('数据库连接成功')return conn
if __name__ == '__main__':conn=connect_mysql()sql='select * from keywords_para limit 1'df=pd.read_sql(con=conn,sql=sql,index_col='ID')cursor = conn.cursor()for col in df.columns.tolist():sql = "ALTER TABLE `keywords_para` CHANGE COLUMN `" \+ str(col) + \  #这是旧字段名"` `" \     #下面是修改后的字段名和类型+ str(col).replace(' 00:00:00','') + \"` MEDIUMINT UNSIGNED NULL DEFAULT NULL"try:result=cursor.execute(sql)print('成功执行SQL:',sql)except Exception as e:print('执行SQL错误：',sql)print('错误信息：%s'%e)conn.close()  #关闭数据库连接

执行过程中会打印出实时信息，提示操作状态，因为这个表的数据很大，所以每执行一条语句，要等一会才能执行下一条。

数据库连接成功
成功执行SQL: ALTER TABLE keywords_para CHANGE COLUMN 2018-11-30 00:00:00 2018-11-30 MEDIUMINT UNSIGNED NULL DEFAULT NULL
成功执行SQL: ALTER TABLE keywords_para CHANGE COLUMN 2018-12-31 00:00:00 2018-12-31 MEDIUMINT UNSIGNED NULL DEFAULT NULL
成功执行SQL: ALTER TABLE keywords_para CHANGE COLUMN 2019-01-31 00:00:00 2019-01-31 MEDIUMINT UNSIGNED NULL DEFAULT NULL
执行SQL错误： ALTER TABLE keywords_para CHANGE COLUMN 2021-03-06 00:00:00 2021-03-06 MEDIUMINT UNSIGNED NULL DEFAULT NULL
错误信息：(1054, “Unknown column ‘2021-03-06 00:00:00’ in ‘keywords_para’”)
成功执行SQL: ALTER TABLE keywords_para CHANGE COLUMN 2021-03-13 00:00:00 2021-03-13 MEDIUMINT UNSIGNED NULL DEFAULT NULL

在Python里通过Pandas和pymysql库批量修改MySQL数据库的字段名称和字段类型相关推荐

mysql数据库目标库_修改mysql数据库的库名
假如源数据库名称为"srcdb",目标数据库名称为trgdb 首先创建目标数据库: create database trgdb; 查看源数据库中的所有表名: use informa ...
新发的日常小实验——使用python的PIL库批量修改图片尺寸，确保宽和高是4的倍数（Unity、PIL、Pillow、压缩）
文章目录一.问题:图片导入Unity被调整成2的N次方二.设置不转换成2的N次方三.使用ETC压缩格式,图片宽高必须是4的倍数四.使用python的PIL库批量修改图片尺寸,确保宽和高是4的倍 ...
imooc的疯狂的蚂蚁的课程《Python操作MySQL数据库》 python3+pymysql模块来操作mysql数据库
以下代码为imooc的疯狂的蚂蚁的课程<Python操作MySQL数据库>的python3版本的代码,使用的是pymysql模块来操作mysql数据库,代码与原课程有所改动,注意运行时需要 ...
计算机毕业设计python+django摄影作品相册分享系统(源码+系统+mysql数据库+Lw文档）
项目介绍随着人们生活水平的逐步提高,旅游成了大家必不可少放松项目,每当笔者走到一个美丽的景点,就会忍不住拿起数码相机照上几张留做回忆.虽然照片最后会存入到自己的电脑里,但是时间一长.照片一多,这些有 ...
linux mysql库文件路径设置_MySQL_linux修改mysql数据库文件的路径，mysql更改数据文件的存放路径 - phpStudy...
linux修改mysql数据库文件的路径 mysql更改数据文件的存放路径感觉直接把/etc/my.cnf中的datadir改一下重启一下服务就行,但是从网上搜了n多资料,大部分都是更改my.cnf中 ...
计算机毕业设计Python+djang公务员考试信息管理系统(源码+系统+mysql数据库+Lw文档）
项目介绍随着社会的发展,近些年来的毕业生大多数会选择考研,考公员和考试教师资格证以增加自己在未来社会中的竞争能力.为了让这些有志之士能够有一个更好的学习和交流平台,我们通过计Python+djang ...
宏命令对word里的图片尺寸大小进行批量修改（按比例修改）
宏命令对word里的图片尺寸大小进行批量修改(按比例修改) Sub 批量调整图片尺寸() '锁定图片的纵横比 '设置图片大小(1cm=28.35px) SizeHeight = 22.33 * 28. ...
python hive mysql_[7] 编写Python脚本将Hive的运算结果保存到MySQL数据库中(1) - 摩西莫西 - ITeye技术网站...
编写Python脚本将Hive的运算结果保存到MySQL数据库中(1) 很多情况下,需要将Hive中的运算结果保存到MySQL数据库中,可以通过简单的Python脚本来实现. 例子1:如果获取Hive ...
[7] 编写Python脚本将Hive的运算结果保存到MySQL数据库中(1) - 摩西莫西 - ITeye技术网站...
[7] 编写Python脚本将Hive的运算结果保存到MySQL数据库中(1) - 摩西莫西 - ITeye技术网站 [7] 编写Python脚本将Hive的运算结果保存到MySQL数据库中(1) - ...

在Python里通过Pandas和pymysql库批量修改MySQL数据库的字段名称和字段类型

在Python里通过Pandas和pymysql库批量修改MySQL数据库的字段名称和字段类型相关推荐

最新文章

热门文章