pandas转mysql特定列_在pandas.DataFrame.to_sql时指定数据库表的列类型
问题
在数据分析并存储到数据库时,Python的Pandas包提供了to_sql 方法使存储的过程更为便捷,但如果在使用to_sql方法前不在数据库建好相对应的表,to_sql则会默认为你创建一个新表,这时新表的列类型可能并不是你期望的。例如我们通过下段代码往数据库中插入一部分数据:
import pandas as pd
from datetime import datetime
df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]],
columns=['str', 'int', 'float', 'datetime', 'boolean'])
print(df.dtypes)
通过_dtypes_可知数据类型为object, int64, float64, datetime64[ns], bool
如果把数据通过to_sql方法插入到数据库中:
from sqlalchemy import create_engine
engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format('username', 'password', 'host:port', 'database'))
con = engine.connect()
df.to_sql(name='test', con=con, if_exists='append', index=False)
用MySQL的_desc_可以发现数据库自动创建了表并默认指定了列的格式:
# 在MySQL中查看表的列类型
desc test;
Filed
Type
Null
Key
Default
Extra
str
text
YES
NULL
int
bigint(20)
YES
NULL
float
double
YES
NULL
datetime
datetime
YES
NULL
boolean
tinyint(1)
YES
NULL
其中str类型的数据在数据库表中被映射成text,int类型被映射成bigint(20), float类型被映射成double类型。数据库中的列类型可能并非是我们所期望的格式,但我们又不想在数据插入前手动的创建数据库的表,而更希望根据DataFrame中数据的格式动态地改变数据库中表格式。
分析
通过查阅pandas.DataFrame.to_sql的api文档1,可以通过指定dtype 参数值来改变数据库中创建表的列类型。
dtype :
dict of column name to SQL type, default None
Optional specifying the datatype for columns. The SQL type should be a SQLAlchemy type, or a string for sqlite3 fallback connection.
根据描述,可以在执行to_sql方法时,将映射好列名和指定类型的dict赋值给dtype参数即可上,其中对于MySQL表的列类型可以使用SQLAlchemy包中封装好的类型。
# 执行前先在MySQL中删除表
drop table test;
from sqlalchemy.types import NVARCHAR, Float, Integer
dtypedict = {
'str': NVARCHAR(length=255),
'int': Integer(),
'float' Float()
}
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)
更新代码后,再查看数据库,可以看到数据库在建表时会根据dtypedict中的列名来指定相应的类型。
desc test;
Filed
Type
Null
Key
Default
Extra
str
varchar(255)
YES
NULL
int
int(11)
YES
NULL
float
float
YES
NULL
datetime
datetime
YES
NULL
boolean
tinyint(1)
YES
NULL
答案
通过分析,我们已经知道在执行to_sql的方法时,可以通过创建一个类似“{"column_name":sqlalchemy_type}”的映射结构来控制数据库中表的列类型。但在实际使用时,我们更希望能通过pandas.DataFrame中的column的数据类型来映射数据库中的列类型,而不是每此都要列出pandas.DataFrame的column名字。
写一个简单的def将pandas.DataFrame中列名和预指定的类型映射起来即可:
def mapping_df_types(df):
dtypedict = {}
for i, j in zip(df.columns, df.dtypes):
if "object" in str(j):
dtypedict.update({i: NVARCHAR(length=255)})
if "float" in str(j):
dtypedict.update({i: Float(precision=2, asdecimal=True)})
if "int" in str(j):
dtypedict.update({i: Integer()})
return dtypedict
只要在执行to_sql前使用此方法获得一个映射dict再赋值给to_sql的dtype参数即可,执行的结果与上一节相同,不再累述。
df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]],
columns=['str', 'int', 'float', 'datetime', 'boolean'])
dtypedict = mapping_df_types(df)
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)
参考
pandas官方文档 ↩
pandas转mysql特定列_在pandas.DataFrame.to_sql时指定数据库表的列类型相关推荐
- mysql群发消息_分享网站群发站内信数据库表设计
本文和大家分享一下网站站内信实现表设计的功能.需要的朋友可以参考下. "站内信"不同于电子邮件,电子邮件通过专门的邮件服务器发送.保存.而"站内信"是系统内的消 ...
- pandas编写自定义函数高亮显示(highlight)dataframe中的指定内容(数值)(highlighting a specific values or content of a panda
pandas编写自定义函数高亮显示(highlight)dataframe中的指定内容(数值)(highlighting a specific values or content of a panda ...
- 仅当使用了列列表并且 IDENTITY_INSERT 为 ON 时,才能为表'Address'中的标识列指
仅当使用了列列表并且 IDENTITY_INSERT 为 ON 时,才能为表'Address'中的标识列指 解决办法,将主键的ID自增长先设置为false 转载于:https://www.cnblog ...
- 给MYSQL账号充值的软件_MYSQL数据库指定数据库表给会员充值充值教程
MYSQL数据库指定数据库表给会员充值充值教程 $db=new cls_mysql(array( 'dbhost'=>'要充值数据库IP', 'dbname'=>'要充值的数据库用户名', ...
- 数据库表和列的别名的用法
数据库表和列的别名的用法 使用数据库别名可以让sql语句的可读性更强 1.怎么给数据库表和某列(字段)起别名 用as就可以 列的别名:sql = "select 列名 as 别名 from ...
- python怎么选取不连续的列_用pandas中的DataFrame时选取行或列的方法
如下所示: import numpy as np import pandas as pd from pandas import Sereis, DataFrame ser = Series(np.ar ...
- mysql纵列变横列_(转载)SQL语句,纵列转横列
SQL语句,纵列转横列 Feed: 大富翁笔记 Title: SQL语句,纵列转横列 Author: wzmbox Comments sTable.db 库位 货物编号 库存数 1 0101 50 1 ...
- python3读取excel某一列_怎样用python,读取excel中的一列数据!python读取excel某一列数据...
Python 如何循环读取csv或者excel中的一列数据,写入到中搜索 是可以 a.csv复制到 b.csv中 import csv def foo(): with open('a.csv', 'r ...
- mysql 红黑树_微信大牛教你深入了解数据库索引
| 作者刘国斌,腾讯微信事业群研发工程师,目前从事企业微信的后台研发工作,已经参与企业微信消息系统.群聊.客户联系等企业微信多个核心功能的迭代. 数据库查询是数据库的最主要功能之一. 我们都希望查询数 ...
最新文章
- 如何kill同一个应用的所有进程
- 在Docker里使用(支持镜像继承的)supervisor管理进程(转)
- PCM设备E1保护切换功能介绍
- 最优化学习笔记(十二)——基本共轭方向算法(续)
- BZOJ1257:[CQOI2007]余数之和(整除分块)
- SQL注入分类,一看你就明白了。SQL注入点/SQL注入类型/SQL注入有几种/SQL注入点分类
- 《20171117-构建之法:现代软件工程-阅读笔记》
- IDE已破解,不用预热,马上进入「微信小程序」开发
- newusers和chpasswd的用法
- 深度解析反思型Essay怎么写?
- linux替换空格、
- 支付微服务设计方案格式模板_开发微商城有哪些常见问题
- 7-zip比较丑的图标修改
- MailConnectException: Couldn‘t connect to host
- android 触摸屏干扰,一种电容触摸屏的抗干扰方法及其控制模块与流程
- CVPR2022论文集锦 | CVPR2022最新论文 | CVPR2022审稿结果 | CVPR2022录取结果
- atom开发java_Atom简明用法
- 三个真话一个假话c语言,推理题-逻辑推理题有A、B、C三个精灵,其中一个只说真话,另外一个只说假 爱问知识人...
- 微信小程序存储(数据缓存,存储和取值)
- 2011年1月13日抓取的QQ空间报错信息
热门文章
- SPIEC-EASI的微生物网络构建示例
- GPB:菊粉改善糖脂代谢紊乱作用的机制(作者解读)
- js 中转换成list集合_java stream中Collectors的用法
- Error in bl_make_text_box(token, drawing_context$gp, drawing_context$yoff_pt) : function ‘Rcpp_preci
- 标准差、协方差、相关性分别是什么?
- 流形学习之LLE(LocallyLinearEmbedding)模型
- linux动态库注册函数,Linux动态库函数的详解
- Pacbio HiFi技术原理与应用软件实例
- 详解编辑距离(Edit Distance)及其代码实现
- 学习C++ 丨 类(Classes)的定义与实现!C/C++必学知识点!