pandas to_sql填坑

pandas作为数据分析的重要工具，经常性的与数据库进行连接，在将dataframe保存到数据库时，会用到to_sql，虽然to_sql函数可以直接将字典数据直接存入数据库，但是，to_sql限制是非常之大的。

来看一下下面的代码

import pandas as pd
import pymysqlconn=pymysql.connect(host,port,user,password,charset,db)
df1=pd.DataFrame(list)
df.to_sql(tablename,conn)

如果我们按照上述代码编写，很遗憾，报错无疑，以下是报错信息。

错误信息：Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting

根据库的文档，我们看到to_sql函数支持两类mysql引擎一个是sqlalchemy，另一个是sqlliet3.没错，在你写入库的时候，pymysql是不能用的！！！mysqldb也是不能用的，你只能使用sqlalchemy或者sqlliet3！！鉴于sqllift3已经很久没有更新了，笔者这里建议使用sqlalchemy！！

所以上述代码改为

更改连接设置

import pandas as pd
from sqlalchemy import create_engineconn = create_engine('mysql+pymysql://root:password@localhost:3306/databasename?charset=utf8')
df1=pd.DataFrame(list)
df.to_sql(tablename,conn)

此处附上SQLAlchemy 1.3 Documentation供参考

https://docs.sqlalchemy.org/en/13/core/engines.html

ps：if_exists 的参数说明

fail的意思如果表存在，啥也不做
replace的意思，如果表存在，删了表，再建立一个新表，把数据插入
append的意思，如果表存在，把数据插入，如果表不存在创建一个表！！

pandas to_sql填坑相关推荐

KKBOX音乐——数据分析，用户研究与填坑指南
KKBOX音乐--数据分析,用户研究与填坑指南导语 1 数据来源 2 数据处理 2.1 录入数据 2.2 数据类型 3 探索性分析 3.1 MySQL+Excel 3.1.1 每年3月最先注册的前1 ...
java.lang.OutOfMemoryError：GC overhead limit exceeded填坑心得
该文章出自:http://www.cnblogs.com/hucn/p/3572384.html 分析工具:http://www.blogjava.net/jjshcc/archive/2014/03 ...
20150726 填坑日记
三中内填坑: 1. 组合数递推什么的 C(m,n)=C(m,n-1)+C(m-1,n-1).填了个大坑,以前没认真听课QAQ 2. 裸题过河卒 3. 缺角正方形摆放车统计,分上下部分,枚举上部分放几个 ...
传统行业转型微服务的挖坑与填坑
原文:传统行业转型微服务的挖坑与填坑一.微服务落地是一个复杂问题,牵扯到IT架构,应用架构,组织架构多个方面在多家传统行业的企业走访和落地了微服务之后,发现落地微服务是一个非常复杂的问题,甚至都不 ...
开发工具总结（4）之Android Studio3.0填坑指南
序言 Android Studio 3.0 上篇讲了: 全面总结Android Studio2.X的填坑指南这篇讲一下AS3.0的坑.. 作为这个世界上走在最前沿的生物"猿",怎 ...
【结果很简单,过程很艰辛】记阿里云Ons消息队列服务.NET接口填坑过程
Maybe 这个问题很简单,因为解决方法是非常简单,但填坑过程会把人逼疯,在阿里云ONS工作人员.同事和朋友的协助下,经过一天的调试和瞎捣鼓,终于解决了这个坑,把问题记下来,也许更多人在碰到类似问题的 ...
Android Studio 填坑指南
前几天发布了一篇名为<Android Studio 安装.配置及第一个程序演示>的博文,有不少童鞋都认真阅读过并照步骤一步一步操作了一遍,有滴如期成功地装好了,然鹅有滴反映说这不对呀,为森 ...
即将上线的Hive服务器面临的一系列填坑笔记
即将上线的Spark服务器面临的一系列填坑笔记作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.18/10/19 16:36:31 WARN metastore.ObjectSt ...
第二篇：salt-api使用填坑指南
前言 salt-api在使用时,有些坑欲哭无泪,一路趟雷过后,总结了一趟salt-pai使用填坑指南,保君一路畅通. salt-api 安装 #本文的安装版本 2018.3.2-1.el6 yum i ...

pandas to_sql填坑

pandas to_sql填坑相关推荐

最新文章

热门文章