python读取数据库数据类型_Python实现从SQL型数据库读写dataframe型数据的方法【基于pandas】...
本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考,具体如下:
Python的pandas包对表格化的数据处理能力很强,而SQL数据库的数据就是以表格的形式储存,因此经常将sql数据库里的数据直接读取为dataframe,分析操作以后再将dataframe存到sql数据库中。而pandas中的read_sql和to_sql函数就可以很方便得从sql数据库中读写数据。
参见pandas.read_sql的文档,read_sql主要有如下几个参数:
sql:SQL命令字符串
con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立
index_col: 选择某一列作为index
coerce_float:非常有用,将数字形式的字符串直接以float型读入
parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。
columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了
chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。
params:其他的一些执行参数,没用过不太清楚。。。
以链接常见的mysql数据库为例:
import pandas as pd
import pymysql
import sqlalchemy
from sqlalchemy import create_engine
# 1. 用sqlalchemy构建数据库链接engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE) #1
engine = create_engine(connect_info)
# sql 命令
sql_cmd = "SELECT * FROM table"
df = pd.read_sql(sql=sql_cmd, con=engine)
# 2. 用DBAPI构建数据库链接engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)
解释一下 #1: 这个是sqlalchemy中链接数据库的URL格式:dialect[+driver]://user:password@host/dbname[?key=value..]。dialect代表书库局类型,比如mysql, oracle, postgresql。driver代表DBAPI的名字,比如psycopg2,pymysql等。具体说明可以参考这里。此外由于数据里面有中文的时候就需要将charset设为utf8。
参见pandas.to_sql函数,主要有以下几个参数:
name: 输出的表名
con: 与read_sql中相同
if_exits: 三个模式:fail,若表存在,则不输出;replace:若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面。默认为fail
index:是否将df的index单独写到一列中
index_label:指定列作为df的index输出,此时index为True
chunksize: 同read_sql
dtype: 指定列的输出到数据库中的数据类型。字典形式储存:{column_name: sql_dtype}。常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等,具体数据类型可以参考这里
还是以写到mysql数据库为例:
df.to_sql(name='table',
con=con,
if_exists='append',
index=False,
dtype={'col1':sqlalchemy.types.INTEGER(),
'col2':sqlalchemy.types.NVARCHAR(length=255),
'col_time':sqlalchemy.DateTime(),
'col_bool':sqlalchemy.types.Boolean
})
注:如果不提供dtype,to_sql会自动根据df列的dtype选择默认的数据类型输出,比如字符型会以sqlalchemy.types.TEXT类型输出,相比NVARCHAR,TEXT类型的数据所占的空间更大,所以一般会指定输出为NVARCHAR;而如果df的列的类型为np.int64时,将会导致无法识别并转换成INTEGER型,需要事先转换成int类型(用map,apply函数可以方便的转换)。
参考:
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql.html
http://docs.sqlalchemy.org/en/latest/core/engines.html
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://stackoverflow.com/questions/30631325/writing-to-mysql-database-with-pandas-using-sqlalchemy-to-sql
http://stackoverflow.com/questions/5687718/how-can-i-insert-data-into-a-mysql-database
http://stackoverflow.com/questions/32235696/pandas-to-sql-gives-unicode-decode-error
http://stackoverflow.com/questions/34383000/pandas-to-sql-all-columns-as-nvarchar
希望本文所述对大家Python程序设计有所帮助。
python读取数据库数据类型_Python实现从SQL型数据库读写dataframe型数据的方法【基于pandas】...相关推荐
- python读取数据库数据类型_Python中从SQL型数据库读写dataframe型数据
Python的pandas包对表格化的数据处理能力很强,而SQL数据库的数据就是以表格的形式储存,因此经常将sql数据库里的数据直接读取为dataframe,分析操作以后再将dataframe存到sq ...
- mac系统python读取文件路径_Python小技巧:3个处理文件路径的简单方法
原标题 | Python 3 Quick Tip: The easy way to deal with file paths on Windows, Mac and Linux 作者 | Adam G ...
- python读取excel指定列-Python读取excel指定列生成指定sql脚本的方法
需求 最近公司干活,收到一个需求,说是让手动将数据库查出来的信息复制粘贴到excel中,在用excel中写好的公式将指定的两列数据用update这样的语句替换掉. 例如: 有个A库,其中有两个A.01 ...
- python怎么导入sql数据库,##使用python将excel表中数据导入sql server数据库
如何用python将excel数据导入到postgresql数据库中 把excel表格另存为csv文件 python将exce文件含有多个sheet同时l导入sqlserver数据库 需要使用xlrd ...
- SQL Server:偏移量为 0x0000000009c000 的位置执行 读取 期间,操作系统已经向 SQL Server 返回了错误 21的解决方法
SQL Server:偏移量为 0x0000000009c000 的位置执行 读取 期间,操作系统已经向 SQL Server 返回了错误 21的解决方法 问题描述: 严重: Servlet.serv ...
- python读取mssql文件_python 读取mssql数据库中文的搜索结果-阿里云开发者社区
sphinx 配置文件全解析 sphinx的配置文件是在配置的时候最容易出错的了: 我们先要明白几个概念: source:数据源,数据是从什么地方来的. index:索引,当有数据源之后,从数据源处构 ...
- python读取数据库导出文件_python如何导出excel表格数据库数据
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- python读取多张图片_python读取图片的几种方式及图像宽和高的存储顺序
python读取图片的几种方式及图像宽和高的存储顺序 1.opencv 2.imageio 3.matplotlib 4.scipy # coding:utf-8 import cv2 import ...
- python读取连接数据库文件_python 读取配置文件 pandas连接数据库
config.ini 配置文件内容: [DATABASE] host = 192.168.19.111 username = user password = pass port = 4333 data ...
最新文章
- 专访中科创达王璠:怎样做好嵌入式人工智能的算法开发?
- go语言csv文件的读取与写入
- ant混淆编译java web,Android中使用ant混淆编译
- JavaScript0-闭包
- unix-privesc-check提权漏洞快速检测工具
- 设计模式-UML关系基础
- 网络编程1-初探winSocket
- 城市大数据及开放数据索引
- 计算机二级lookup函数,LOOKUP函数用法全解(下)——LOOKUP函数的二分法原理
- VMware10虚拟机请选择要安装OS X的磁盘解决方法
- 目前最赚钱快的微信营销几种玩法和模式
- Android H5页面调起微信和支付宝付款
- oracle全文检索
- [从头读历史] 第309节 星球战争 BC2499 至 BC2400(公元前25世纪)
- [Swift]LeetCode15. 三数之和 | 3Sum
- 网络请求未知错误 CLEARTEXT communication to XX not permitted by network security policy 解决方案
- 30k~50k月薪,或年10%干股,这波区块链人才需求,有你吗?!
- 【HTML 教程系列第 18 篇】详解什么是 HTML 中的表格 table
- 关于java用JDBC连接数据库的代码
- rust沙河游戏_逆水寒死不了!网易新年放大招,沙盒生存玩法的网游版rust?
热门文章
- LINUX学习笔记共五部分
- (转)Cortex-M3 (NXP LPC1788)之GPIO
- SIEM部署失败的五大原因
- Pa interface issue——PA_EXCEED_ROUND_LIMIT
- 添加栏目HyperLink
- 解耦与人类行为 (完整)
- html 左侧 树形菜单,vue左侧菜单,树形图递归实现代码
- raidrive安装失败_记一次RaiDrive映射OneDrive遇到的问题
- 如何用python32位开发词典软件_Python如何实现字典?
- Spring Bean的生命周期以及IOC源码解析