python导入csv数据例子-使用python读取csv文件快速插入数据库的实例

如下所示：

# -*- coding:utf-8 -*-

# auth:ckf

# date:20170703

import pandas as pd

import cStringIO

import warnings

from sqlalchemy import create_engine

import sys

reload(sys)

sys.setdefaultencoding("utf8")

warnings.filterwarnings("ignore")

engine = create_engine(

"postgresql+psycopg2://"数据库连接)

filename = sys.argv[1]

tablename = sys.argv[2]

print "=== csvname is",filename ,"tablename is",tablename,"==="

print "read", filename, "..."

df = pd.read_csv(filename, sep=";")

print "read", filename, "done!"

print "lets insert ..."

output = cStringIO.StringIO()

# ignore the index

df.to_csv(output, sep=" ",index = False, header = False)

output.getvalue()

# jump to start of stream

output.seek(0)

connection = engine.raw_connection()

cursor = connection.cursor()

# null value become ""

cursor.copy_from(output,tablename,null="")

connection.commit()

cursor.close()

print "done!"

这个脚本可以直接运行，将csv文件放在同级目录即可。

csv第一列需要有列名，如果csv里没有列名，需要在代码中添加列名。

代码运行示例：python insert.py csvname tablename

以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

python导入csv数据例子-使用python读取csv文件快速插入数据库的实例相关推荐

python导入excel数据-如何把python中的数据导入excel
python将数据导入excel的方法:1.在python官网下载xlrd第三方库:2.利用xlrd中的open_workbook函数读入excel文件,即可在python中导入excel数据. 一. ...
python——快速读取excel文件并插入数据库
写一个小功能. import cStringIO import pandas as pd from sqlalchemy import create_enginepath = "D://Us ...
oracle数据导入到python,Python导入oracle数据的方法 -电脑资料
作者:Sephiroth 字体:[增加减小] 类型:转载这篇文章主要介绍了Python导入oracle数据的方法,涉及Python读取csv文件信息再插入到Oracle数据库的相关技巧,具有一定参 ...
python导入excel数据到mysql
python导入excel数据到mysql 使用多线程,目前大概一分钟写入1w条环境介绍 windows10-x64 python3.6.5-x64 Excel2016 MySql5.7.18 需要 ...
oracle数据导入到python,Python导入oracle数据的方法
Python导入oracle数据的方法本文实例讲述了Python导入oracle数据的方法.分享给大家供大家参考.具体如下: import cx_Oracle dns_tns=cx_Oracle.m ...
python读取文件并存入mysql_1.python读取txt文件并插入到mysql数据库以及将py脚本文件打包成独立的exe程序...
读取txt文件并插入到mysql数据库该小脚本适用于每天生成日志等信息到txt文本,然后通过windows的计划任务定时去执行python脚本打包成的exe文件,并将txt中内容读取以及格式化后插入 ...
python从入门到大神---4、python3文件操作最最最最简单实例
python从入门到大神---4.python3文件操作最最最最简单实例一.总结一句话总结: python文件操作真的很简单,直接在代码中调用文件操作的函数比如open().read(),无需引包 ...
使用tabula-java解析pdf的表格生成csv，再用opencsv读取csv
尘封已久,再次开写. 为了回报社会,促进中国软件行业的发展. 我是大爱不留. ============================================================= ...
Java 读取txt文件并写入数据库
今日新需求:需要将外网线上数据导入内网数据库. 在线上写接口导出全部数据后将数据保存为TXT文件格式后导入内网环境. Java端写代码读取此文件并写入数据库. 本人的需求较为简单,可以根据需求按照原理 ...

python导入csv数据例子-使用python读取csv文件快速插入数据库的实例

python导入csv数据例子-使用python读取csv文件快速插入数据库的实例相关推荐

最新文章

热门文章