一、读取 csv 文件

Python：使用 csv 模块读写 csv 文件

二、创建数据库链接

# -*- coding: utf-8 -*-import sqlalchemy
import sqlalchemy.orm as orm
from sqlalchemy.ext.declarative import declarative_baseBase = declarative_base()class Record(Base):__tablename__ = 'files'id = sqlalchemy.Column(sqlalchemy.Integer, primary_key=True, autoincrement=True)name = sqlalchemy.Column(sqlalchemy.String(256), nullable=True)size = sqlalchemy.Column(sqlalchemy.BigInteger, nullable=True)path = sqlalchemy.Column(sqlalchemy.String(256), nullable=True)mtime = sqlalchemy.Column(sqlalchemy.DateTime, nullable=True)def __init__(self, filename, filesize, filepath, filemt):'''"名称","大小","路径","修改时间"'''self.name = filenameself.size = int(filesize)self.path = filepathself.mtime = filemtdef get_session():engine = sqlalchemy.create_engine ("postgresql://postgres:064f0901-c561-44b9-a4bb-a893d23cc505@127.0.0.1/dogdb")metadata = sqlalchemy.schema.MetaData(bind=engine)Base.metadata.create_all(engine)Sess = orm.sessionmaker(bind=engine)session = Sess()return session

三、读取 csv 数据并插入到数据库

def store_to_db(filename):session = get_session() # 使用 get_session() 函数获取 sessionwith open(filename, 'r') as f:reader = csv.reader(f)header_row = next(reader)cnt = 0;for line in reader:record = Record(line[0], line[1], line[2], line[3])try:session.add(record)cnt += 1if cnt % 1000 == 0:session.commit()except sqlalchemy.exc.PendingRollbackError:session.rollback()session.add(record)except Exception as e:print(e)breaksession.commit()session.close()if "__main__" == __name__:filename = sys.argv[1]store_to_db(filename)

运行脚本：

$ python insert-files.py files.csv

查看数据库中的数据：

[select id,name,mtime from files order by id]id |       name        |        mtime
----+-------------------+---------------------1 | Security.evtx     | 2021-02-24 07:23:482 | MRT.exe           | 2017-12-24 21:45:483 | MRT-KB890830.exe  | 2017-12-24 21:45:504 | NvCplSetupInt.exe | 2016-09-12 21:15:305 | SOFTWARE          | 2021-02-20 09:31:276 | SOFTWARE          | 2021-02-21 01:32:167 | SRUDB.dat         | 2021-02-24 21:20:008 | RCORES64.dat      | 2020-04-08 04:44:389 | RCORES64.dat      | 2015-08-04 00:21:5810 | BootCKCL.etl      | 2021-02-20 09:33:51
(10 rows)

Python：读取 csv 文件并插入到 PostgreSQL 数据库相关推荐

python导入csv数据例子-使用python读取csv文件快速插入数据库的实例
如下所示: # -*- coding:utf-8 -*- # auth:ckf # date:20170703 import pandas as pd import cStringIO import ...
python读取文件并存入mysql_1.python读取txt文件并插入到mysql数据库以及将py脚本文件打包成独立的exe程序...
读取txt文件并插入到mysql数据库该小脚本适用于每天生成日志等信息到txt文本,然后通过windows的计划任务定时去执行python脚本打包成的exe文件,并将txt中内容读取以及格式化后插入 ...
python读取csv文件_python3.0读取csv文件
创建CSV文件,可以打开excel文件,创建表格以后,另存为csv文件(以逗号分隔的文件) 以文本格式打开,发现是用逗号分隔的用python读取csv文件,首先要引入一个库:csv import c ...
python csv文件复制时的编码问题_使用python读取CSV文件时的编码问题
尝试使用python读取CSV文件时遇到障碍. 更新:如果只想跳过字符或错误,可以打开文件,如下所示: with open(os.path.join(directory, file), 'r', en ...
用Python读取CSV文件的5种方式
典型的数据集stocks.csv: 一个股票的数据集,其实就是常见的表格数据.有股票代码,价格,日期,时间,价格变动和成交量.这个数据集其实就是一个表格数据,有自己的头部和身体. 第一招:简单的读取 ...
python获取股指_用Python读取csv文件中的沪深300指数历史交易数据
保存路径:D:\python\用Python读取csv文件中的沪深300指数历史交易数据程序名称:readcsvhs300.py: 数据名称:沪深300指数历史交易数据.csv: 开发环境:Win7 ...
python读取csv文件路径正确但报错FileNotFoundError: [Errno 2] No such file or directory
项目场景: python读取csv文件路径正确但报错FileNotFoundError: [Errno 2] No such file or directory 问题描述: #储存调用表格.数据 #调 ...
python 读取csv文件和 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa8 in position问题...
python 读取csv文件,无法读取第一列的数据,不知道为什么.以后有时间再来研究 import os import csv import jsonfw = open("data_json ...
记录python读取csv文件
记录一下python读取文件在做对比实验的过程当中,往往会遇到很多需要从.csv文件中读取数据的情况,因为做深度学习用的是python,所以下面记录一下使用python读取.csv文件的方法. 读取 ...

Python：读取 csv 文件并插入到 PostgreSQL 数据库

一、读取 csv 文件

二、创建数据库链接

三、读取 csv 数据并插入到数据库

Python：读取 csv 文件并插入到 PostgreSQL 数据库相关推荐

最新文章

热门文章