Python从数据库读取大量数据批量写入文件的方法

今天小编就为大家分享一篇Python从数据库读取大量数据批量写入文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

使用机器学习训练数据时，如果数据量较大可能我们不能够一次性将数据加载进内存，这时我们需要将数据进行预处理，分批次加载进内存。

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。

#%%

import pymssql as MySQLdb #这里是python3 如果你是python2.x的话，import MySQLdb

#数据库连接属性

hst = '188.10.34.18'

usr = 'sa'

passwd = 'p@ssw0rd'

db = 'HistoryTrace'

#总共多少数据

allData = 1674333

#每个批次多少条数据

dataOfEach = 20000

#批次

batch = ceil(allData/dataOfEach)

#文件名

global IDctrl

IDctrl = 1

filename = str(IDctrl)+'.txt'

#连接数据库

conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)

cur=conn.cursor()

while IDctrl<batch:

#读取数据库

sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\

FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach)

cur.execute(sql)

rows=cur.fetchall()

#写文件

f = open(filename,'w')

f.writelines(str(rows))

#文件名加1

IDctrl+=1

filename = str(IDctrl)+'.txt'

#关闭数据库连接

f.close()

conn.close()

以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

来源:https://www.jb51.net/article/152445.htm

Python从数据库读取大量数据批量写入文件的方法相关推荐

python批量读取文件内容_Python从数据库读取大量数据批量写入文件的方法
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存. 下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做 ...
python读取数据库数据、并保存为docx_Python从数据库读取大量数据批量写入文件的方法...
Python从数据库读取大量数据批量写入文件的方法使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存. 下面是代码作用是将数据 ...
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
 前言之前其实在 <从0到1学习Flink>-- 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的 ...
写入mysql_《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
前言之前其实在 <从0到1学习Flink>-- 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星 ...
pythonmysql查询转list_使用Python将Mysql的查询数据导出到文件的方法
mysql官方提供了很多种connector,其中包括python的connector. 下载地址在:http://dev.mysql.com/downloads/connector/python/ ...
Python自动化办公:读取Excel数据并批量生成合同，高效办公，快速回家
前言在我们的工作中,面临着大量的重复性工作,通过人工方式处理往往耗时耗力易出错.而Python在自动化办公方面具有极大的优势,可以解决我们工作中遇到的很多重复性问题,分分钟搞定办公需求.快速下班回 ...
DataTable数据批量写入数据库三种方法比较
DataTable数据批量写入数据库三种方法比较标签: it 分类: C# 1) insert循环插入: 2) sqldataadapter.update(dataset,tablename ...
【高级内部资料】.NET数据批量写入性能分析第一篇
[高级内部资料].NET数据批量写入性能分析第一篇说起数据的批量写入,相信大家应该不陌生了,那么我们本系列的文章不准备讲述如何来进行数据的批量写入,而是介绍常用的数据批量写入方法的性能分析. 同时 ...
【MATLAB】图像批处理：批量读取图像—＞批量处理—＞批量写入文件夹
创作时间:2022-03-14 目录: 1.图像批处理的应用 2.代码 3.演示结果 4.总结正文: 1.图像批处理的应用在做图像处理时候,首先是研究算法,在单张的图像上做分析,把算法搞明白. 接 ...

Python从数据库读取大量数据批量写入文件的方法

Python从数据库读取大量数据批量写入文件的方法相关推荐

最新文章

热门文章