python文件中用逗号分隔_在python中读取逗号分隔文件（包括日期）的最快方式

我有数据存储在逗号分隔的txt文件中。其中一列表示日期时间。

我需要将每个列加载到单独的numpy数组中(并将日期解码为python datetime对象)。

最快的方法是什么(就运行时间而言)？

注意。这些文件是几百MB的数据，目前需要几分钟才能加载进去。

例如mydata.txt15,3,0,2003-01-01 00:00:00,12.2

15,4.5,0,2003-01-01 00:00:00,13.7

15,6,0,2003-01-01 00:00:00,18.4

15,7.5,0,2003-01-01 00:00:00,17.9

15,9,0,2003-01-01 00:00:00,17.7

15,10.5,0,2003-01-01 00:00:00,16.3

15,12,0,2003-01-01 00:00:00,17.2

这是我当前的代码(它工作正常，但速度很慢)：import csv

import datetime

import time

import numpy

a=[]

b=[]

c=[]

d=[]

timestmp=[]

myfile = open('mydata.txt',"r")

# Read in the data

csv_reader = csv.reader(myfile)

for row in csv_reader:

a.append(row[0])

b.append(row[1])

c.append(row[2])

timestmp.append(row[3])

d.append(row[4])

a = numpy.array(a)

b = numpy.array(b)

c = numpy.array(c)

d = numpy.array(d)

# Convert Time string list into list of Python datetime objects

times = []

time_format = "%Y-%m-%d %H:%M:%S"

for i in xrange(len(timestmp)):

times.append(datetime.datetime.fromtimestamp(time.mktime(time.strptime(timestmp[i], time_format))))

有没有更有效的方法来做到这一点？

非常感谢您的帮助-谢谢！

(编辑：最后的瓶颈是日期时间转换，而不是像我原先假设的那样读取文件。)

python文件中用逗号分隔_在python中读取逗号分隔文件（包括日期）的最快方式相关推荐

java 读取txt文件指定行_在Java中读取txt文件中的特定行
要获得第N行,您必须阅读它之前的所有行. 如果不止一次这样做,最有效的方法可能是首先将所有行加载到内存中. private final List words = new ArrayList(); pr ...
java 从excel中读取数据_在Java中读取Excel文件的内容和导出数据到Excel文件中
转自www.chianjavaworld.net 原作者:SonyMusic 读:rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr 在Java ...
java读取同包文件_Java实现从jar包中读取指定文件的方法
本文实例讲述了Java实现从jar包中读取指定文件的方法.分享给大家供大家参考,具体如下: 以下的Java代码实现了从一个jar包中读取指定文件的功能: /** * This class implem ...
java删除csv一行_在Java中读取CSV文件时跳过第一行
嘿家伙我正在编写解析器代码来读取.csv文件并将其解析为 XML.这是我的代码,它工作正常,但我希望它跳过文件中的第一行.所以我决定设置一个HashMap,但它似乎确实有效: for (int i = ...
python提取ppt文本_提取PPT中的文字（包括图片中的文字）
python是一门很强大的语言,因为有着丰富的第三方库,所以可以说Python是无所不能的. 很多人都知道,Python可以操作Excel,PDF·还有PPT,这篇文章就围绕Python提取PPT中的 ...
java读取文件跳过_在Java中读取文本文件-为什么跳过行？
我是新来的,只是努力尝试读取文本文件.每行上都有一个单词和相应的数字代码.想法是将其读取并将代码和单词放在单独的变量中.我对这个领域了解不多,但是我一直在网上四处寻找,并提出了以下建议: try{ F ...
idea中java文件怎么运行_在Java中使用临时文件/文件夹
Java NIO.2 API提供了对使用临时文件夹/文件的支持.例如,我们可以轻松地找到临时文件夹/文件的默认位置,如下所示: Java 1 String defaultBaseDir = Syste ...
java中读取excel数据类型_在Java中读取Excel文件的内容
利用JExcelApi来动态生成excel文档首先,请到http://www.andykhan.com/jexcelapi/index.html下载java excel api,主页上同时有比较详细 ...
java属性错误_在java中读取属性文件时发生文件未找到错误
我在resources / common / configure /包下创建属性文件然后我创建代码 Properties prop = new Properties(); try { //load ...
java获取excel文件第一行_java - 在Java中读取Excel文件，但第一行除外 - 堆栈内存溢出...
我正在尝试从使用xlsx文件的JasperReport模板自动创建报告,我用来从excel文件读取的方法是这样的: String[] columnNames = new String[]{" ...

python文件中用逗号分隔_在python中读取逗号分隔文件（包括日期）的最快方式

python文件中用逗号分隔_在python中读取逗号分隔文件（包括日期）的最快方式相关推荐

最新文章

热门文章