python提高文件读取速度_Python提高了HDF5文件的读取速度

我正在构建一个存储财务数据的数据库(特别是选项链) .

我每天检索每个交易日的数据，即5d /周或250d /年 . 我这样做了300个代码，数据库正在以150Mb /天的速度增长，到目前为止达到了9Gb .

数据以pandas数据帧的形式出现 .

我想使用HDF5格式并在每个交易日使用组构建文件，然后在代码中进一步分支以及进一步“调用”/“放置”(选项行话)

这是编写文件的代码片段，我使用pd.HDFStore和for循环通过代码

db = pd.HDFStore('Database.h5')

group = c_year + '/' + c_month + '/' + c_day + '/'# Create main group from current day

for i in tickers['Symbol']:

db.put(group + i + '/Call', data, format = 'table', append = True, data_columns = True)

每个交易日写文件的速度很慢，但我得出的结论是，这都是关于使用pandas datareader检索数据

随后，我需要检索整个数据库，将其转换为减少的pandas数据帧以进行数据争用 .

这是仅为“调用”读取* .h5文件的代码，另一个用于循环遍历1年回顾期间的所有日期的代码

for i in tickers['Symbol']:

for date in datelist(dt.date.today() - timedelta(days = 365), dt.date.today(), timedelta(days=1)):#set number of lookback days in accordance to last day of database retrieve

g_year = str(date.year) # Get group year

g_month = months[date.month] # Get group month

g_day = str(date.day) # Get group day

group = '/' + g_year + '/' + g_month + '/' + g_day + '/'

try:

key_value = group + i

calls = pd.read_hdf(filename, key = key_value + '/Call')

这可能变得非常缓慢，我注意到慢速随着我正在检索的代码数量呈指数增长，这使得该过程无用 .

当我检索一个自动收报机时，只需花费15秒，但从70到80的自动收报机需要50分钟！

我如何构建文件或我可以做些什么来加快这个过程有什么问题？

python提高文件读取速度_Python提高了HDF5文件的读取速度相关推荐

python读取文件特定内容_Python基础知识之文件的读取操作
读取文件的操作步骤有一道脑筋急转弯,问把大象装进冰箱的步骤,答案很简单,打开冰箱.把大象推进去.关闭冰箱.这就是一个处理问题的思路,我们对文件的操作和这个一样,第一步:打开文件:第二部:处理文件(读 ...
python读取文件路径格式_Python学习笔记读写文件之文件与文件路径
随笔记录方便自己和同路人查阅. #------------------------------------------------我是可耻的分割线--------------------------- ...
python except用法和作用_python上手--异常处理与文件
本专栏python属于上手系列,因为网络资源众多,有从零基础开始介绍的,也有各种进阶应用,我在这个专栏里就从上手来介绍python,零基础也许不一定合适.但实践永远是获得认知的手段,因此上手实践操作对 ...
python的openpyxl模块下载_python解析.xls/.xlsx文件–openpyxl模块（第三方）
围观人数: 7 标签:book set tle 命令行文件中不能 charm 读取 pen 第一part:Excel文件的介绍 Microsoft Excel是Mi ...
python文件操作解码_python基础3之文件操作、字符编码解码、函数介绍
内容概要: 一.文件操作二.字符编码解码三.函数介绍一.文件操作文件操作流程: 打开文件,得到文件句柄并赋值给一个变量通过句柄对文件进行操作关闭文件基本操作: 1 #/usr/bin/e ...
python输出字体的大小_Python密码学编程：文件的加密与解密
在之前的章节中,编写的程序只能操作较少的信息,这些信息往往是以字符串的形式直接写在代码中的.但本章中的程序可以对整个文件进行加密和解密,文件的大小可以包括成千上万个字符. 本章要点 open()方法. ...
python解析xml文件选用模块_python语言解析xml文件的常用的有两种方式
MiniDom方式解析xml xml文件以data.xml为例,具体操作如下: data.xml: 保存用户的信息 Jordy 12345678 20 男上网功夫 34443678 18 男功夫 ...
python自动化办公源码_python自动化办公：文件篇（自动整理文件，一键完成）
import os list_all=[]#初始化一个空列表 for root ,dirs,files in os.walk(r'C:UsersShineionDesktop新建文件夹'): for ...
python怎样判断一个文件是否存在_python如何判断一个文件是否存在
python如何判断一个文件是否存在发布时间:2020-09-23 11:38:42 来源:亿速云阅读:82 作者:Leah python如何判断一个文件是否存在?针对这个问题,这篇文章详细介绍了 ...
python 检查文件是否存在_Python中如何判断文件是否存在？
这里介绍三种判断文件或文件夹是否存在的方法,分别使用os模块.Try语句.pathlib模块. 1.使用os模块 os模块中的os.path.exists()方法用于检验文件是否存在. import ...

python提高文件读取速度_Python提高了HDF5文件的读取速度

python提高文件读取速度_Python提高了HDF5文件的读取速度相关推荐

最新文章

热门文章