通达信日线数据转换为feather格式，提高后续数据处理速度

沪深两市股票数量目前为6798只，选股所需要的数据处理时间较长。通过对比，发现使用feather格式可以明显减少数据读写时间，因此，通过修改前面的程序，将数据保存为feather格式。

需要安装feather支持库。

embedbble python中的安装方式为：

python -m pip install feather-format

使用免费的freepy可直接运行该python代码。

使用freepy运行该代码，无需安装任何支持库。

freepy下载http://1hwj.net/forum.php?mod=viewthread&tid=51&page=1&extra=#pid51

转换50只股票所需时间对比：

上海数据转换xlsx完成。
用时:5.12804388999939秒

上海数据转换feather完成。
用时:0.5816001892089844秒

转换全部7041支股票数据为feather格式：

上海数据转换完成。
用时:33.57634997367859秒
深圳数据转换完成。
用时:95.14454865455627秒

源码：

# -*- coding: utf-8 -*-
"""
通达信日线数据转换为feather格式
由于比较费时，例子中两市只分别转换了5只股票。
修改 if i < 5: 中的5为任意数字，可以转换更多。feather安装：
pip install feather-format需要修改以下文件夹为通达信本机对应文件夹：
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'
pathdir_sz = r'C:\new_mszq_v6\vipdoc\sz\lday'Created by freepy.
2022/1/28 11:23:36
"""from struct import *
import pandas as pd
import os
# import sys
import time# stock_list = []
# linename=['code','date','open','high','low','close','amout','vol']
# df_all_stock = pd.DataFrame(stock_list, columns=linename)
def day2csv_data(dirname, fname, targetDir):ofile=open(dirname + os.sep + fname, 'rb')buf=ofile.read()ofile.close()ifile=open(targetDir + os.sep + fname+'.csv','w')num=len(buf)no=num/32b=0e=32line=''linename=str('date')+','+str('open')+','+str('high')+','+str('low')+','+str('close')+','+str('amout')+','+str('vol')+'\n'ifile.write(linename)for i in range(int(no)):# a=unpack('IIIIIfII',buf[b:e])a = unpack('IIIIIfII',buf[b:e])line = str(a[0])+','+str(a[1]/100.0)+','+str(a[2]/100.0)+','+str(a[3]/100.0)+','+str(a[4]/100.0)+','+str(a[5])+','+str(a[6])+'\n'ifile.write(line)b = b+32e = e+32ifile.close()df_gp = pd.read_csv(targetDir + os.sep + fname + '.csv', sep=',')#df_gp.to_excel(targetDir + os.sep + fname + '.xlsx')df_gp.to_feather(targetDir + os.sep + fname + '.feather')print("可能需要较长时间，请耐心等待......")targetDir=r'.\dataout\tdx'
# 目标文件夹若不存在，则创建
if not os.path.exists(targetDir):os.makedirs(targetDir)time.sleep(1)# 沪市数据转换
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'listfile_sh = os.listdir(pathdir_sh)
start = time.time()
i = 0
for f in listfile_sh:i+=1if i < 5:day2csv_data(pathdir_sh, f, targetDir)print ('上海数据转换完成。')stop = time.time()
print("用时:%s秒"%str(stop-start))

通达信日线数据转换为feather格式，提高后续数据处理速度相关推荐

通达信日线数据用转换为excel、csv和feather格式
python功能虽然强大,但由于术业有专攻,不少股民朋友不擅长写代码,对python望而却步.今天开始写一个小软件,主要作用是可以直接运行python代码,进行股票数据处理和分析. 上一篇文章介绍了股 ...
通达信日线数据转换为csv和excel格式
freepy下载主要功能: 通达信日线数据转换为csv格式和Excel格式数据. 可指定转换的股票数量. 分别转换沪市和深市股票. 注意: 1.修改代码中本机通达信文件夹. 2.指定转换的股票数量越 ...
Python提取通达信日数据转存为.csv表格数据
一直想用Python来做股票数据看了好些书.也看了好些个文章,还是没搞懂,只好按自己的想法一步步来,做到一步就搜索找资料然后挨个试试!最笨的办法了其他看盘软件也没怎么用,一直都用的通达信,看其他资 ...
通达信数据格式 java_通达信日线数据格式
一.通达信日线*.day文件文件名即股票代码每32个字节为一天数据每4个字节为一个字段,每个字段内低字节在前 00 ~ 03 字节:年月日, 整型 04 ~ 07 字节:开盘价*1000, 整型 ...
如何通过通达信接口获取最近的分钟级别行情数据？
如何通过通达信接口获取最近的分钟级别行情数据?对于做短线策略的交易者来说,得到实盘的量价数据之后,还需要把这些数据转换为各种技术指标,在策略中去使用和分析. 由于本地采样时间和交易所推送数据时间会有微 ...
[工具库]JOJSONBuilder工具类——一键把多个bean对象数据转换为JSON格式数据
本人大四即将毕业的准程序员(JavaSE.JavaEE.android等)一枚,小项目也做过一点,于是乎一时兴起就写了一些工具. 我会在本博客中陆续发布一些平时可能会用到的工具. 代码质量可能不是很好 ...
[工具库]JOXMLBuilder工具类——一键把多个bean对象数据转换为XML格式数据
本人大四即将毕业的准程序员(JavaSE.JavaEE.android等)一枚,小项目也做过一点,于是乎一时兴起就写了一些工具. 我会在本博客中陆续发布一些平时可能会用到的工具. 代码质量可能不是很好 ...
matlab数据转换为tecplot格式[ASCII码格式下的plt文件]
matlab数据转换为tecplot格式[ASCII码格式下的plt文件] 1 tecplot能读取的的常见ASCII格式 1.1 文件格式与文件头 1.2 zone相关的格式 2 一维数据 3 二维 ...
Objects365数据简介及数据转换为XML格式
Objects365数据简介及数据转换为XML格式注:Obj365和COCO数据集转换为xml格式以及转为yolo的txt格式,xml数据统计处理更改见GitHub:https://github.c ...

通达信日线数据转换为feather格式，提高后续数据处理速度

通达信日线数据转换为feather格式，提高后续数据处理速度相关推荐

最新文章

热门文章