hdf5 mysql_PythonHDF5目录

最近一直没更新python&量化的博客，是因为忙于看HDF5的书，写VNPY框架，学scrapy爬虫。

本来写博客的目的就是为了当作一种教材，当遇到不会的问题过来找答案。

对于HDF5下面这本书写的很详细了，国内针对HDF5的教材少之又少，python这块应该只有这一本。

大概说下，为什么用HDF5吧。一般股票或期货的历史K线数据都会使用MySql或MongoDB(VNPY用的它)，但是有下面两个缺点：

1、速度:不管是mysql还是Mongodb的读写都存在进程间通信的问题，不同进程间无法直接通讯，需借助其他工具，这就会增加读写时间。

2、大小:由于数据库(尤其是关系型数据库)在保存数据信息时，还会插入一些关系数据等信息，一同保存进入文件，对股票历史k线数据，这种高度结构化的数据，这些关系数据本身是没用的。额外了占用了存储空间。

HDF5优点：

1、速度：直接从硬盘读入内存，绕开了进程间通讯，速度极快。同时它支持切片读取，即不需要把整个dataset读入内存，只读取切片即可。速度和大小都有优化

2、大小：把股票历史数据的dataframe数据作为dataset存入HDF5，列名和索引作为元数据存入HDF5，这样基本上HDF5里没有了与数据不相关的内容，加之其可以使用GZIP和LZF压缩过滤器，在牺牲一部分写入速度的同时，大大减小了存储空间。

大家如果想看的话，就买这本书吧，内容挺全的，基本上能覆盖日常的应用。京东上有卖。

最后附上该书的目录xmind文件：

https://files.cnblogs.com/files/GavinSimons/Python%26HDF5.rar

hdf5 mysql_PythonHDF5目录相关推荐

Ubuntu 16.04下Caffe-SSD的应用（一）——编译Caffe-SSD的CPU版本与GPU版本
前言 1.之前用过Caffe的GooglNet做图像分类的相关项目,比起传统的办法,效果要好很多,在目标检测这块,之前也用传统的HOG加SVM实现过车辆,行人和马匹的检测,但正样本要上万张图像,才达到 ...
Ubuntu16.04 +cuda8.0+cudnn+opencv+caffe+theano+tensorflow配置明细
本文为原创作品,未经本人同意,禁止转载,禁止用于商业用途!本人对博客使用拥有最终解释权欢迎关注我的博客:http://blog.csdn.net/hit2015spring和http://www.c ...
编译GDAL使用最新的HDF库配置文件
HDF库最新版本中的动态库以及目录结构都发生了变化,导致按照之前的博客进行编译GDAL时,会出问题.使用HDF4版本为HDF4-4.2.10,HDF5的版本为HDF5-1.8.12.两个库的目录结构如 ...
深度学习实践，风格变换deep image analogy
Deep Image Analogy是基于机器学习的风格转换方法. 以下是其基本资料: 文献的原文https://arxiv.org/abs/1705.01088: 国内研究者对论文的阅读笔记http ...
caffe(cpu)配置之终极成功版哈哈哈
前言历经几十次的caffe安装经历,终于对它的安装过程有了更深的理解,碰到一些bug也知道如何避过.我先重启一下,如果还能正常进入ubuntu那咱们就把配置过程详细叙述一下(因为之前也配置成功做,重 ...
http://blog.csdn.net/neiloid/article/details/7037093#
1. 显示系统中全部Android平台: android list targets 2. 显示系统中全部AVD(模拟器): android list avd 3. 创建AVD(模拟器): androi ...
hdf5 目录没有serial_hdf5
tf2.0训练网络,使用官方预训练模型和权重时,在保存模型和参数时,出现这个错误: 代码: model.save('model36_5.h5') model.save_weights('weight_ ...
配F-RCN遇到的问题（hdf5.h: 没有那个文件或目录）及解决
问题: src/caffe/net.cpp:8:18: fatal error: hdf5.h: 没有那个文件或目录 compilation terminated. Makefile:575: rec ...
caffe 编译中出现的错误——fatal error: hdf5.h: 没有那个文件或目录
Makefile.config /home/sbd/project/pvanet/pva-faster-rcnn/caffe-fast-rcnn 解决方式: INCLUDE_DIRS := $(PYT ...

hdf5 mysql_PythonHDF5目录

hdf5 mysql_PythonHDF5目录相关推荐

最新文章

热门文章