Julia:副本copy引发的问题，期待0.4.0版本！

前面说到，Julia的Array很强大，但是，Julia的索引是副本copy,如果次数多，会引发内存占用积累上升，最后影响程序运行速度。

在0.4版本前，主要是通过ArrayViews.jl库的view，或用sub(),slice()等方法，降低这个内存占用的情况。

我用SQLite.jl取SQLite数据库，我用的是0.3.6版本，由于SQLite.jl取出来的是ResultSet类型，大约是一个包含Array的复合类型，我需要转化成Dict{AsciiString,Dict{Date,Array{kbarData}}}的数据接口类型。其中，就需要对ResultSet的对象进行不断的索引取值（Data[i,j]）.

我做了一些实验，比如cu, 我看了一下，有395万条数据，是2010-2014年，五年的期货一分钟的数据。

由于索引取值是副本的copy, 在目前的情况下，导致内存占用上升至近2G水平。

花时情况大约时：从数据库取到ResultSet花时19秒左右；

至我再把ResultSet转化为Matrix类型，共花时33秒左右（转换花14秒）；

至转化成我的接口数据类型，从数据库至接口数据花时共46秒左右。

其实，本来，不到400万条数据，我认为在1G左右可能更正常一些。

最麻烦的是，这个内存占用暂时还没有办法（我没有找到）消下去，一直在堆中堆积着。

据说，0.4版本后，会改变副本copy的情况，同时期望速度上有所提升！

0.4版本还会把库导入的时间大大缩短！

.......

期待中！

Julia:副本copy引发的问题，期待0.4.0版本！相关推荐

脉冲星 1 月脉动 | Pulsar 2.5.0 和 Pulsarctl 0.3.0 发布，多项活动期待您的参与
????本月看点速览产品动态 Apache Pulsar 2.5.0 发布 Pulsarctl 0.3.0 发布新增 PIP 社区动态海内外社区动态技术干货 >>> 产品动态 ...
Android 6.0 7.0 8.0特性变更
Android 6.0 变更本文内容运行时权限低电耗模式和应用待机模式取消支持 Apache HTTP 客户端 BoringSSL 硬件标识符访问权通知音频管理器变更文本选择浏览器书签 ...
ceph 版本升级_Ceph V10.2.0 Jewel正式版本发布
本文由Ceph中国社区-半天河翻译,Devin校稿英文出处:官网release-notes 欢迎加入翻译组此次主版本的更新将是下一个长期稳定发行版的基础版本.在Infernalis(9.2.X)版 ...
阿里巴巴PouchContainer发布0.2.1版本，剑指企业级
点击关注 InfoQ,置顶公众号接收程序员的 8 点技术早餐作者|孙宏亮编辑|小智 PouchContainer 是什么? 近年来,随着以 Docker 等容器技术的持续走热,企业纷纷开始在内部 ...
Spring Cloud Alibaba 基础教程：Nacos 生产级版本 0.8.0
Spring Cloud Alibaba 基础教程:Nacos 生产级版本 0.8.0 昨晚Nacos社区发布了第一个生产级版本:0.8.0.由于该版本除了Bug修复之外,还提供了几个生产管理非常重要 ...
PouchContainer 发布 0.3.0 版本，支持 Kubernetes 拥抱 CNCF 生态
划重点 PouchContainer 是一款轻量级.开源的富容器技术,拥有快速高效.隔离性强.可移植性高.资源占用少等特性,可以帮助企业快速实现存量业务容器化,同时提高超大规模下数据中心的物理资源利用 ...
python0.1+0.2_为什么0.1+0.2=0.30000000000000004
语言代码结果 C #includeint main(int argc, char* argv) {printf("%.17fn", .1+.2);return 0;} 0.30 ...
Nacos离GA更进一步：0.9.0发布
点击蓝色"程序猿DD"关注我哟来源:阿里巴巴中间件 2月28日,Nacos 发布 0.9.0 版本,该版本主要更新了以下内容: - 加强了 Nacos-Sync 稳定性 - 增加 ...
JS魔法堂：彻底理解0.1 + 0.2 === 0.30000000000000004的背后
Brief 一天有个朋友问我"JS中计算0.7 * 180怎么会等于125.99999999998,坑也太多了吧!"那时我猜测是二进制表示数值时发生round-off error所 ...
Kafka 0.10.0文档翻译二
1.快速开始本教程假设你从零开始,没有已存在的Kafka或zk数据 1.1 下载代码下载 0.10.0.0 release版本,并解压 > tar -xzf kafka_2.11-0.10. ...

Julia:副本copy引发的问题，期待0.4.0版本！

Julia:副本copy引发的问题，期待0.4.0版本！相关推荐

最新文章

热门文章