Julia : 1亿条记录读取测试,及几个优化点

性能优化还是很重要。
具体看 julia performance tips. http://docs.julialang.org/en/release-0.4/manual/performance-tips/
此文感谢 QQ群中KDr2 大神指点。

 type kBar# 换成immutalbe效果不大 ，但如果去掉Code字段（引用关系），性能提升很大。Code            ::ASCIIString # 建议改成Int格式 +immutableDateTime        ::Float64     # 如果改成Dates.DateTime影响不大Close           ::Float64Open            ::Float64High            ::Float64Low             ::Float64PreClose        ::Float64OpenInterest    ::Float64 # Volume          ::Float64Amount          ::Float64 # Ratio           ::Float64endfunction writebar(num::Int64)data =Array(kBar,num)  # 重要 预分配空间，有些地方用sizehint!@inbounds for i =1:num  # 重要 @inboundsdata[i]=kBar("SH600036",20150630,3312.1,3312.2,3314.3,3310.1,3312.2,6452455.0,4568712,1234564561.1,12.1)endreturn data
end
@time writebar(100000000)

二次结果：

 12.937654 seconds (100.05 M allocations: 9.687 GB, 72.31% gc time)37.238501 seconds (100.04 M allocations: 9.687 GB, 90.17% gc time)

Julia : 1亿条记录读取测试,及几个优化点相关推荐

mysql十亿_Mysql：表中有数十亿条记录
我需要在Mysql表中保存约78亿条记录.该表既读写又密集.我必须每小时至少保留20亿记录的插入率.而在桌子上搜索不应超过10秒钟. 我们有一个UI,用户可以根据不同的colums属性进行搜索. 大多 ...
将PostgreSQL数据库扩展到每个月12亿条记录的经验教训
这不是我第一次使用大型数据集.我为最大的英国公共Wi-Fi供应商设计的认证和产品管理数据库也有巨大的容量.我们每天跟踪数百万设备的身份认证.然而,该项目有资金,允许我们选择任何硬件.任何支持服务以及聘 ...
14亿条记录，12c 做不到2小时内变更表结构字段类型?
导读:本文详细讲述Oracle 12c 在2小时内完成一张14亿条记录的表结构字段类型变更的过程,希望可以帮到工作中的大家,如有任何疑问,欢迎在本文的评论区交流讨论. 概述 Oracle大表在线修改的 ...
mysql一张表100亿条数据_一个表有100亿条记录，如何优化
我们的数据库还在设计阶段.我们预计数据量将会很大,一年的时间里,一张表,就会产生100亿条数据,表结构,如下id,userid,createddate,等等正常情况下,100亿条记录如果都存在一个表里 ...
mongodb 百万_1亿条记录的MongoDB数据库随机查询性能测试
mongdb性能压力测试,随机查询,数据量1亿条记录操作系统centos6.4x64位从测试结果看,当mongodb将数据全部载入到内存后,查询速度根据文档的大小,性能瓶颈通常会是在网络流量和CP ...
mysql 万亿数据_sql-server – 哪个数据库可以处理数十亿/数万亿条记录的存储？...
我们正在研究开发一种捕获和分析netflow数据的工具,我们收集了大量的数据.每天我们捕获大约14亿个流记录,这些记录在json格式中看起来像这样: { "tcp_flags": ...
MySQL 快速构造一亿条记录的表
在上一次朋友问我如何快速构造一亿条记录的表后,我理出了实行的办法,见:https://blog.csdn.net/csdnhsh/article/details/95759379,但是因为录入一亿 ...
亿条数据读取工具_仅需1秒！搞定100万行数据：超强Python数据分析利器
作者:Maarten.Roman.Jovan 编译:1+1=6 1.前言使用Python进行大数据分析变得越来越流行.这一切都要从NumPy开始,它也是今天我们在推文介绍工具背后支持的模块之一. 2 ...
mongodb索引--1亿条记录的查询从55.7秒到毫秒级别补充版
从头开始,验证mongodb的索引的好处.(window7环境下) 下载mongodb服务器,并解压到d盘,并使用以下命令启动 mongod --dbpath D:\mongodb\data mong ...
mysql 造1亿条记录的单表--大数据表
读写文件背景及木:现有数据1000w单表,为压力测试准备1亿条数据. 步骤: 1.将1000w条记录,除id外都导入到多个文件中: //DELIMITER DROP PROCEDURE if EXI ...

Julia : 1亿条记录读取测试,及几个优化点

Julia : 1亿条记录读取测试,及几个优化点相关推荐

最新文章

热门文章