zw·10倍速大数据与全内存计算

zw全内存10倍速计算blog，早就在博客园机器视觉栏目发过，大数据版的一直挂着，今天抽空补上。

在《零起点，python大数据与量化交易》目录中

http://blog.sina.com.cn/s/blog_7100d4220102vlpa.html

我们已经介绍了多种：大数据与Python十倍速性能优化

软加速：矢量优先
软加速：cpython
SSD加速大法
KBD全内存数据库
Gpu终极加速方案

zw全内存10倍速计算，是根据实践，在工程中提出了一种全新的解决方法，ramdisk，采用内存虚拟盘。

目前，内存价格很低，8G基本是标配，笔者的推荐配置32G以上，最好是：e3 cpu+大容量服务器主板，组建128-256G以上的全内存运算环境，

把整个系统，包括windows，python、pandas、项目软件，全部copy到ram里面，进行全内存计算。

HP目前正在研发的：the machine，据说就是完全放弃了外部磁盘。

ramdisk软件，目前有很多，常见的有amd、软媒内存盘，一般采用单文件的软媒内存盘。

64位系统，起点就是2G以上的数组（内存表talble），作为k-v表、index索引库而言，已经足够了，毕竟，很少有10G以上的K-V表，其他数据，放到硬盘、ssd都无所谓，毕竟90%瓶颈是在在k-v部分。

zw全内存10倍速计算，其实也是目前游戏工作室、网推工作室的首选配置方案。

1套E3-256G系统，1w左右，采用优化的骨头版xp（不到100M），可以挂50-100个vbox虚拟机，还可以优化。

单机，同时可以支持数十甚至上百网游、页游、安卓模拟器，多开挂机，

挂QQ，500-1000个，配合自动登录脚本，单机每天1w个左右。

大数据、量化交易，互联网企业，金融公司，e3-256G，略微低端了些，建议直接上e5、e7系列，内存越大越好

对于部分重口味的用户，例如“双11”爆仺，可以采取数据库拆分，或者老毛子式的：简单、粗暴的风格，

直接使用最快的ddr4/ddr5内存，并扩充到512G甚至1T以上，

这个虽然贵点，不过对于互联网企业、金融机构无所谓，而且，再贵，也比IBM的小型机便宜十倍。

zw全内存10倍速计算，虽然看起来保持了TG的土鳖风格，不过非常实用，

特别是对于中小企业、IT工作室，几乎是零成本，就可以提速5-10倍。

而且没有任何二次开发、移植成本，无需GPU、cuda编程。

转载于:https://www.cnblogs.com/ziwang/p/9500386.html

zw·10倍速大数据与全内存计算相关推荐

云原生大数据架构中实时计算维表和结果表的选型实践
简介: 随着互联网技术的日渐发展.数据规模的扩大与复杂的需求场景的产生,传统的大数据架构无法承载. 作者 | 志羽来源 | 阿里技术公众号一前言传统的大数据技术起源于 Google 三架马车 ...
【2022持续更新】大数据最全知识点整理-HBase篇
大数据最全知识点整理-HBase篇基础问题: 1.Hbase是什么 2.Hbase架构 3.Hbase数据模型 4.Hbase和hive的区别 5.Hbase特点 6.数据同样存在HDFS,为什么H ...
【2022持续更新】大数据最全知识点整理-HDFS篇
大数据最全知识点整理-HDFS篇导语基础知识 1.Hadoop有几种部署方式 2.HDFS的各进程名称与功能 3.HDFS读流程 4.HDFS写流程 5.HDFS写文件时节点挂机处理 6.HDFS ...
打破10倍速软件工程师神话
作者 | Ari-Pekka Koponen 译者 | 弯月出品 | CSDN(ID:CSDNnews) 领导们常常为高效的员工而感到自豪.实际上,从长远来看,软件组织中拥有"10 倍速工 ...
【2022持续更新】大数据最全知识点整理-数据仓库篇
大数据最全知识点整理-数据仓库篇 1.什么是数据仓库(数仓的定义) 2.数据仓库特点面向主题集成性稳定性反映历史变化 3.数据库和数据仓库的区别 4.数仓构建流程 1) 数据调研.划分主题域 ...
如何以10倍速加速Apache Xalan的XPath处理器
一段时间以来, Apache Xalan中存在一个令人尴尬的错误,该错误是XALANJ-2540 . 此错误的后果是Xalan每次XPath表达式求值将内部SPI配置文件加载数千次 ,可以很容易地进行 ...
职场高手不会告诉你的10倍速学习心法！解密 “库伯学习圈” 和 “费曼学习法”...
库伯学习圈,是大卫·库伯(David Kolb)在总结了约翰·杜威(John.Dewey).库尔特·勒温(Kurt Lewin,1890-1947)和皮亚杰经验学习模式的基础之上,提出的经验学习模式, ...
面向大数据的异构内存系统
面向大数据的异构内存系统王孝远, 廖小飞, 刘海坤, 金海华中科技大学计算机学院,湖北武汉 430074 摘要:受限于DRAM和新型非易失性存储器(non-volatile memory,NVM ...
2022年北京大数据技能大赛“隐私计算”赛道初赛完结！12强出炉
10月14日,2022年北京大数据技能大赛"隐私计算"赛道初赛顺利结束,阶段性成果初现. 前情提要 | 速来!2022北京大数据技能大赛隐私计算赛道可以提交了! 2022年北京大数 ...

zw·10倍速大数据与全内存计算

zw·10倍速大数据与全内存计算相关推荐

最新文章

热门文章