h2o java_java – 在h2o中加载大于内存大小的数据

我正在尝试加载大于h2o内存大小的数据.

H2o blog提到：关于Bigger Data和GC的说明：当Java堆太满时,我们进行用户模式交换到磁盘,即,您使用的数据量大于物理DRAM.我们不会死于GC死亡螺旋,但我们会降低到核心外速度.我们会像磁盘允许的那样快.我个人测试过将12Gb数据集加载到2Gb(32位)JVM中;加载数据大约需要5分钟,另外还需要5分钟才能运行Logistic回归.

这是连接到h2o 3.6.0.8的R代码：

h2o.init(max_mem_size = '60m') # alloting 60mb for h2o,R is running on 8GB RAM machine

给

java version "1.8.0_65"

Java(TM) SE Runtime Environment (build 1.8.0_65-b17)

Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01,mixed mode)

.Successfully connected to http://127.0.0.1:54321/

R is connected to the H2O cluster:

H2O cluster uptime: 2 seconds 561 milliseconds

H2O cluster version: 3.6.0.8

H2O cluster name: H2O_started_from_R_RILITS-HWLTP_tkn816

H2O cluster total nodes: 1

H2O cluster total memory: 0.06 GB

H2O cluster total cores: 4

H2O cluster allowed cores: 2

H2O cluster healthy: TRUE

Note: As started,H2O is limited to the CRAN default of 2 cpus.

Shut down and restart H2O as shown below to use all your cpus.

> h2o.shutdown()

> h2o.init(nthreads = -1)

IP Address: 127.0.0.1

Port : 54321

Session ID: _sid_b2e0af0f0c62cd64a8fcdee65b244d75

Key Count : 3

我试图将169 MB的csv加载到h2o中.

dat.hex

哪个错了,

Error in .h2o.__checkConnectionHealth() :

H2O connection has been severed. Cannot connect to instance at http://127.0.0.1:54321/

Failed to connect to 127.0.0.1 port 54321: Connection refused

这表明内存不足error.

Question: If H2o promises loading a data set larger than its memory capacity(swap to disk mechanism as the blog quote above says),is this the correct way to load the data?

h2o java_java – 在h2o中加载大于内存大小的数据相关推荐

Windows编程内存中加载图片并显示 Direct离屏表面的实现
版本:VS2015 语言:C++ 前段时间去白空轨了,感觉快燃尽了.没有看Windows的书,所以博客也没更,不过请组织放心,从现在开始,即使是节假日,我也会仔细钻研DirectX的. 今天是第七章的 ...
mui可否使用php网页,使用MUI框架如何加载外部网页或服务器数据
下面我就为大家分享一篇浅谈MUI框架中加载外部网页或服务器数据的方法,具有很好的参考价值,希望对大家有所帮助. 我们很多同学在实施使用MUI框架的时候,在打开新的页面的时候常使用的方式是:mui.op ...
opengl es java_java – 在Android OpenGL ES App中加载纹理
1)您应该根据需要分配尽可能多的纹理名称.一个用于您正在使用的每个纹理. 加载纹理是一项非常繁重的操作,会使渲染管道停顿.所以,你永远不应该在游戏循环中加载纹理.您应该在呈现纹理的应用程序状态之前具有 ...
四个步骤实现在ESRI ArcMap中加载17.6G离线卫星地图的方法
四个步骤实现在ESRI ArcMap中加载17.6G离线卫星地图的方法 ArcMap是GIS行业的从业人员再熟悉不过的一款功能非常强大的软件,尤其是对从事地质方面工作的外业人员来讲,更是一款不可或缺的 ...
浅谈android中加载高清大图及图片压缩方式(二)
这一讲就是本系列的第二篇,一起来聊下关于android中加载高清大图的问题,我们都知道如果我们直接加载原图的话,一个是非常慢,需要等待一定时间,如果没有在一定的时间内给用户响应的话,将会极大影响用户的 ...
在C++中加载TorchScript模型
在C++中加载TorchScript模型本教程已更新为可与PyTorch 1.2一起使用顾名思义,PyTorch的主要接口是Python编程语言.尽管Python是合适于许多需要动态性和易于迭代的 ...
xBIM 实战01 在浏览器中加载IFC模型文件
系列目录 [已更新最新开发文章,点击查看详细] 一.创建Web项目打开VS,新建Web项目,选择 .NET Framework 4.5 选择一个空的项目新建完成后,项目结构如下: 二.添 ...
c语言文件加载内存吗,把文件中的数据加载到内存进行查找C语言实现.docx
把文件中的数据加载到内存进行查找C语言实现 #define _CRT_SECURE_NO_WARNINGS#include#include#includechar **pp=NULL;void ini ...
Spring中加载xml配置文件的六种方式
Spring中加载xml配置文件的六种方式博客分类: Spring&EJB XMLSpringWebBeanBlog 因为目前正在从事一个项目,项目中一个需求就是所有的功能都是插件的形式装 ...
如何在Author中加载SDE栅格图层?
如何在Author中加载SDE栅格图层? 版本: ArcIMS 9.1 在Author中加载SDE栅格图层,并保存AXL文件. 过程描述 1.使用ArcIMS Author工具正常的连接ArcSDE ...

h2o java_java – 在h2o中加载大于内存大小的数据

h2o java_java – 在h2o中加载大于内存大小的数据相关推荐

最新文章

热门文章