Error: cannot allocate vector of size 88.1 Mb问题
标签：tps ace 应该 reference big err 无法 注意 hive
这几天训练模型运行代码的时候，老是提示我说：Error: cannot allocate vector of size 88.1 Mb，只知道分配空间不足。
下面是查资料看到的一些回答：
一、这个是R的特点，有几个解决方法：
1.升级到R3.3.0及以上版本，对内存的管理和矩阵计算好太多。在R3.2.5上能死机的计算，在R3.3.0以上就能运行很好。
2.加载一些R语言磁盘缓存包，搜一搜吧
3.写代码的时候适当加一些清理内存的命令。
4.应该跑多线程了吧。
5.加内存作用有限。在R3.2.5上能把服务器跑死机，服务器是44核，512G内存。优化一下代码很有必要。
二、有的时候加内存条也不能解决大数据量多的需求，采用parallel计算策略吧，如果数据一次性读入也不行，可配合filematrix包，分次从硬盘读数据，不过这会慢很多。
三、R里面找到那个参数，有个地方是改最大分配内存的，在Preference之类的地方。
四、下载一个Package叫bigmemory。里面重新为大的数据集构建了类，在处理大数据集的功能上（包括几十GB）基本上是最前沿的。
链接为cran.r-project.org/web/packages/bigmemory/
五、bigmemory包是可以的。另外还提供了另外两种选择，mapReduce和RHIPE(使用Hadoop)，也可以处理大数据集。
六、大神指导（http://bbs.pinggu.org/thread-3682816-1-1.html），cannot allocate vector就是典型的数据太大读不了
方法有三
一、升级硬件
二、改进算法
三、修改操作系统分配给R的内存上限, memory.size(T)查看已分配内存
memory.size(F)查看已使用内存
memory.limit()查看内存上限
object.size()看每个变量占多大内存。
memory.size()查看现在的work space的内存使用
memory.limit()查看系统规定的内存使用上限。
如果现在的内存上限不够用，可以通过memory.limit(newLimit)更改到一个新的上限。注意，在32位的R中，封顶上限为4G，无法在一个程序上使用超过4G （数位上限）。这种时候，可以考虑使用64位的版本。
详细可参考此篇，非常棒https://blog.csdn.net/sinat_26917383/article/details/51114265
1 http://jliblog.com/archives/276
2 http://cos.name/wp-content/uploads/2011/05/01-Li-Jian-HPC.pdf
3 R 高性能计算和并行计算 http://cran.r-project.org/web/views/HighPerformanceComputing.html
如果遇到这个问题，大家可以对应试试解决方案，方法还不错哦~
Error: cannot allocate vector of size 88.1 Mb问题
标签：tps ace 应该 reference big err 无法 注意 hive
原文地址：https://www.cnblogs.com/babyfei/p/9565143.html
Error: cannot allocate vector of size 88.1 Mb问题相关推荐
- 出错解决 | Error: cannot allocate vector of size 109.7 Mb
最近要处理蛮大的数据.结果这个数据放到R中,却出现了内存不够的问题. 关于计算机的基础的知识,是我一直以来的薄弱项. 我现在拥有足够的精力和时间,所以,我希望能够认真解决这个问题. 解决方法,并没有想 ...
- Error: cannot allocate vector of size XX Gb
Error: cannot allocate vector of size XX Gb 目录 Error: cannot allocate vector of size XX Gb #问题 #解决 # ...
- kafka启动报错：INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed； error=‘Cannot allocate
现象 启动kafka报错 INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot alloca ...
- eltwise_layer.cpp:170: error: (-215:Assertion failed) inputs.size() = 2 in function 'cv::dnn::Eltwi
eltwise_layer.cpp:170: error: (-215:Assertion failed) inputs.size() >= 2 in function 'cv::dnn::El ...
- mysql错误码1709_MySQL5.6出现ERROR 1709 (HY000): Index column size too large问题的解决方法...
一.问题 mysql 5.6 出现如下问题: [ERROR 1709 (HY000): Index column size too large. The maximum column size is ...
- 服务器上Kafka启动报错：error=‘Cannot allocate memory‘ (errno=12)
文章目录 环境 经历如下弯路才查看到报错信息 解决方法 1.kill一些不用的进程,来腾出内存. 2.修改默认配置,减少软件启动需要的内存 启动成功 其他 参考 解决问题思路:大问题拆小问题.从源头( ...
- pod install error（NoMethodError - undefined method `size’ for nil:NilClass）
pod install error(NoMethodError - undefined method `size' for nil:NilClass) 前言 问题截图 问题的相关连接: 解决办法 前言 ...
- Error: L6220E: Execution region ER_IROM5 size (31436 bytes) exceeds limit (31424 bytes).
kei4.73编译过程中提示错误: ..\..\..\scatterfiles\scatterfile_common.sct: Error: L6220E: Execution region ER_I ...
- Frame size of 257 MB larger than max allowed 100 MB
ActiveMQ有时会报类似Frame size of 257 MB larger than max allowed 100 MB的错误,意思是单条消息超过了预设的最大值,在配置文件中 <tra ...
最新文章
- PHP微信SDK——Zebra-Wechat
- 数组字典_VBA数组与字典解决方案第34讲：数组的传递
- python MultipartEncoder
- 关键字Restrict
- Python稳基修炼的经典案例8（计算机二级、初学者必须掌握的例题）
- HWPFDocument读取doc,wps文档（含图片读取）
- ×××全功能邮件系统（6）
- FFmpeg 图片转TS
- 图书条形码跟ISBN号互相转换的类 续
- 北邮计算机学院专业分析,2019-2021北京邮电大学考研数据分析
- 抖音seo源码搭建 抖音矩阵系统具体功能展示？
- uva10935卡片游戏
- 【网络问题】微软商店无法打开：重试该操作，无法加载页面。请稍后重试
- 安卓圆形图片控件CircleImageView的使用
- 力扣题：生命游戏解题（未考虑内存消耗）
- java 过滤字符串_java 过滤字符串方法实现
- 联发科MT6873和MT6853的区别是什么？
- asterisk安装、配置
- Python-pytest、unittest
- 实体类使用@Builder，导致@ConfigurationProperties注入属性失败