spark 1.5.x Unable to acquire 33554432 bytes of memory
java.io.IOException: Unable to acquire 33554432 bytes of memory
原因：在spark1.5中引入了 Tungsten ,默认单元分配的内存是64MB，如果你总共只有1g内存并且超过4个线程，这个值就太高。
可以添加如下设置修改：
spark.buffer.pageSize 16m
或者直接将tungsten关闭(不推荐)
spark.sql.tungsten.enabled false
在1.6进行修复
https://issues.apache.org/jira/browse/SPARK-10309#userconsent#
spark 1.5.x Unable to acquire 33554432 bytes of memory相关推荐
- SparkOutOfMemoryError: Unable to acquire 65536 bytes of memory, got 0
Caused by: org.apache.spark.memory.SparkOutOfMemoryError: Unable to acquire 65536 bytes of memory, g ...
- 遇到apt-get锁怎么办Unable to acquire the dpkg frontend lock
apt-get 安装包时遇到以下错误(Ubuntu系统): E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource ...
- Php Fatal error: Allowed memory size of 33554432 bytes exhausted 的解决办法
Php Fatal error: Allowed memory size of 33554432 bytes exhausted 的解决办法 在 php.ini 配置文档里面,默认的memory_li ...
- linux qemu 报错 Unable to reserve 0xfffff000 bytes of virtual address space at 0x1000 解决方法
目录 错误现象 可能原因 解决过程 解决方法 错误现象 使用 qemu-i686 运行 i686平台文件 报错 qemu-i686: Unable to reserve 0xfffff000 byte ...
- ORA-04031: Unable To Allocate 32 Bytes Of Shared Memory
记录一次生产库遇到的4031错误,后来通过调整sga大小将问题解决了 报错信息: ORA-04031: 无法分配 32 字节的共享内存 ("shared pool","s ...
- ORA-39095: Dump file space has been exhausted: Unable to allocate 8192 bytes
甲骨文Oracle数据库使用EXPDP/IMPDP进行Oracle数据迁移从高版本(11g)到底版本(10g)步骤 Oralce数据导入 可能产生的错误 ORA-39095: Dump file sp ...
- Oracle错误：ORA-27121: unable to determine size of shared memory segment
为什么80%的码农都做不了架构师?>>> 今天在用SQLPLUS登陆数据库时,忽然报了一个错误,错误的代码如下: ORA-01034: ORACLE not available ...
- ORA-04031: unable to allocate 12312 bytes of shared memory
前两天一非常重要的生产库的alert日志里面一直报如下错误: NOTE: deferred map free for map id 8 Tue Feb 19 14:08:13 2013 WARNING ...
- linux ubuntu debian apt-get报错 Unable to acquire the dpkg frontend lock 解决方法
方法1 ps -e|grep apt-get 结果:6965 ? 00:00:01 apt-get 执行:sudo kill 6965 方法2 强制解锁,会删除文件目录 sudo rm /var/ca ...
最新文章
- (已解决）Jupyter Notebook使用argparse报错：An exception has occurred, use %tb to see the full traceback.
- 用css网站布局之十步实录～
- Laravel5中Cookie的使用
- POJ3045 Cow Acrobats —— 思维证明
- MySql 隐式转换
- django避免写models.py办法
- 将原生SQL功能Hibernate到您的Spring Data Repository中
- LeetCode 25 Reverse Nodes in k-Group Add to List （划分list为k组）
- 前端ajax与后端php数据传输总结
- Protel99SE精彩教程
- MySQL索引数据结构与算法
- 机器学习去除马赛克案例（代码）
- Hack the box靶机 Blunder
- Android5.1-s5p6818平台adb push 、adb install/uninstall的疑问
- 【LeetCode每日一题】——LCP 44.开幕式焰火
- 【数字设计与计算机体系结构】2021-09-26-数字设计与计算机体系结构课程（四）
- 独立显卡的电脑找不到独立显卡该怎么办
- 虚拟机linux ecap文件在,为AM335x移植Linux内核主线代码(30)eCAP的PWM波功能
- 云南原乡｜坐拥腾冲旅游绝佳位置 是旅居养生度假投资首选
- OCAD应用：光楔初始设计