SparkSql引起的一场灾难

发生灾难的原因

sql(sqlText = "select tel_number from TableA").filter("tel_number not in (select tel_number from tableB)").agg(count($"serv_number")).show()

说明：
select tel_number from TableA 大约三亿条数据
select serv_number from tableB 大约四百万条数据

这一条sparksql直接发生了两起让人崩溃的bug：

Bug 一：

ERROR scheduler.TaskSetManager: Total size of serialized results of 611 tasks (1915.0 MB) is bigger than spark.driver.maxResultSize (1024.0MB)

这个Bug一看感觉很容易就解决，只是一个配置的问题，于是我进行了如下配置：

 --conf spark.driver.maxResultSize=10240

本来设置这么大应该没有问题了，谁知道Bug二出现了：

Bug 二：

java.io.EOFException: Premature EOF: no length prefix available

这个问题的解决办法网上并不多可以参考

发生这场灾难的最根本原因就是这条sql语句中使用了：

三亿条数据 not in(四百万条数据)

换个思路写sql

sql(sqlText = "select tel_number from TableA").join(sql(sqlText = "select tel_number,user_id from TableB"),usingColumns = Seq("serv_number"), joinType = "left_outer").where("user_id is null").agg(count($"serv_number")).show()

这样就没有问题了

后记

Spark调优可以参考
基础调优
高级调优
但是SparkSql调优，还得接下来研究研究

SparkSql引起的一场灾难相关推荐

ARM联合创始人：若被英伟达收购将是一场灾难
8月5日消息,据国外媒体报道,软银正在寻求出售2016年320亿美元收购的芯片设计公司ARM,以获得资金偿还不断增加的债务,安抚不安投资者的情绪,芯片厂商英伟达则是正在同软银洽谈收购,外媒称其是唯一一 ...
暴雪2013年内发布linux游戏，只因win8是场灾难？
2019独角兽企业重金招聘Python工程师标准>>> 看起来Linux玩家数量的增长也吸引了暴雪的目光.据"一位可靠消息来源"透露,暴雪计划年内在Ubuntu ...
贝鲁特港大爆炸只是一场灾难，却是黎巴嫩国家经济危机的导火索
文 / 王不留(微信公众号:考研英语笔记) 2021年9月17号的早晨,来杯"经济学人浓香咖啡",提神解困. A shot in the arm: Lebanon The cent ...
从拼音输入法是汉字的一场灾难看什么是最“好”的产品设计
不知道哪位中西文化融合的大家创立了汉语拼音,这种东西自然没有什么难度,但是从计算机发明之后,却给汉字带来了一场灾难.当然了,如果最终中国人都开始使用英语,那么这场汉字的灾难未必不是好事,不过不管怎么说 ...
人工ai迪丽热巴鸿蒙,AI换脸视频被公开“叫卖”，一线女星“成为目标”，女星的一场灾难！...
原标题:AI换脸视频被公开"叫卖",一线女星"成为目标",女星的一场灾难! 随着科技的发展,AI技术作为一种先进的主流技术也被引入到我们的生活之中.大家都知道, ...
数学：确定性的丧失---第四章第一场灾难：真理的丧失
发信人: paradax (秀树*冬眠中...), 信区: Philosophy 标题: 数学:确定性的丧失(5) 发信站: 北大未名站 (2002年10月23日22:34:43 星期三), 转信 ...
搭了我半年顺风车的同事，把我拉黑了：和任何人走太近，都是一场灾难
黑客技术点击右侧关注,了解黑客的世界! Java开发进阶点击右侧关注,掌握进阶之路! Python开发点击右侧关注,探讨技术话题! 作者丨山叔图片 | 网络来源丨不山大叔(ouba798) ...
MySQL GROUP_CONCAT长度限制引发的一场灾难
GROUP_CONCAT函数是对查处的分组数据对于分组列相同的数据合并成一列用逗号隔开的函数. 但是该函数的长度有个默认限制,默认是1024个字符,超过就会截断,从而导致用count统计GROUP_C ...
无线蓝牙耳机充电仓充电_无线充电是一场灾难，正在等待发生
无线蓝牙耳机充电仓充电重点 (Top highlight) Wireless charging is increasingly common in modern smartphones, and t ...

SparkSql引起的一场灾难

发生灾难的原因

换个思路写sql

后记

SparkSql引起的一场灾难相关推荐

最新文章

热门文章