spark-大表join优化方案

数据量：
1~2G左右的表与3~4T的大表进行Join

拆分
将任务数据分为多个结果RDD，将各个RDD的数据写入临时的hdfs目录，最后合并

取所需的字段和数据，并去重，减少data shuffle的规模

调整并行度和shuffle参数

spark-submit 参数

#提高shuffle阶段的任务并行度，降低单个任务的内存占用
--conf spark.default.parallelism=2000
#提高shuffle 缓冲区大小
--conf spark.shuffle.file.buffer=128k
#增加堆外内存大小
--conf spark.yarn.executor.memoryOverhead=1g

增加资源

这就不细说了，num-executors 不是越多越好有边界

优化数据倾斜

检查数据是否是skewed data，即join出的key value pair大小极度不均，解决方案可以参考：
https://zhuanlan.zhihu.com/p/21483985

spark-大表join优化方案相关推荐

postgresql大表join优化
postgresql大表join优化一.背景 1.数据量: 表名数据量 f_invoice 87346130 f_invoice_item 97535867 2.索引: 表:f_invoice_i ...
两张超级大表join优化
一个简单的两表关联,SQL跑了差不多一天一夜,这两个表都非常巨大,每个表都有几十个G,数据量每个表有20多亿,表的字段也特别多. 相信大家也知道SQL慢在哪里了,单个进程的PGA 是绝对放不下几十个G ...
Hive SQL 小表与大表Join 原理与实操
一.案例演示 1)没有使用map join -- a 表是大表,数据量是百万级别 -- b 表是小表,数据量在百级别 select a.field1 as field1,b.field2 as fie ...
spark sql优化：小表大表关联优化 union替换or broadcast join
----原语句(运行18min) SELECTbb.ipFROM(SELECTip ,sum(click) click_num,round(sum(click) / sum(imp), 4) user ...
【hive】数据倾斜-大表小表join优化mapjoin
真正让你明白Hive调优系列3:笛卡尔乘积,小表join大表,Mapjoin等问题 0.Hive中的优化分类真正想要掌握Hive的优化,要熟悉相关的MapReduce,Yarn,hdfs底层源 ...
大表与大表join数据倾斜_技术分享|大数据技术初探之Spark数据倾斜调优
侯亚南数据技术处支宸啸数据技术处在大数据计算中,我们可能会遇到一个很棘手的问题--数据倾斜,此时spark任务的性能会比预期要差很多:绝大多数task都很快执行完成,但个别task执行极慢或者 ...
Spark调优、DataFrame API使用、大表Join、动态分区
Spark DataFrame [scala版] 实践小结 Spark DataFrame 使用注意事项下面介绍的是使用Dataframe时 api 文档中没有写,但是需要注意的坑. DataFra ...
【Spark调优】大表join大表，少数key导致数据倾斜解决方案
[Spark调优]大表join大表,少数key导致数据倾斜解决方案参考文章: (1)[Spark调优]大表join大表,少数key导致数据倾斜解决方案 (2)https://www.cnblogs. ...
数据库大表如何优化？
数据库大表如何优化? 当MySQL单表记录数过大时,数据库的CRUD性能会明显下降,一些常见的优化措施如下: 1. 限定数据的范围务必禁止不带任何限制数据范围条件的查询语句.比如:我们当用户在查询订 ...

spark-大表join优化方案

spark-大表join优化方案相关推荐

最新文章

热门文章