Spark sql优化

缓存数据

可以将df或ds进行缓存(cache方法persist方法)
默认存储级别memory_and_disk

参数调优

可以通过配置下表中的参数调节Spark SQL的性能。

Property Name	Default	Meaning
spark.sql.files.maxPartitionBytes	134217728 (128 MB)	获取数据到分区中的最大字节数。
spark.sql.files.openCostInBytes	4194304 (4 MB)	该参数默认4M，表示小于4M的小文件会合并到一个分区中，用于减小小文件，防止太多单个小文件占一个分区情况。
spark.sql.broadcastTimeout	300	广播等待超时时间，单位秒。
spark.sql.autoBroadcastJoinThreshold	10485760 (10 MB)	最大广播表的大小。设置为-1可以禁止该功能。当前统计信息仅支持Hive Metastore表。
spark.sql.shuffle.partitions	200	设置shuffle分区数，默认200。

一些基本原则

1 尽量复用RDD
2 使用RDD缓存
3 优化数据结构
4

数据倾斜

原理:
一个分区要处理的数据远远大于其他分区.
如何定位发生数据倾斜的代码

问题分析

某个task特别慢
- 查看数据倾斜发生在第几个stage中
某个task内存溢出

Spark sql优化相关推荐

袋鼠云数栈基于CBO在Spark SQL优化上的探索
原文链接:袋鼠云数栈基于CBO在Spark SQL优化上的探索一.Spark SQL CBO选型背景 Spark SQL的优化器有两种优化方式:一种是基于规则的优化方式(Rule-Based Opt ...
Spark Sql优化之3.0特性AQE
前言这一篇来介绍Spark3.0版本中Spark Sql新增的重要特性AQE AQE全称Adaptive Query Execution,在3.0版本中主要包含以下三个功能 (1)Dynamical ...
spark sql优化：小表大表关联优化 union替换or broadcast join
----原语句(运行18min) SELECTbb.ipFROM(SELECTip ,sum(click) click_num,round(sum(click) / sum(imp), 4) user ...
spark sql 优化心得
本篇文章主要记录最近在使用spark sql 时遇到的问题已经使用心得. 1 spark 2.0.1 中,启动thriftserver 或者是spark-sql时,如果希望spark-sql run ...
Spark性能优化 -- Spark SQL、DataFrame、Dataset
本文将详细分析和总结Spark SQL及其DataFrame.Dataset的相关原理和优化过程. Spark SQL简介 Spark SQL是Spark中具有大规模关系查询的结构化数据处理模块 ...
Spark SQL玩起来
标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started.DataSource.Performance Tuning和Distribut ...
如何查询spark版本_掌握Spark SQL中的查询执行
了解您的查询计划自从Spark 2.x以来,由于SQL和声明性DataFrame API,在Spark中查询数据已成为一种奢侈. 仅使用几行高级代码就可以表达非常复杂的逻辑并执行复杂的转换. API ...
大数据Hadoop之——Spark SQL+Spark Streaming
文章目录一.Spark SQL概述二.SparkSQL版本 1)SparkSQL的演变之路 2)shark与SparkSQL对比 3)SparkSession 三.RDD.DataFrames和D ...
Cris 的 Spark SQL 笔记
一.Spark SQL 概述 1.1 什么是Spark SQL Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了2个编程抽象: DataFrame 和DataSet,并且作为 ...

Spark sql优化

缓存数据

参数调优

一些基本原则

数据倾斜

Spark sql优化相关推荐

最新文章

热门文章