一些大任务SQL的优化方案

最近在优化集群的大任务，发现许多大任务的SQL都有一个特点：查询数据量大，导致扫描过滤以及shuffle的时间长。这种sql一般都是查询的时间范围比较大（我们集群的表基本都按天分区），从1个月到2年不等，然后又要每天运行，占用了集群相当大的资源。

对于这类任务，其实有很大的优化空间。举个例子：

selectname,count(1) as occurCount
fromtest
wheredate_p > 20200901and date_p < 20200930and province = '福建'
group byname

这个sql每天都会查询近一个月的数据，10月01日查询20200901-20200930的数据，10月02日查询20200902-20201001的数据。我们会发现，10月2日计算的20200902-20200930这些数据其实在1号的时候都已经算过了，这时候又做了重复的计算。为了避免这些重复的计算，我们可以提前每天的数据写入到一张中简表，之后再从这些中简表读取数据进行合并（此时每天的数据合并过一次了，读取数据量会少很多）:

优化步骤：

1、建立表 test_intermediate (name,occurCount)

2、创建每日任务【清洗数据到中间表 test_intermediate】：

insert overwrite table test_intermediate partiton(date_p=${date_p})
selectname,count(1) as occurCount
fromtest_intermediate
wheredate_p = ${date_p}and province = '福建'
group byname

3、优化之前的sql(从中间表读取数据)：

selectname,sum(occurCount) as occurCount
fromtest_intermediate
wheredate_p > 20200901and date_p < 20200930
group byname

一些大任务SQL的优化方案相关推荐

数据库sql常见优化方案
为什么要优化: 随着实际项目的启动,数据库经过一段时间的运行,最初的数据库设置,会与实际数据库运行性能会有一些差异,这时我们就需要做一个优化调整. 数据库优化这个课题较大,可分为四大类: ...
mysql和mybatis优化_MySQL + mybatis的SQL优化方案
sql优化方案: 1.添加索引,在条件参数,关联参数上建立参数, 2.字段优化,需要什么字段查什么字段 3.模糊查询尽量使用: select * from tableName a where a.na ...
mybatis与mysql调优_MySQL + mybatis的SQL优化方案
sql优化方案: 1.添加索引,在条件参数,关联参数上建立参数, 2.字段优化,需要什么字段查什么字段 3.模糊查询尽量使用: select * from tableName a where a.na ...
容易忽视的十大SQL优化方案！
SQL性能问题已经逐步发展成为数据库性能的首要问题,80%的数据库性能问题都是因SQL而导致.面对日益增多的SQL性能问题,如何下手以及如何提前审核已经成为越来越多的程序员必须要考虑的问题.小千总结了 ...
史上最全MySQL 大表优化方案（长文）
转载自史上最全MySQL 大表优化方案(长文) 当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 一.单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑 ...
MySQL 大表优化方案（1）
转载自干货!!!MySQL 大表优化方案(1) 当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分 ...
SQL Server数据库优化方案
SQL Server数据库优化方案查询速度慢的原因很多,常见如下几种: 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计 ...
MySQL慢查询之慢SQL定位、日志分析与优化方案
一个sql执行很慢的就叫慢sql,一般来说sql语句执行超过5s就能够算是慢sql,需要进行优化了为何要对慢SQL进行治理每一个SQL都需要消耗一定的I/O资源,SQL执行的快慢直接决定了资源被占 ...
mysql大翻页limt 1700,100慢优化方案
1.引言公司有个需求,统计短信系统每天status没成功的电话号码,然后进行统计分析.为了省事,我直接用了现成的sql, 该sql是分页,每次筛选limit一百条,最后合并下,最后不就得出所有的手机 ...
# Sql语句过长报错、查询慢优化方案探索
Sql 过长查询报错.in过多.查询慢优化方案探索目录文章目录 Sql 过长查询报错.in过多.查询慢优化方案探索目录背景描述解决方案方案1(内存中过滤) 存在问题方案2 In 查询的内 ...

一些大任务SQL的优化方案

一些大任务SQL的优化方案相关推荐

最新文章

热门文章