最近才开始接触数仓性能优化，好像走进迷宫，头上永远顶着两句话：
这个是啥，那个是啥
因为数仓好像没啥性能优化的，可能这是小白的一种自我良好认知
根据我们的业务，优化工具经常用到的有以下两个
1、和mysql 类似。用 explain 工具
用这个工具，主要是用来查资源内存和执行语句的时间问题
这也是关乎性能的基本指标
2、用命令或者工具 dbeaver，查看输出， profile
这个没怎么看过，不做解释了，欢迎有用过的，来探讨

3、最近学到的优化方法，好像也不是什么高深的东西

1、对于复杂的子查询语句,超过三个，四个的模型关联，就创建临时结果表，分步进行，曲线救国
2、最好不要用 merge 和 update ，多用使用 Delete+Insert 。用了之后，大家都说好
3、尽量清空表，最好不要删除表，虽然delete 比较干脆利落的，但是数据量大，删除也是一项巨大工作量,，尝试分区删除，或者 truncate
4、最原始的一个计划，应该是第一步就是构建模型时的分区 partition by 时，涉及分区字段要注意，避免数据倾斜
5、涉及很大的数据量，脚本开发多使用 /*+ DIRECT */
来代替 insert 或者 update ,
最近用这个比较多

Vertica系列：数仓优化相关推荐

数仓维度建模系列-数仓规范篇
本系列将持续更新数仓建模相关知识,将学习到的理论知识和工作实践结合起来,总结沉淀下来,积跬步成千里. 上一篇介绍了维度建模体系的搭建,这次来分享下搭建数据仓库涉及的各种规范. 分享我工作中遇到的一个小 ...
系列 | 数仓实践第三篇NO.3『拉链表』
点击上方蓝色字体,置顶/星标哦目前10000+人已关注加入我们拉链表是一种数据模型,主要是针对数据仓库设计中表存储数据的方式而定义的:顾名思义,所谓拉链表,就是记录历史,记录一个事务从开始一直到当 ...
数据仓库系列：初识数仓
数据仓库系列:初识数仓前言: 本节是数据仓库系列文章的第一篇,本系列的目的在于快速的构建一套最小化可运行的基础数据体系,过程中也会涉及一些数仓的理论知识,但更偏重的是数仓的实现和背后的思考逻辑.所以 ...
新数仓系列：开源组件运营（3）
大数据前几年各种概念争论很多,NoSQL/NewSQL,CAP/BASE概念一堆堆的,现在这股热潮被AI接过去了.大数据真正落地到车联网,分控,各种数据分析等等具体场景. 概念很高大上,搞得久了就会发 ...
hive当前日期超前_微博数仓数据延时优化方案
前言本文以离线数据仓库为背景,重点介绍因传输链路数据延时的不确定性,可能导致部分延迟文件无法参与正常的调度计算或同步,导致数据缺失的问题成因.业务影响及相应的解决方案.关于这类问题的处理,有这么一种 ...
数据仓库系列（四）数仓架构以及多维数据模型的设计
文章目录一.前言二.数据仓库的定义三.数据仓库的特点四.数据仓库的作用五.数据仓库的架构六.数据仓库的要求七 .数据仓库分层八.数据仓库四个层次的划分 8.1 ODS层 8.2 PDW ...
数据仓库系列文章一：浅谈数仓设计
数仓设计指对数据仓库的各项组成进行规划,在正式建设数仓之前形成指导性建设方案. 数仓设计主要分为两部分:数据仓库同操作型业务系统的数据接口设计和数仓自身建设设计. 本文从多个方面探讨数仓的设计要点,给 ...
系列 | 漫谈数仓第四篇NO.4 『数据应用』（BIOLAP）
点击上方蓝色字体,置顶/星标哦目前10000+人已关注加入我们本文目录CONTENTS ☞ 01.可视化BI工具 [ 开源BI,商业BI,传统BI ] ☞ 02.OLAP科普 [ ROLAP M ...
系列 | 漫谈数仓第二篇NO.2 『数据模型』（维度建模建模工具）
点击上方"数据仓库与Python大数据",选择"置顶/星标" 本文导航前言: model对于数仓是最核心的东西,数据模型是数据组织和存储方法,模型的好坏,决定 ...

Vertica系列：数仓优化

3、最近学到的优化方法，好像也不是什么高深的东西

Vertica系列：数仓优化相关推荐

最新文章

热门文章