数仓建模—实时数仓架构发展史

2024-05-24 19:44:23

实时数仓架构发展史

当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。

实时数仓1.0

传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。

对于实时处理场景，我们一般又可以分为两类，一类诸如监控报警类、大屏展示类场景要求秒级甚至毫秒级；另一类诸如大部分实时报表的需求通常没有非常高的时效性要求，一般分钟级别，比如10分钟甚至30分钟以内都可以接受。

对于第一类实时数据场景来说，业界通常的做法比较简单粗暴，一般也不需要非常仔细地进行数据分层，数据直接通过Flink计算或者聚合之后将结果写入MySQL/ES/HBASE/Druid/Kudu等，直接提供应用查询或者多维分析。如下所示：

而对于后者来说，通常做法会按照数仓结构进行设计，我们称后者这种应用场景为实时数仓，将作为本篇文章讨论的重点。从业界情况来看，当前主流的实时数仓架构基本都是基于Kafka+Flink的架构（为了行文方便，就称为实时数仓1.0）。下图是基于业界各大公司分享的实时数仓架构抽象的一个方案：

数仓建模—实时数仓架构发展史相关推荐

离线数仓与实时数仓的比较
01数仓架构演变 20世纪70年代,MIT(麻省理工)的研究员致力于研究一种优化的技术架构,该架构试图将业务处理系统和分析系统分开,即将业务处理和分析处理分为不同层次,针对各自的特点采取不同的架构设计 ...
离线数仓和实时数仓的区别
作者介绍 @车云祥大宇无限数据产品负责人主要负责全公司底层数据治理,构建统一指标体系: 主导 BI 系统.用户画像系统.广告投放平台.广告流量优化等设计工作: 推动 Snaptube.Lark ...
数据仓库—stg层_数据仓库之Hive快速入门 - 离线实时数仓架构
数据仓库VS数据库数据仓库的定义: 数据仓库是将多个数据源的数据经过ETL(Extract(抽取).Transform(转换).Load(加载))理之后,按照一定的主题集成起来提供决策支持和联机分析 ...
数仓调度_网易实时数仓实践
分享嘉宾:马进网易杭研技术专家编辑整理:张满意出品平台:DataFunTalk 导读:随着大数据技术的进步,各种计算框架的涌现,数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓,越来越多的 ...
中秋干货 | 架构进阶之路上的实时数仓
点击上方"朱小厮的博客",选择"设为星标" 回复"666"获取新整理的1000+GB资料数据仓库也是公司数据发展到一定规模后必然会提供的一 ...
实时数仓与离线数仓总结(一)
精选30+云产品,助力企业轻松上云!>>> 今天主要聊聊数仓的基础知识,分为两篇文章介绍,这是第一篇. 主要内容: 数仓基本概念数仓架构演变实时数仓和离线数仓的区别数仓基本概念 ...
实时数仓到底是什么呢？与传统数仓有什么区别？
数仓,即存放数据的仓库,包括全量数据.历史数据.类型上又分为实时数仓.离线数仓,所谓实时数仓是指数据的实时性更高.延迟性低,一般是统计一天以内的数据,支持毫秒级的统计,在建设工具上一般采用Flink, ...
数仓系列第11篇:实时数仓
目录导读: 1.数据仓库简介 2.数据仓库的发展 3.数据仓库建设方法论 4.数据仓库架构的演变 5.实时数仓案例 6. 实时数仓与离线数仓的对比导读: 本文将从数据仓库的简介.经历了怎样的发展. ...
实时数仓之 Kappa 架构与 Lambda 架构（建议收藏！）
大家好,我是土哥. 2021 年 1月份,给大家重点分享一下离线数仓与实时数仓的内容.今天,我们先了解一下数据仓库架构的演变过程,本文主要从五个方面进行介绍数据仓库概念离线大数据架构 Lambda ...

最新文章

热门文章