数仓建模—IOTA架构

2024-05-25 17:16:24

IOTA架构

经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。

其实我们在前面的文章中介绍过这一块的内容，可以参考数仓建模—数仓架构发展史,今天我们介绍一个新的架构IOTA，开始之前我们还是先回顾一下之前的大数据架构解决方案

Lambda架构

在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lambda架构如下：

数据从底层的数据源开始，经过各种各样的格式进入大数据平台，在大数据平台中经过Kafka、Flume等数据组件进行收集，然后分成两条线进行计算。一条线是进入流式计算平台（例如 Storm、Flink或者Spark Streaming），去计算实时的一些指标；另一条线进入批量数据处理离线计算平台（例如Mapreduce、Hive，Spark SQL），去计算T+1的相关业务指标，这些指标需要隔日才能看见。

Lambda架构经历多年的发展，其优点是稳定，对于实时计算部分的计算成本可控，批量处理可以用晚上的时间来整体批量计算，这样把实时计算和离线计算高峰分开，

数仓建模—IOTA架构相关推荐

数仓建模—数仓架构发展史(02)
发展史时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是如此,当你选择互联网的那一刻,你就相当于乘坐了一个滚滚向前的时代列车,开往未知的方向,不论什么样的技术架构只 ...
老司机带带我：数仓建模架构|维度建模剖析与案例演示
作者基于多年的大数据处理经验,当前管理着100PB+数据仓库和2000+节点的集群.持续系统化给大家分享一下关于数据仓库建设的经验总结.本系列既有数据仓库的形而上学理论体系,也有结合公司 ...
数仓建模项目_音乐数据项目火力全开，技能双倍提升！
↑ 点击上方"尚学堂"关注我们音乐数据中心数仓综合项目 1项目介绍音乐数据中心项目是大型企业级综合数仓项目,此项目针对音乐数据进行分析,构建数据仓库,建立用户.机器.内容等主题 ...
数仓建模—增量数据处理
增量数据处理这一节我们不讲技术,讲一个故事,关于数据同步这一块的落地方案可以参考我们之前的文章数仓建模-数据集成数仓建模-数据同步方案设计数仓建模-美团DB数据同步到数据仓库的架构与实践因为 ...
大数据数仓建模（3）
大数据数仓建模(3) 2.2.6 人员配置参考 1.旁敲侧击的问你到底做过没有 2.你们大概规模,数据量 1整体架构属于研发部/技术部/数据部/基础平台部,我们属于大数据组,其他还有后端项目组,前端 ...
浅谈数仓建模及其方法论
认识数据仓库 1.数仓的定义: 2.数据仓库和数据库的区别: 数仓的发展 1.简单报表阶段:这个阶段,系统的主要目标是解决一些日常的工作中业务人员需要的报表,以及生成一些简单的能够帮助领导进行决策所需 ...
数仓建模（维度建模）
目录一.什么是建模?(为什么建模) 二.模型的好处三.建模的方法四.维度建模 4.1 基本概念 4.2 为啥选择维度建模(优缺点) 4.2.1 优点 4.2.2 缺点 4.3 维度建模-星型模型 ...
数仓建模本质到底是什么？为什么维度建能模脱颖而出？
作者基于多年的大数据处理经验,当前管理着100PB+数据仓库和2000+节点的集群.持续系统化给大家分享一下关于数据仓库建设的经验总结.本系列既有数据仓库的形而上学理论体系,也有结合公司业务的实践,既 ...
【数仓建模】传统建模与宽表建模有何差异？基于宽表建模实践
[数仓建模]传统建模与宽表建模有何差异?基于宽表建模实践一.业务背景 1.1 数据建模现状: 1.2 当前业务特性与趋势二.面临的问题 2.1 在数据驱动业务越来越重要的大趋势下,面临的问题 2. ...

最新文章

热门文章