Lambda架构与Kappa架构 区别
Lambda 架构:
Lambda 架构总共由三层系统组成的：批处理层（Batch Layer），速度处理层（Speed Layer），以及用于响应查询的服务层（Serving Layer）。
批处理层:
使用可处理大量数据的分布式处理系统预先计算结果。它通过处理所有的已有历史数据来实现数据的准确性。这意味着它是基于完整的数据集来重新计算的，能够修复任何错误，然后更新现有的数据视图。输出通常存储在只读数据库中，更新则完全取代现有的预先计算好的视图。
速度层:
通过提供最新数据的实时视图来最小化延迟。速度层所生成的数据视图可能不如批处理层最终生成的视图那样准确或完整，但它们几乎在收到数据后立即可用。而当同样的数据在批处理层处理完成后，在速度层的数据就可以被替代掉了。
总结：
批处理层保证数据的完整性和准确性，速度层保证数据的时效性，但是缺点是需要维护两套逻辑代码，维护较复杂，有没有可能在批处理中实现实时计算，或者在实时处理中实现批处理计算呢？于是就有了下面的kappa架构。
Kappa架构：
与 Lambda 架构不同的是，Kappa 架构去掉了批处理层这一体系结构，而只保留了速度层。你只需要在业务逻辑改变又或者是代码更改的时候进行数据的重新处理。
借用kafka的架构来说明kappa架构：
kafka可以通过设置来决定数据的保留时长，七天、一个月、或者永久保留，且kafka是通过offset来决定从哪里读取数据，因此当我们的业务逻辑改变时，需要从新读取所有历史数据时，只需要把offset设置为0即可。
总结：
1、如果你所面对的业务逻辑是设计一种稳健的机器学习模型来预测即将发生的事情，那么你应该优先考虑使用 Lambda 架构，因为它拥有批处理层和速度层来确保更少的错误。
2、如果你所面对的业务逻辑是希望实时性比较高，而且客户端又是根据运行时发生的实时事件来做出回应的，那么你就应该优先考虑使用 Kappa 架构。
Lambda架构与Kappa架构 区别相关推荐
- 第十七期:详解大数据处理中的Lambda架构和Kappa架构
在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据产品或者自己开发相关大数据组件. 典型互联网 ...
- 大数据平台数据处理之Lambda架构和Kappa架构
首先我们来看一个典型的互联网大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使 ...
- Lambda架构和Kappa架构
与 Lambda 架构不同的是,Kappa 架构去掉了批处理层这一体系结构,而只保留了速度层.你只需要在业务逻辑改变又或者是代码更改的时候进行数据的重新处理. 在讲述完 Kappa 架构之后,我想强调 ...
- Lambda架构，Kappa架构和去ETL化的IOTA架构
经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化. ▌Lambda架构 ...
- Lambda架构与Kappa架构对比
首先大数据处理系统需要几个特性: 1.容错性和鲁棒性:对大规模分布式系统来说,机器是不可靠的,可能会当机,但是系统需要是健壮.行为正确的,即使是遇到机器错误. 2.低延时:很多应用对于读和写操作的延时 ...
- 大数据架构中的流式架构和Kappa架构
关于大数据的架构有很多,比如说传统的大数据架构,当然,还有很多经典的大数据架构,比如说流式架构和Kappa架构.流式架构和Kappa架构在大数据中的应用还是很多的,在这篇文章中我们就给大家介绍一下关于 ...
- 大数据架构之--Kappa架构
一.什么是Kappa架构 Kappa 架构是由 LinkedIn 的前首席工程师杰伊·克雷普斯(Jay Kreps)提出的一种架构思想.克雷普斯是几个著名开源项目(包括 Apache Kafka 和 ...
- Lambda架构 vs Kappa架构
Lambda 架构 Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错.低延迟.可扩展等.其整合离线计算与实时计算 ...
- 实时数仓之 Kappa 架构与 Lambda 架构
大家好,我是球球.今天,我们先了解一下数据仓库架构的演变过程,本文主要从五个方面进行介绍 数据仓库概念 离线大数据架构 Lambda 架构 Kappa 架构 Lambda 架构与 Kappa 架构的对 ...
最新文章
- 2021CCF颁奖典礼首次多平台网络直播，致敬获得者！CCF杰出工程师
- ACM《数据结构》顺序表
- mysql 5.7.23要钱吗_最新mysql 5.7.23安装配置图文教程
- 天池 在线编程 队列检查（排序）
- UI 实用素材|可视化后台系统UI视觉界面
- 基于JAVA+SpringMVC+Mybatis+MYSQL的教材管理系统
- [2019杭电多校第二场][hdu6602]Longest Subarray(线段树)
- 子div在父div垂直居中的最好方法
- 使用树莓派3开发板，基于android things 物联网系统来运行TensorFlow解析图像
- 尚硅谷实战项目---手机影音APP
- java编程：假定公鸡5元钱1只,母鸡3元钱1只，小鸡1元钱3只。现在有100元钱要求买100只鸡，请编程列出所有可能的购鸡方案。
- 我用Python分析了1500家电商的销售数据，竟发现了进口车厘子的秘密
- 漫漫人生录 | 小圈子 | 别让自己“墙”了自己
- Electron加密打包文件
- 三栏布局的七种实现方式
- （附源码）php校园电子图像信息采集系统 毕业设计 010930
- python统计分析方法
- java程序员面试笔试宝典8.3排序
- Garbage First介绍
- STM32 定时器中断函数