区分实时数据、离线数据、流式数据以及批量数据的区别

数据处理延迟的长短

实时数据处理：毫秒级别

离线数据处理：小时或天级别

数据处理的方式角度

流式数据处理

批量数据处理

区分

其实实时数据处理不等同与流式数据处理，批量数据处理也不等同于离线数据处理，

一个是数据处理的方式，一个是数据处理的时间长短，不能搞混。

流式数据处理：来一条数据处理一条数据

批量数据处理：缓冲累积到一定量的数据再进行数据

实时数据处理：在秒级别内完成数据分析或数据查询

离线数据处理：需要小时甚至天才能完成数据分析或查询

区分实时数据、离线数据、流式数据以及批量数据的区别相关推荐

大数据之Flink流式计算引擎
Flink DataFlow 数据的分类有界数据离线的计算效率:硬件相同的情况下:时间无界数据实时的计算效率:硬件环境相同的情况下,吞吐量:数据处理的数量.延迟:结果输出的时间-数据接收的 ...
【267期】面试官：Mybatis 如何实现流式读取 MySQL 大数据量记录？
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每一天进步一点点,是成功的开始... 背景最近 ...
SAP BW实施实时报表的方法(流式处理链)
最近,我的一位客户询问我实施实时报告的可能方法.在准备过程中,我的研究还涵盖了"流式处理链",结果令人惊讶版本适用:SAP BW 7.5 和 SAP BW/4HANA(任何版本) ...
大数据离线---网站日志流量分析系统---日志数据原始信息
这里式日志数据的原始信息 194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/r ...
图解大数据 | 流式数据处理-Spark Streaming
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
Flink系列-1、流式计算简介
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 大数据系列文章目录官方网址:https://flink.apache.org/ 学习资料:h ...
大数据架构中的流式架构和Kappa架构
关于大数据的架构有很多,比如说传统的大数据架构,当然,还有很多经典的大数据架构,比如说流式架构和Kappa架构.流式架构和Kappa架构在大数据中的应用还是很多的,在这篇文章中我们就给大家介绍一下关于 ...
超时流式处理 - 没有消息流入的数据异常监控
标签 PostgreSQL , 流式处理 , 无流入数据超时异常背景流计算有个特点,数据流式写入,流式计算. 但是有一种情况,可能无法覆盖.例如电商中的收货超时,退款处理超时事件的流式监控.因 ...
大数据凉了？No，流式计算浪潮才刚刚开始！
AI 前线导读:本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文.本文翻译自<Streaming System>最后一章& ...

区分实时数据、离线数据、流式数据以及批量数据的区别

数据处理延迟的长短

数据处理的方式角度

区分

区分实时数据、离线数据、流式数据以及批量数据的区别相关推荐

最新文章

热门文章