理解实时数据流与离线数据流

1.离线数据流：

该数据流日常周期性的（每周执行一次/每日执行一次/每小时执行一次）将某些数据源（Mysql/Oracle/CSV/…）等历史数据（全量数据/增量数据）迁移到某个存储引擎上（Hive/Hbase/….）。

2.实时数据流：

该数据流一直保持运行状态实时的抽取（pull/push方式）数据源的数据，并在毫秒/秒级别写入存储引擎，在数据使用以及传输上达到实时效果（冲数据产生 -> 数据被使用haoshihenduan）。

3.T + 1：

该含义常用在离线数据流中，代表T日产生的数据，T + 1 日被抽渠道数据仓库/数据库中。

4.增量数据/全量数据抽取：

增量数据：一个相对含义，针对于现在数据库的分区（按天做分区）我们只抽取数据源（例如mysql）中某一个时间标识的增量抽取方式。（例如 2019-07-06 <= time < 2019-07-07….）。
全量数据：一个相对含义，针对于现在的数据库，我们每次抽取数据源表的抽取状态下的全部数据select * from xxxx, 然后将数据写入目的数据库。

下图为实时数据流的例子：

理解实时数据流与离线数据流相关推荐

[vue] 说说你对单向数据流和双向数据流的理解
[vue] 说说你对单向数据流和双向数据流的理解单向数据流:所有状态的改变可记录.可跟踪,源头易追溯:所有数据只有一份,组件数据只有唯一的入口和出口,使得程序更直观更容易理解,有利于应用的可维护性: ...
实时渲染、离线渲染、实时云渲染、混合渲染是什么？
渲染,就是将 3D 模型转换成 2D 图像,并最终呈现在屏幕上的过程.虽然这里只有一句话,但是这一句话里面包含了太多的数学.物理和计算机方面的知识,它描述了我们用计算机来虚拟化真实世界的基本逻辑.渲染 ...
干货：实时渲染和离线渲染的区别？实时云渲染又是什么？
常见的渲染类型有以下几种:实时渲染.离线渲染.实时云渲染.混合渲染.那么什么是实时渲染?实时渲染和离线渲染有哪些区别?各自有哪些典型应用场景...... 有没有人感觉知道了,但又没完全知道? 今天小编 ...
流式计算、实时计算和离线计算
流式计算和批处理计算实时计算和离线计算以水为例,Hadoop可以看作是纯净水,一桶桶地搬:而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了. 1.流式计算 ...
大数据之无界数据流和有界数据流
无界流:有一个开始但是没有结束,不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理event.对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不 ...
Arduino处理json较大数据流以及GZIP数据流方法
Arduino处理json较大数据流以及GZIP数据流方法 ✨在一些需要使用网络并从网络数据平台获取数据的项目中,大多数据平台,提供支持的数据流格式,一般以json数据格式返回为主.
php视频转数据流,图像转数据流-aspphp | 鬼仔's Blog鬼仔's Blog
来源:vbs小铺 asp图像转数据流: Dim i, iHex, sPath, oStream sPath = Server.MapPath(sStr) Set oStream = Server.Cr ...
区分实时数据、离线数据、流式数据以及批量数据的区别
数据处理延迟的长短实时数据处理:毫秒级别离线数据处理:小时或天级别数据处理的方式角度流式数据处理批量数据处理区分其实实时数据处理不等同与流式数据处理,批量数据处理也不等同于离线数据 ...
理解实时音视频聊天中的延时问题一篇就够
音视频实时通讯的应用场景已经随处可见,从"吃鸡"的语音对讲.直播连麦.直播答题组队开黑,再到银行视频开户等.对于开发者来讲,除了关注如何能快速实现不同应用场景重点额音视频通讯,另一 ...

理解实时数据流与离线数据流

理解实时数据流与离线数据流相关推荐

最新文章

热门文章