流式计算

特点：
数据是⽆界的(unbounded)
数据是动态的
计算速度是⾮常快的
计算不⽌⼀次
计算不能终⽌

相对应，离线计算特点：
数据是有界的(Bounded)
数据静态的
计算速度通常较慢
计算只执⾏⼀次
计算终会终⽌

在⼤数据计算领域中，通常所说的流式计算分为了实时计算和准实时计算。所谓实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算；⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算，所以每次处理的是⼀个微⼩的批次

常⻅的离线和流式计算框架

常⻅的离线计算框架

mapreduce
spark-core
flink-dataset

常⻅的流式计算框架

storm(jstorm)
第⼀代的流式处理框架，每⽣成⼀条记录，提交⼀次作业。实时流处理，延迟低。
spark-streaming
第⼆代的流式处理框架，短时间内⽣成mirco-batch，提交⼀次作业。准实时，延迟略⾼，秒级或者亚秒
级延迟。
flink-datastream(blink)
第三代的流式处理框架，每⽣成⼀条记录，提交⼀次作业。实时，延迟低。

SparkStreaming基本⼯作原理

接收实时输⼊数据流，然后将数据拆分成多个batch，⽐如每收集1秒的数据封装为⼀个batch，然后将每个batch交给Spark的计算引擎进⾏处理，最后会⽣产出⼀个结果数据流，其中的数据，也是由⼀个⼀个的batch所组成的。
Spark Streaming提供了⼀种⾼级的抽象，叫做DStream，英⽂全称为Discretized Stream，中⽂翻译为“离散流”，它代表了⼀个持续不断的数据流。DStream可以通过输⼊数据源来创建，⽐如Kafka、Flume、ZMQ和Kinesis；也可以通过对其他DStream应⽤⾼阶函数来创建，⽐如map、reduce、join、window。
DStream的内部，其实⼀系列持续不断产⽣的RDD。RDD是Spark Core的核⼼抽象，即，分布式式弹性数据集。DStream中的每个RDD都包含了⼀个时间段内的数据。

对DStream应⽤的算⼦，⽐如map，其实在底层会被翻译为对DStream中每个RDD的操作。⽐如对⼀个DStream执⾏⼀个map操作，会产⽣⼀个新的DStream。但是，在底层，其实其原理为，对输⼊DStream中每个时间段的RDD，都应⽤⼀遍map操作，然后⽣成的新的RDD，即作为新的DStream中的那个时间段的⼀个RDD。

底层的RDD的transformation操作。
还是由Spark Core的计算引擎来实现的。Spark Streaming对Spark Core进⾏了⼀层封装，隐藏了细节，然后对开发⼈员提供了⽅便易⽤的⾼层次的API。

常⻅的流式计算框架比较

Storm V.S. SparkStreaming V.S. Flink

对于Storm来说**：**
1、建议在需要纯实时，不能忍受1秒以上延迟的场景下使⽤，⽐如实时计算系统，要求纯实时进⾏交易和析时。
2、在实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，⼀条也不能多，⼀条也不能少，也可以考虑使⽤Storm，但是Spark Streaming也可以保证数据的不丢失。
3、如果我们需要考虑针对⾼峰低峰时间段，动态调整实时计算程序的并⾏度，以最⼤限度利⽤集群资源（通常是在⼩型公司，集群资源紧张的情况），我们也可以考虑⽤Storm

对于Spark Streaming来说**：**
1、不满⾜上述3点要求的话，我们可以考虑使⽤Spark Streaming来进⾏实时计算。
2、考虑使⽤Spark Streaming最主要的⼀个因素，应该是针对整个项⽬进⾏宏观的考虑，即，如果⼀个项⽬除了实时计算之外，还包括了离线批处理、交互式查询、图计算和MLIB机器学习等业务功能，⽽且实时计算中，可能还会牵扯到⾼延迟批处理、交互式查询等功能，那么就应该⾸选Spark⽣态，⽤Spark Core开发离线批处理，⽤Spark SQL开发交互式查询，⽤Spark Streaming开发实时计算，三者可以⽆缝整合，给系统提供⾮常⾼的可扩展性。

对于Flink来说**：**
⽀持⾼吞吐、低延迟、⾼性能的流处理
⽀持带有事件时间的窗⼝（Window）操作
⽀持有状态计算的Exactly-once语义
⽀持⾼度灵活的窗⼝（Window）操作，⽀持基于time、count、session，以及data-driven的窗⼝操作
⽀持具有Backpressure功能的持续流模型
⽀持基于轻量级分布式快照（Snapshot）实现的容错
⼀个运⾏时同时⽀持Batch on Streaming处理和Streaming处理
Flink在JVM内部实现了⾃⼰的内存管理
⽀持迭代计算
⽀持程序⾃动优化：避免特定情况下Shuffle、排序等昂贵操作，中间结果有必要进⾏缓存

Spark流式计算概念相关推荐

spark 流式计算_流式传输大数据：Storm，Spark和Samza
spark 流式计算有许多分布式计算系统可以实时或近实时处理大数据. 本文将从对三个Apache框架的简短描述开始,并试图对它们之间的某些相似之处和不同之处提供一个快速的高级概述. 阿帕奇风暴在风 ...
Spark Streaming 流式计算实战
这篇文章由一次平安夜的微信分享整理而来.在Stuq 做的分享,原文内容. 业务场景这次分享会比较实战些.具体业务场景描述: 我们每分钟会有几百万条的日志进入系统,我们希望根据日志提取出时间以及用户名 ...
大数据学习系列----基于Spark Streaming流式计算
2019独角兽企业重金招聘Python工程师标准>>> 个性化的需求随着互联网知识信息指数级膨胀,个性化的需求对于用户来说越来越重要,通过推荐算法和用户点击行为的流式计算可以很简单 ...
python 流式计算框架_流式计算的三种框架：Storm、Spark和Flink
我们知道,大数据的计算模式主要分为批量计算(batch computing).流式计算(stream computing).交互计算(interactive computing).图计算(graph ...
流式计算的代表：Storm、Flink、Spark Streaming
learn from 从0开始学大数据(极客时间) 文章目录 1. Storm 2. Spark Streaming 3. Flink 对存储在磁盘上的数据进行大规模计算处理,大数据批处理对实时产生 ...
spark kafka java api_java实现spark streaming与kafka集成进行流式计算
java实现spark streaming与kafka集成进行流式计算 2017/6/26补充:接手了搜索系统,这半年有了很多新的心得,懒改这篇粗鄙之文,大家看综合看这篇新博文来理解下面的粗鄙代码吧, ...
专访阿里云高级技术专家吴威：Kafka、Spark和Flink类支持流式计算的软件会越来越流行...
杭州·云栖大会将于2016年10月13-16日在云栖小镇举办,在这场标签为互联网.创新.创业的云计算盛宴上,众多行业精英都将在这几天里分享超过450个演讲主题. 为了帮助大家进一步了解这场全球前言技术 ...
流式计算的三种框架：Storm、Spark和Flink
我们知道,大数据的计算模式主要分为批量计算(batch computing).流式计算(stream computing).交互计算(interactive computing).图计算(graph ...
Kafka设计解析（七）- 流式计算的新贵 Kafka Stream
http://www.infoq.com/cn/articles/kafka-analysis-part-7 Kafka Stream背景 Kafka Stream是什么 Kafka Stream是A ...

Spark流式计算概念

流式计算

常⻅的离线和流式计算框架

SparkStreaming基本⼯作原理

常⻅的流式计算框架比较

Spark流式计算概念相关推荐

最新文章

热门文章