Spark Steaming 点滴

Spark Streaming 模块是对于 Spark Core 的一个扩展，目的是为了以高吞吐量，并且容错的方式处理持续性的数据流。目前 Spark Streaming 支持的外部数据源有 Flume、 Kafka、Twitter、ZeroMQ、TCP Socket 等。

Discretized Stream 也叫 DStream) 是 Spark Streaming 对于持续数据流的一种基本抽象，在内部实现上，DStream 会被表示成一系列连续的 RDD(弹性分布式数据集)，每一个 RDD 都代表一定时间间隔内到达的数据。所以在对 DStream 进行操作时，会被 Spark Stream 引擎转化成对底层 RDD 的操作。对 Dstream 的操作类型有:

Transformations: 类似于对 RDD 的操作，Spark Streaming 提供了一系列的转换操作去支持对 DStream 的修改。如 map,union,filter,transform 等
Window Operations: 窗口操作支持通过设置窗口长度和滑动间隔的方式操作数据。常用的操作有 reduceByWindow,reduceByKeyAndWindow,window 等
Output Operations: 输出操作允许将 DStream 数据推送到其他外部系统或存储平台, 如 HDFS, Database 等，类似于 RDD 的 Action 操作，Output 操作也会实际上触发对 DStream 的转换操作。常用的操作有 print,saveAsTextFiles,saveAsHadoopFiles, foreachRDD 等。

转载于:https://www.cnblogs.com/TendToBigData/p/10501355.html

Spark Steaming 点滴相关推荐

Spark6：Spark Steaming
Spark Steaming 一.流计算概述二.Spark Streaming 三.DStream 四.文件流操作五.套接字流参考一.流计算概述静态数据.流数据特点实时处理.主动推送大 ...
第一个 Spark Steaming 程序
我的第三个发明专利也通过了内部专家的审核,我真是个创新满满的小天才亚,虽然说自己也赚到了一点小钱钱,但是和伟大的创作事业相比,那都是不值一提的小插曲.今天再次起航Spark Steaming的学习~ ...
Spark Steaming快速入门
Spark Steaming Spark Streaming 简介什么是Spark Streaming Spark Streaming使用Spark Core的快速调度功能来执行流分析.它以小批量方 ...
Spark Steaming流式日志过滤与分析
Spark Steaming流式日志过滤与分析这篇大概讲的是 spark steaming 监听 hdfs 的某个目录,当你在终端A使用 spark-submit 运行 Log2DB.py 文件后, ...
spark steaming的性能问题
1.Steaming 的数据处理大致流程 Receiving(数据的接收器) -> Transforming(你写的数据处理代码) --> Outputing(把处理的数据保存起来) 那么 ...
spark Steaming 学习笔记
官网文档:http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 万物之源 word count ...
Flume+kafka+Spark Steaming demo2
一,flume配置 # Name the components on this agent a1.sources = tailsource-1 a1.sinks = remotesink a1.cha ...
关于Spark Steaming中的Processing Time/Total Delay/Processing Delay
名词解释 Processing Time 端到端计算所有作业的给定批次所需的时间. Scheduling Delay 从该批次被提交到流式调度程序的时间开始到处理该批次的第一个作业所花费的时间.. ...
Flume+Kafka+Spark Steaming demo
一.准备flume配置 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources. ...

Spark Steaming 点滴

Spark Steaming 点滴相关推荐

最新文章

热门文章