Spark Streaming之Window Operations操作和解析

Spark Streaming之Window Operations

官网：http://spark.apache.org/docs/latest/streaming-programming-guide.html

IDEA操作

package g5.learningimport org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutable.ListBufferobject WindowApp {def main(args: Array[String]): Unit = {//准备工作val conf = new SparkConf().setMaster("local[2]").setAppName("WindowApp")val ssc = new StreamingContext(conf, Seconds(10))//业务逻辑val lines = ssc.socketTextStream("hadoop001", 9999)lines.flatMap(_.split(",")).map((_,1)).reduceByKeyAndWindow((a:Int,b:Int) => (a + b), Seconds(10), Seconds(10)).print()//streaming的启动ssc.start() // Start the computationssc.awaitTermination() // Wait for the computation to terminate}
}

注意：

1.数据可以交叉，也可以不交叉，主要是看你配置的参数
window length - The duration(持续) of the window (3 in the figure).
sliding interval - The interval at which the window operation is performed (2 in the figure).
2.这里涉及到3个时间参数，是有一定的关系的
These two parameters must be multiples of the batch(一批) interval of the source DStream (1 in the figure).
window length和sliding interval必须是(conf, Seconds(10))这个时间参数的整数倍

Spark Streaming之Window Operations操作和解析相关推荐

通过Spark Streaming的window操作实战模拟热点搜索词案例实战
本博文主要内容包括: 1.在线热点搜索词实现解析 2.SparkStreaming 利用reduceByKeyAndWindow实现在线热点搜索词实战一:在线热点搜索词实现解析背景描述:在社交网络 ...
Spark Streaming的窗口操作
2019独角兽企业重金招聘Python工程师标准>>> Spark Streaming的窗口操作博客分类: spark Spark Streaming的Window Operati ...
图解大数据 | 流式数据处理-Spark Streaming
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
Spark详解（十二）：Spark Streaming原理和实现
1 简介 SparkStreaming是Spark核心API的一个扩展,具有高吞吐量和容错能力的实时流数据处理系统,可以对多种数据源(如Kdfka.Flume.Twitter.Zero和TCP 套接字 ...
Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.Spark Streaming简介 1.1 概述 Spark Streaming 是Sp ...
.Spark Streaming（上）--实时流计算Spark Streaming原理介
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍 http://www.cnblogs.com/shishanyuan/p/474 ...
021 Spark Streaming
1.简介 Spark Streaming抽象.架构与原理 StreamingContext 是 Spark Streaming 程序的入口,其指定sparkConf.确定DStream生成的间隔.设定 ...
sparksteaming---实时流计算Spark Streaming原理介绍
来源:http://www.cnblogs.com/shishanyuan/p/4747735.html 1.Spark Streaming简介 1.1 概述 Spark Streaming 是Spa ...
实验十八 Spark实验：Spark Streaming
实验指导: 18.1 实验目的 1．了解Spark Streaming版本的WordCount和MapReduce版本的WordCount的区别: 2．理解Spark Streaming的工作流程 ...

Spark Streaming之Window Operations操作和解析

Spark Streaming之Window Operations

IDEA操作

注意：

Spark Streaming之Window Operations操作和解析相关推荐

最新文章

热门文章