无状态与有状态

简单来说，无状态就是每个采集周期分别采集，并不会把前面的采集周期的数据一起计算

有状态就是：把前面采集周期的也算进来，

比如wordcount，无状态统计的就是每个采集周期内的个数，有状态的话是统计所有采集周期内的个数。

有状态就是把前面的采集周期采集的数据存到缓存中，想要安全一些就设置检查点存储到磁盘，然后当前的DStream去和磁盘交互，一起统计出来。

package date_10_17_SparkStreamingimport org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Duration, Seconds, StreamingContext}object upState {def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")val streamingContext = new StreamingContext(conf,Seconds(5))streamingContext.checkpoint("cp")//连接kafkaval kafkaStream = KafkaUtils.createStream(streamingContext,"chun1:2181","chun",Map("chun"->3))//wordcount运算val mapDStream = kafkaStream.flatMap(_._2.split(" ")).map((_,1))//有状态val resultDStream:DStream[(String,Int)] = mapDStream.updateStateByKey {case (seq, buffer) => {val sum = buffer.getOrElse(0) + seq.sumOption(sum)}}resultDStream.print()//启动采集器streamingContext.start()//等待采集器关闭才关闭DriverstreamingContext.awaitTermination()}
}

SparkStreaming - 无状态与有状态 updataStateByKey相关推荐

HTTP协议无状态中的状态到底指的是什么？
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章作者 | 赛艇队长来源 | cnblogs.com/bellko ...
HTTP 无状态中的状态到底指的是什么？
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 来源 | https://www.cnblogs.com ...
php ajax 更改状态,phpajax实现无刷新获取天气状态_PHP教程
首先我们要明白一点我们自己是无法来做天气预报这种功能的,这里我们只要调用api接口返回的数据就可以了,下面是以中国天气网的api接口调用实例我们一起来学习. 天气已经成为生活中不可缺少的话题,与我们的 ...
java bean状态_无状态和有状态企业Java Bean
我将通过Java EE 6教程,我试图了解无状态和有状态会话bean之间的区别.如果无状态会话bean不在方法调用之间保留它们的状态,为什么我的程序执行它的方式? package mybeans; i ...
难住了N个面试者，http协议无状态中的状态到底指的是什么？！
作者:赛艇队长 cnblogs.com/bellkosmos/p/5237146.html 引子最近在好好了解http,发现对介绍http的第一句话[http协议是无状态的,无连接的]就无法理解了: ...
无状态与有状态的区别
无状态与有状态有状态服务有状态服务,即服务端记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行相应的处理. 无状态服务明白了有状态服务,无状态服务就好理解了,无状态服务在实际比较常见 ...
应用的无状态和有状态!
应用的无状态和有状态! 什么是有状态和无状态 ? 场景: 当用户登录时,将session或者token传给应用服务器管理,应用服务器里持有用户的上下文信息,这时应用服务器是有状态的 . 同样用户登陆时 ...
OpenSIPS的无状态及有状态路由
从SIP消息路由的角度看,OpenSIPS既可以作为无状态代理,也可以作为有状态代理.区别仅仅是处理SIP信令的脚本中调用了什么函数而已. 在有状态模式下,OpenSIPS在内存中记录了SIP事务的状 ...
解析图腾柱无桥PFC的状态控制（基于DSP C2000）
解析图腾柱无桥PFC的状态控制(基于DSP C2000) \\\插播一条: 自己在今年整理一套单片机单片机相关论文800余篇论文制作思维导图原理图+源代码+开题报告+正文+外文资料想要的同学私信 ...

SparkStreaming - 无状态与有状态 updataStateByKey

无状态与有状态

简单来说，无状态就是每个采集周期分别采集，并不会把前面的采集周期的数据一起计算

有状态就是：把前面采集周期的也算进来，

比如wordcount，无状态统计的就是每个采集周期内的个数，有状态的话是统计所有采集周期内的个数。

有状态就是把前面的采集周期采集的数据存到缓存中，想要安全一些就设置检查点存储到磁盘，然后当前的DStream去和磁盘交互，一起统计出来。

SparkStreaming - 无状态与有状态 updataStateByKey相关推荐

最新文章

热门文章