Spark Streaming与Spark SQL协同工作

Spark Streaming可以和Spark Core，Spark SQL整合在一起使用，这也是它最强大的一个地方。

实例：实时统计搜索次数大于3次的搜索词

package StreamingDemoimport org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.streaming.{Seconds, StreamingContext}/*** Spark Streaming与Spark相结合* 需求：实时统计搜索次数大于3次的搜索词*/
object StreamingAndSQLDemo {def main(args: Array[String]): Unit = {Logger.getLogger("org").setLevel(Level.WARN)System.setProperty("HADOOP_USER_NAME", "Setsuna")val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[2]")val ssc = new StreamingContext(conf, Seconds(2))//开启checkpointssc.checkpoint("hdfs://Hadoop01:9000/checkpoint")//分词，wordcount，记录状态val resultDStream =ssc.socketTextStream("Hadoop01", 6666).flatMap(_.split(" ")).map((_, 1)).updateStateByKey((values: Seq[Int], state: Option[Int]) => {var count = state.getOrElse(0)for (value <- values) {count += value}Option(count)})//将wordcount结果存进表里resultDStream.foreachRDD(rdd=>{//创建SparkSession对象val sparkSession=SparkSession.builder().getOrCreate()//创建Row类型的RDDval rowRDD=rdd.map(x=>Row(x._1,x._2))//创建schemaval schema=StructType(List(StructField("word",StringType,true),StructField("count",IntegerType,true)))//创建DataFrame，并注册临时视图sparkSession.createDataFrame(rowRDD,schema).createOrReplaceTempView("wordcount")//进行查询并在Console里输出sparkSession.sql("select * from wordcount where count>3").show()})ssc.start()ssc.awaitTermination()}
}

测试
在nc里输入数据

Console里的输出

Spark学习笔记：Spark Streaming与Spark SQL协同工作相关推荐

Spark学习笔记1——第一个Spark程序：单词数统计
Spark学习笔记1--第一个Spark程序:单词数统计笔记摘抄自 [美] Holden Karau 等著的<Spark快速大数据分析> 添加依赖通过 Maven 添加 Spark-c ...
大数据实时计算Spark学习笔记（9）—— Spar SQL(1) 读取 json 文件
1 Spark SQL 编程方式:(1)SQL;(2) DataFrame API scala> case class Customer(id:Int,name:String,age:Int) ...
spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
Spark学习笔记[1]-scala环境安装与基本语法
Spark学习笔记[1]-scala环境安装与基本语法正所谓工欲善其事必先利其器,Spark的开发语言不是java而是scala,虽然都是运行于JVM,但是两门语言的基本特性还是有些不一样,这里 ...
C# 学习笔记（19）操作SQL Server下
C# 学习笔记(19)操作SQL Server下 ADO.net操作数据库这应该是比较老的技术了,以后有空的话学学 Linq /// <summary> /// 数据库使用类 /// & ...
C# 学习笔记（18）操作SQL Server 中
C# 学习笔记(18)操作SQL Server 中数据库基础操作 SQL语法可以参考菜鸟教程或者微软官方的SQL示例注意SQL不区分大小写查 1.基础查询 --最基础的查询语句, selec ...
C# 学习笔记（17）操作SQL Server 上
C# 学习笔记(17)操作SQL Server上安装SQL Server 微软官网 https://www.microsoft.com/zh-cn/sql-server/sql-server-dow ...
cockroachdb mysql_CockroachDB学习笔记——[译]CockroachDB中的SQL：映射表中数据到键值存储...
CockroachDB学习笔记--[译]CockroachDB中的SQL:映射表中数据到键值存储原文标题:SQL in CockroachDB: Mapping Table Data to Key- ...
mysql 临时表事务_MySQL学习笔记十：游标/动态SQL/临时表/事务
逆天十三少发表于:2020-11-12 08:12 阅读: 90次这篇教程主要讲解了MySQL学习笔记十:游标/动态SQL/临时表/事务,并附有相关的代码样列,我觉得非常有帮助,现在分享出来大家一 ...
【学习笔记】一些postgreSQL常用sql语句
[学习笔记]一些postgreSQL常用sql语句 1.序列自增id 2.将从一个表中查出来的数据插入到另一个表中 3.sql更新替换字段中某个字 4.统计一个字段多个值的次数 5.统计某个字段重复项 ...

Spark学习笔记：Spark Streaming与Spark SQL协同工作

Spark Streaming与Spark SQL协同工作

实例：实时统计搜索次数大于3次的搜索词

Spark学习笔记：Spark Streaming与Spark SQL协同工作相关推荐

最新文章

热门文章