Spark Streaming的介绍和IDEA操作

官网：https://spark.apache.org/docs/latest/streaming-programming-guide.html

一：介绍

Spark流是核心Spark API的扩展，它支持对实时数据流进行可伸缩、高吞吐量和容错的流处理。数据可以从Kafka、Flume、Kinesis或TCP套接字等多个源获取，也可以使用映射、reduce、join和window等高级函数表示的复杂算法进行处理。最后，可以将处理过的数据推送到文件系统、数据库和实时仪表板。事实上，您可以将Spark的机器学习和图形处理算法应用于数据流。

在内部，它的工作原理如下。Spark流接收实时输入数据流，并将数据划分为批，然后由Spark引擎处理这些数据，生成最终的批结果流。

IDEA中操作

添加pom文件

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.11</artifactId><version>${spark.version}</version></dependency>

代码：

package g5.learning.Stearing001import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.{Seconds, StreamingContext}object streamingWCApp {def main(args: Array[String]): Unit = {//准备工作val conf = new SparkConf().setMaster("local[2]").setAppName("streamingWCApp")val ssc = new StreamingContext(conf, Seconds(10))
//业务逻辑val lines = ssc.socketTextStream("hadoop001", 9999)val results = lines.flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)results.print()//默认打十条结果//streaming 不需要关掉//streaming的启动ssc.start()             // Start the computationssc.awaitTermination()  // Wait for the computation to terminate}}

localhost:4040端口查询

[hadoop@hadoop001 conf]$  nc -lk 9999
a,a,a,a,a,a,a,a,a,a,d,d,

Spark Streaming的介绍和IDEA操作相关推荐

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.Spark Streaming简介 1.1 概述 Spark Streaming 是Sp ...
sparksteaming---实时流计算Spark Streaming原理介绍
来源:http://www.cnblogs.com/shishanyuan/p/4747735.html 1.Spark Streaming简介 1.1 概述 Spark Streaming 是Spa ...
Spark Streaming架构介绍_大数据培训
Spark Streaming架构 1 架构图图1-1 SparkStreaming架构图图1-2整体架构图 2 背压机制 Spark 1.5以前版本,用户如果要限制Receiver的数据接收速率 ...
Spark Streaming实时计算框架介绍
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐.用户行为分析等. Spark Streaming是建立在 ...
Spark Streaming初步使用以及工作原理详解
一.流式计算 1.什么是流? Streaming:是一种数据传送技术,它把客户机收到的数据变成一个稳定连续的流,源源不断地送出,使用户听到的声音或看到的图象十分平稳,而且用户在整个文件送完之前 ...
grafana计算不同时间的差值_大数据时代！如何基于Spark Streaming构建实时计算平台...
随着互联网技术的迅速发展,用户对于数据处理的时效性.准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战. 自2015年携程实时计算平台 ...
.Spark Streaming（上）--实时流计算Spark Streaming原理介
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍 http://www.cnblogs.com/shishanyuan/p/474 ...
Spark Streaming 新手指南（原始文章已经发布表在IBM Developworks）
插个小广告:本人的<大话Java性能优化>一书已经在亚马逊.当当.京东.天猫出售,提前谢谢大家的支持. 亚马逊地址:https://www.amazon.cn/%E5%A4%A7%E8%A ...
大数据求索(8):Spark Streaming简易入门一
大数据求索(8):Spark Streaming简易入门一一.Spark Streaming简单介绍 Spark Streaming是基于Spark Core上的一个应用程序,可伸缩,高吞吐,容错( ...

Spark Streaming的介绍和IDEA操作

一：介绍

IDEA中操作

代码：

Spark Streaming的介绍和IDEA操作相关推荐

最新文章

热门文章