SparkStreaming概述

1.1 Spark Streaming是什么

Spark流使得构建可扩展的容错流应用程序变得更加容易。
Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。

和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为 RDD 存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)。所以简单来将，DStream就是对RDD在实时数据处理场景的一种封装。

1.2 Spark Streaming的特点

易用
容错
易整合到Spark体系

SparkStreaming概述相关推荐

大数据技术之Spark(三) SparkStreaming
文章目录第1章 SparkStreaming 概述 1.1 Spark Streaming 是什么? 1.2 为什么要学习Spark Streaming(特点) 1.3 Spark Streamin ...
尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境、运行架构)】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】
尚硅谷大数据技术-教程-学习路线-笔记汇总表[课程资料下载] 视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[SparkCore ...
D32 SparkStreaming
一.SparkStreaming概述 Spark Streaming类似于Apache Storm,用于流式数据的处理.根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点. ...
Spark Streaming介绍，DStream,DStream相关操作(来自学习资料)
一. Spark Streaming介绍 1． SparkStreaming概述 1.1．什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式 ...
大数据基础课第三课 spark_core、Spark_sqlSpark_streaming
spark 入门课程目标: 了解spark概念知道spark的特点(与hadoop对比) 独立实现spark local模式的启动 1.1 spark概述 1.什么是spark 基于内存的计算引擎 ...
Python基础学完了再学什么？
Python基础学完了再学什么? 基础阶段学完Python 基础语法.python 容器.函数和文件操作.面向对象. python编程和web基础.Linux 操作系统多任务编程.Python 网络编 ...
【saprk Steaming】
目录一.spark-streaming概述二.有状态计算:每一次计算之前的计算结果进行累加计算三. 窗口计算四.DStream与RDD相互转换例题:卡口车辆一.spark-streamin ...
2021年大数据Spark（四十四）：Structured Streaming概述
Apache Spark在2016年的时候启动了Structured Streaming项目,一个基于Spark SQL的全新流计算引擎Structured Streaming,让用户像编写批处理程序 ...
spark学习基础篇1--spark概述与入门
spark总结一: spark 概述 1. Spark 是分布式内存计算框架 Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果 ...

SparkStreaming概述

SparkStreaming概述

1.1 Spark Streaming是什么

1.2 Spark Streaming的特点

SparkStreaming概述相关推荐

最新文章

热门文章