翻译：http://spark.apache.org/docs/latest/streaming-custom-receivers.html

Spark Streaming自定义接收器

Spark Streaming可以接收来自任何数据源的流数据，超出了其内置支持（即Flume，Kafka，Kinesis，文件，套接字等）以外的任何数据源。这要求开发人员实施一个接收器，该接收器专门用于从相关数据源接收数据。本指南介绍了实现自定义接收器并将其用于Spark Streaming应用程序的过程。请注意，自定义接收器可以在Scala或Java中实现。

实现自定义接收器

这从实现Receiver （Scala doc， Java doc）开始。自定义接收者必须通过实现两种方法来扩展这个抽象类

onStart()：开始接收数据的事情。
onStop()：要停止接收数据的事情。

onStart()和onStop()都不能无限期地阻塞。通常，onStart()将会启动接收数据的线程，onStop()将确保这些线程接收到的数据被终止。接收线程也可以使用isstop()，一种接收方法，来检查它们是否应该停止接收数据。

Spark Streaming自定义接收器相关推荐

spark streaming 自定义接收数据源Receiver测试
spark streaming 自定义接收数据源Receiver测试 package orderimport org.apache.log4j.{Level, Logger} import org.a ...
Spark Streaming示例–如何从Slack流式传输
让我们在Scala中编写一个Spark Streaming示例,该示例从Slack流传输. 这篇文章将首先展示如何编写,配置和执行代码. 然后,将详细检查源代码. 如果您没有Slack团队,则可以免费 ...
Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver
[TOC] 实时WordCount案例主要是监听网络端口中的数据,并实时进行wc的计算. Java版测试代码如下: package cn.xpleaf.bigdata.spark.java.str ...
Spark Streaming学习笔记
特点: Spark Streaming能够实现对实时数据流的流式处理,并具有很好的可扩展性.高吞吐量和容错性. Spark Streaming支持从多种数据源提取数据,如:Kafka.Flume.Tw ...
Spark详解（十二）：Spark Streaming原理和实现
1 简介 SparkStreaming是Spark核心API的一个扩展,具有高吞吐量和容错能力的实时流数据处理系统,可以对多种数据源(如Kdfka.Flume.Twitter.Zero和TCP 套接字 ...
实时流处理框架Storm、Spark Streaming、Samza、Flink，孰优孰劣？！
https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247486490&idx=1&sn=e25a05be8cf98c ...
Storm，Trident，Spark Streaming，Samza和Flink主流流处理框架比较
文 | Petr Zapletal ,译者 | 侠天分布式流处理是对无边界数据集进行连续不断的处理.聚合和分析.它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别.这类系统一般 ...
Spark Streaming和Flume集成指南V1.4.1
Apache Flume是一个用来有效地收集,聚集和移动大量日志数据的分布式的,有效的服务.这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据.这里有两个方法. ...
Spark Streaming之运行架构
一 Spark Streaming 运行架构图二 Spark Streaming各个组件 2.1 StreamingContext: Spark Streaming 中Driver端的上下文对象,初 ...

Spark Streaming自定义接收器

Spark Streaming自定义接收器

实现自定义接收器

Spark Streaming自定义接收器相关推荐

最新文章

热门文章