spark streaming限制吞吐

使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：

Maximum rate (number of records per second) at which each receiver will receive data. Effectively, each stream will consume at most this number of records per second. Setting this configuration to 0 or a negative number will put no limit on the rate. See the deployment guide in the Spark Streaming programing guide for mode details.

默认没有设置，也就是做没做限制。

如果做限制100，那么每秒最大吞吐就是100条。

然后文档中还有一个属性spark.streaming.kafka.maxRatePerPartition，也是限制吞吐的，不过是限制kafka读取的速度，官方文档是这么说的：

Maximum rate (number of records per second) at which data will be read from each Kafka partition when using the new Kafka direct stream API. See the Kafka Integration guide for more details.

默认也是没有设置。

现在还搞不清楚这两个的关联。这个需要去研究源代码。猜想spark.streaming.receiver.maxRate是限制除kafka以外的吞吐，而spark.streaming.kafka.macRatePerPartition的吞吐。

转载于:https://www.cnblogs.com/hark0623/p/4513955.html

spark streaming限制吞吐相关推荐

Storm和MR及Spark Streaming的区别
1.Storm和MR对比 Storm进程常驻内存,数据不经过磁盘,在内存中处理,数据通过网络传导.是流式处理框架,体现出了实时性. MR是为TB.PB级别数据设计的批处理离线计算框架 2.Storm和 ...
sparkstreaming监听hdfs目录如何终止_Spark笔试题：Spark Streaming 反压机制
Spark Streaming 反压机制是1.5版本推出的特性,用来解决处理速度比摄入速度慢的情况,简单来讲就是做流量控制.当批处理时间(Batch Processing Time)大于批次间隔(Ba ...
SPARK STREAMING之1：编程指南（翻译v1.4.1）
SPARK STREAMING之1:编程指南(翻译v1.4.1) @(SPARK)[spark, 大数据] SPARK STREAMING之1编程指南翻译v141 概述快速入门例子基本概念 Lin ...
Spark Streaming 技术看点！
需要关于Spark Streaming相关学习资料视频可以加QQ:1653978901 Spark Streaming 支持实时数据流的可扩展(Scalable).高吞吐(high-throughpu ...
spark学习-Spark Streaming初次理解
1.Spark Streaming 是 Spark Core API 的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理.数据可以通过多种数据源获取,例如 Kafka,Flume,Kinesis ...
sparkstreaming监听hdfs目录如何终止_四十六、Spark Streaming简介及入门
1.什么是Spark Streaming Spark Streaming是基于Spark Core之间的实时计算框架,可以从很多数据源消费数据并对数据进行处理.它是Spark核心API的一个扩展与封装 ...
Spark Streaming 原理剖析
通过源码呈现 Spark Streaming 的底层机制. 1. 初始化与接收数据 Spark Streaming 通过分布在各个节点上的接收器缓存接收到的流数据并将流数据包装成 Spark ...
Spark Streaming的玫瑰与刺
为什么80%的码农都做不了架构师?>>> 玫瑰篇玫瑰篇主要是说Spark Streaming的优势点. 玫瑰之代码复用这主要得益于Spark的设计,以及平台的全面性.你写的 ...
【Spark Streaming】（四）基于 Spark Structured Streaming 的开发与数据处理
文章目录一.前言二.Spark Streaming vs Structured Streaming 2.1 Spark Streaming 2.2 Structured Streaming 2.3 ...

spark streaming限制吞吐

spark streaming限制吞吐相关推荐

最新文章

热门文章