Spark Streaming控制每秒消费数据的速度

设置spark.streaming.kafka.maxRatePerPartition的原则

spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的，
一般和spark.streaming.backpressure.enabled=true一起使用。
那么应该怎么算这个值呢？

如例：若要10分钟的吞吐量控制在5000,0000，kafka分区是10个。也就是说spark.streaming.kafka.maxRatePerPartition的值 * kafka分区数 * (10 *60)(每秒时间)
要差不多与50000000相当。如下是公式：50000000/10/600s =8400
也就是我们该设置maxrRatePerPartition这个参数为8400，每秒拉取8400条数据。

spark.streaming.kafka.maxRatePerPartition控制spark streaming 对kafka中目标topic的每个分区每秒拉取的条数。

从上面的分析过程可以预见到，每个分区接收到的消息量<=batchDuration * spark.streaming.kafka.maxRatePerPartition.

Spark Streaming控制每秒消费数据的速度相关推荐

揭开Spark Streaming神秘面纱② - ReceiverTracker 与数据导入
问题导读: 1.streaming application 如何兼容众多数据源? 2.receivers 是如何分发并启动的? 3.receiver 接收到的数据是如何流转的? Spark Strea ...
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
编译:刘佳毅,花名佳易,阿里巴巴计算平台事业部EMR团队开发工程师,目前从事大数据安全相关方面工作. 摘要: 本文主要对Databricks如何使用Spark Streaming和Delta Lake ...
Spark Streaming从Kafka中拉取数据，并且使用过“窗口函数”统计一些流量信息
一.应用案例场景: 在Spark Streaming中,我们通常计算的是一段时间间隔内的数据.比如http://blog.csdn.net/tototuzuoquan/article/details/ ...
Spark Streaming架构介绍_大数据培训
Spark Streaming架构 1 架构图图1-1 SparkStreaming架构图图1-2整体架构图 2 背压机制 Spark 1.5以前版本,用户如果要限制Receiver的数据接收速率 ...
使用Spark Streaming从kafka中读取数据把数据写入到mysql 实例
文章目录一. 题目题目和数据二. pom依赖三.建表语句四. 连接kafka配置类五. 自定义分区类六. 读取数据并发送数据七. 消费数据,把数据存储到mysql 一. 题目题目和数 ...
spark spark streaming + kafka receiver方式消费消息
2019独角兽企业重金招聘Python工程师标准>>> kafka + spark streaming 集群前提: spark 安装成功,spark 1.6.0 zookeeper ...
Spark Streaming从Kafka中获取数据，并进行实时单词统计，统计URL出现的次数
1.创建Maven项目创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/74571374 2.启动Kafka A:安装kafka集 ...
【Spark分布式内存计算框架——Spark Streaming】10. 应用案例：百度搜索风云榜（中）实时数据ETL存储
5.3 实时数据ETL存储实时从Kafka Topic消费数据,提取ip地址字段,调用[ip2Region]库解析为省份和城市,存储到HDFS文件中,设置批处理时间间隔BatchInterval为1 ...
大数据入门之分布式计算框架Spark(3) -- Spark Streaming
1.概述 Spark Streaming将不同的数据源,经过处理之后,结果输出到外部文件系统. 特点:低延时:能从错误中高效地恢复过来:能够运行在成百上千的节点上:能够将批处理.机器学习.图计算等子框 ...

Spark Streaming控制每秒消费数据的速度

Spark Streaming控制每秒消费数据的速度相关推荐

最新文章

热门文章