Receiver

这里的kafka获取数据其实是从HDFS中获取（WAL机制）（恢复时间较长）

task相当于一个线程
这里一个Executor中的多个task共同处理一个data中的数据，这里可以通过增加execut节点的方式增加task来提高消费能力

Direct

这里的Spark RDD的Partition 与 Kafka Partition 保持一致性。不能增加task数量，因为是一对一的关系
从kafka获取数据，比从hdfs获取数据，因为zero copy的方式，速度肯定更快。
1、receiver和direct如何选择？
根据业务现状：
–业务初期，消息量不是很大：根据rdd partition，kafka partition一致性选择direct
–业务稳定期：提前考虑流量的高并发，（集群稳定性、代码的健壮性有保障），可以通过使用receiver方式提高消费能力，这里能通过启动execut来增加内存空间
业界常用： receiver方式

如何选择Spark Streaming 的Reveiver和Direct模式相关推荐

Spark Streaming的Receiver和Direct容错方式
Receiver容错: Reveiver两种出错方式 ①WAL预写出现问题,因为我们offset没有更新,所以可以从kafka中重新拉取数据 ②处理时出现问题,导致进程挂掉,通过ResourceMan ...
通过案例对 spark streaming 透彻理解三板斧之一： spark streaming 另类实验
本期内容 : spark streaming另类在线实验瞬间理解spark streaming本质一．我们最开始将从Spark Streaming入手为何从Spark Streaming切入 ...
grafana计算不同时间的差值_大数据时代！如何基于Spark Streaming构建实时计算平台...
随着互联网技术的迅速发展,用户对于数据处理的时效性.准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战. 自2015年携程实时计算平台 ...
什么是Spark、Spark特点、Spark Streaming和Storm的区别
Spark是一个基于内存的开源计算框架 Spark主要应用于大数据的计算,而Hadoop将主要用于大数据的存储(HDFS.HIVE. Hbase等),Saprk+Hadoop组合,是未来大数据领域最热 ...
Spark Streaming 编程指南[中英对照]
2019独角兽企业重金招聘Python工程师标准>>> 基于Spark 2.0 Preview的材料翻译,原[英]文地址: http://spark.apache.org/docs/ ...
Spark Streaming之Kafka的Receiver和Direct方式
一 Receiver方式 Receiver是使用Kafka的high level的consumer API来实现的.Receiver从Kafka中获取数据都是存储在Spark Executor内存中的 ...
Spark Streaming Direct Approach (No Receivers) 分析
前言这个算是Spark Streaming 接收数据相关的第三篇文章了. 前面两篇是: Spark Streaming 数据产生与导入相关的内存分析 Spark Streaming 数据接收优化 S ...
Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver
[TOC] 实时WordCount案例主要是监听网络端口中的数据,并实时进行wc的计算. Java版测试代码如下: package cn.xpleaf.bigdata.spark.java.str ...
用 Flink 取代 Spark Streaming，知乎实时数仓架构演进【推荐】
"数据智能" (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务.从智能商业的角 ...

如何选择Spark Streaming 的Reveiver和Direct模式

Receiver

Direct

如何选择Spark Streaming 的Reveiver和Direct模式相关推荐

最新文章

热门文章