Apache Spark 黑名单(Blacklist)机制介绍

在使用 Apache Spark 的时候，作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时，集群的节点出现各种问题是很常见的，比如某个磁盘出现问题等。我们都知道 ApacheSpark 是一个高性能、容错的分布式计算框架，一旦它知道某个计算所在的机器出现问题(比如磁盘故障)，它会依据之前生成的 lineage 重新调度这个 Task。

我们现在来考虑下下面的场景：

• 有个节点上的磁盘由于某些原因出现间歇性故障，导致某些扇区不能被读取。假设我们的 Spark 作业需要的数据正好就在这些扇区上，这将会导致这个 Task 失败。

• 这个作业的 Driver 获取到这个信息，知道 Task 失败了，所以它会重新提交这个 Task。

• Scheduler 获取这个请求之后，它会考虑到数据的本地性问题，所以很可能还是把这个 Task 分发到上述的机器，因为它并不知道上述机器的磁盘出现了问题。

• 因为这个机器的磁盘出现问题，所以这个 Task 可能一样失败。然后 Driver 重新这些操作，最终导致了 Spark 作业出现失败!

上面提到的场景其实对我们人来说可以通过某些措施来避免。但是对于 Apache Spark 2.2.0 版本之前是无法避免的，不过高兴的是，来自 Cloudera 的工程师解决了这个问题：引入了黑名单机制 Blacklist(详情可以参见SPARK-8425，具体的设计文档参见Design Doc for Blacklist Mechanism)，并且随着 Apache Spark 2.2.0 版本发布，不过目前还处于实验性阶段。

黑名单机制其实是通过维护之前出现问题的执行器(Executors)和节点(Hosts)的记录。当某个任务(Task)出现失败，那么黑名单机制将会追踪这个任务关联的执行器以及主机，并记下这些信息;当在这个节点调度任务出现失败的次数超过一定的数目(默认为2)，那么调度器将不会再将任务分发到那台节点。调度器甚至可以杀死那台机器对应的执行器，这些都可以通过相应的配置实现。

我们可以通过 Apache Spark WEB UI 界面看到执行器的状态(Status)：如果执行器处于黑名单状态，你可以在页面上看到其状态为 Blacklisted ，否则为 Active。如下图所示：

拥有了黑名单机制之后，上面场景的问题就可以很好的解决。

目前黑名单机制可以通过一系列的参数来控制，主要如下：

因为黑名单机制目前还处于实验性状态，所以上面的一些参数可能会在后面的 Spark 中有所修改。

结语

感谢您的观看，如有不足之处，欢迎批评指正。

如果有对大数据感兴趣的小伙伴或者是从事大数据的老司机可以加群：

658558542

欢迎大家交流分享，学习交流，共同进步。（里面还有大量的免费资料，帮助大家在成为大数据工程师，乃至架构师的路上披荆斩棘！）

最后祝福所有遇到瓶颈的大数据程序员们突破自己，祝福大家在往后的工作与面试中一切顺利。

转载于:https://blog.51cto.com/14145734/2342444

Apache Spark 黑名单(Blacklist)机制介绍相关推荐

使用Apache Spark让MySQL查询速度提升10倍以上
作者:Alexander Rubin 链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries- ...
提高spark任务稳定性1 - Blacklist 机制
文章目录背景介绍相关参数实现细节 TaskSetBlacklist BlacklistTracker 黑名单判断的时机如果所有的节点都被加入了黑名单? 结语背景一个 spark 应用的产 ...
Apache Spark 介绍的演讲ppt (slice)，全英文
这里是本人制作的Apache Spark 介绍的演讲ppt,全英文.这里粘贴部分截图,具体可到相应的链接下载ppt文件,ppt文件中有动画: 下载地址:https://download.csdn.ne ...
新版本来袭：Apache Spark 1.5新特性介绍
Apache Spark社区2015年9月9日发布了1.5版本,该版本由230+开发人员和80+机构参与,修复了1400多个补丁,该版本可以通过 http://spark.apache.org/dow ...
Apache Spark 1.5新特性介绍
Apache Spark社区刚刚发布了1.5版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案. DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Sp ...
Apache Spark开发介绍
Databricks的工程师,Apache Spark Committer介绍了Databricks和Spark的历史,包括了Spark 1.4中的重要特性和进展,涵盖了Spark早期版本的主要功能和 ...
Apache Spark基础知识
我的spark学习笔记,基于Spark 2.4.0 目录一.简介二.RDD编程 1 RDD介绍 2 RDD操作 2.0 读操作 2.1 常用Tramsformation算子 2.2 常用Actio ...
Apache Spark 3.0 DStreams-Streaming编程指南
目录总览一个简单的例子基本概念连结中初始化StreamingContext 离散流(DStreams) 输入DStreams和接收器基本资料进阶资源自订来源接收器可靠性 DStrea ...
通过案例对 spark streaming 透彻理解三板斧之三：spark streaming运行机制与架构
本期内容: 1. Spark Streaming Job架构与运行机制 2. Spark Streaming 容错架构与运行机制事实上时间是不存在的,是由人的感官系统感觉时间的存在而已,是一种虚幻的 ...
Apache Spark探秘：三种分布式部署方式比较
2019独角兽企业重金招聘Python工程师标准>>> 目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark o ...

Apache Spark 黑名单(Blacklist)机制介绍

Apache Spark 黑名单(Blacklist)机制介绍相关推荐

最新文章

热门文章