Hadoop1.2.1 tasktracker容错机制分析，黑名单与灰名单

hadoop1.2.1 tasktracker容错机制分析
1.job级别黑名单
每个Job都会维护自己的黑名单。如果tasktracker被加入该黑名单，则该Job不会再分配给这个节点分配task。流程图如下：

加入黑名单的条件：
1）.已经被加入黑名单的数量 < 0.25(常量) * 集群大小
2）.该Job在该节点失败的task数 > mapred.max.tracker.failures(默认为4)
2.jobtracker级别的灰名单
在0.20.203版本以前，加入灰名单的tasktracker在不久后会加入到jobtracker级别的黑名单，加入黑名单后jobtracker不为该tasktracker分配lunchtask，只有重启tasktracker才能恢复。在0.20.203版本开始，合并了yahoo的代码之后，tasktracker加入灰名单后没有什么特殊的操作。
加入灰名单的条件：
1）在一定时间内（mapred.jobtracker.blacklist-fault-timeout-window默认180分钟），tasktracker被job加入黑名单的次数 >= mapred.max.tracker.blacklists
2）被job加入黑名单的次数 > 平均每个tasktracker被加入黑名单的次数*（1+50%）
3）已经加入灰名单的tasktracker数 < 总tasktracker数的50%
3.jobtracker级别的黑名单
加入jobtracker级别黑名单的tasktracker，将不会被分配task，直到重启了该tasktracker。把tasktracker加入黑名单的唯一途径就是：tasktracker执行健康监控脚本，得到tasktracker不健康，通过心跳反馈给jobtracker，jobtracker则把它加入黑名单
以后再贴代码。

鉴于1.2.1中没有使用到tasktracker的灰名单，能否去掉灰名单机制，从而提高jobtracker处理heartbeat的效率。

Hadoop1.2.1 tasktracker容错机制分析，黑名单与灰名单相关推荐

深入理解 Flink 容错机制
本文作者:Paul Lin 本文链接: 2019/07/28/深入理解-Flink-容错机制/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 CN 许可协议.转载请注 ...
《循序渐进学Spark》一3.5　容错机制及依赖
本节书摘来自华章出版社<循序渐进学Spark>一书中的第3章,第3.5节,作者小象学院杨磊,更多章节内容可以访问云栖社区"华章计算机"公众号查看. 3.5 容错机 ...
qprocess回调_QT进程间通信详细介绍及QProcess机制分析
1.QT通信机制为了更好的实现QT的信息交互,在QT系统中创建了较为完善的通信机制.QT的通信可分为QT内部通信和外部通信两大类.对于这两类通信机制及应用场合做如以下分析: (1)QT内部对象间通信 ...
Flink的容错机制
文章目录检查点检查点的保存从检查点恢复状态检查点算法检查点配置 1.启动检查点 2.检查点存储 3.其他高级配置保存点 1.保存点的用途 2.使用保存点状态一致性一致性的概念和级别端 ...
dubbo的常用容错机制
容器机制分析 FailoverClusterInvoker (dubbo默认的容错机制)失败重试机制.失败自动切换,当出现失败,重试其它服务器.支持重试的,查询接口,支持幂等的写接口 Failsafe ...
代码行为异常容错机制与自我调节
目录 1.吧啦吧啦吧啦 1.1.代码自我意识 1.2.代码功能安全 1.3.代码保密性 1.4.代码执行完整性 1.5.代码的容错机制与自我调节 2.设计观与方法论 2.1 设计观与代码容错机制.自我 ...
Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理...
Flink基础篇,基本概念.设计理念.架构模型.编程模型.常用算子大纲: 1.Flink的四大基石包含哪些? 2.讲一下Flink的Time概念? 3.介绍下Flink窗口,以及划分机制? 4.介绍 ...
Flink中容错机制完整使用 (第十章)
Flink中容错机制完整使用一.容错机制 1.检查点(Checkpoint) 1. 检查点的保存 1. 周期性的触发保存 2. 保存的时间点 3. 保存的具体流程 2.从检查点恢复状态 (1)重启 ...
Flink教程（14）- Flink高级API（容错机制）
文章目录 01 引言 02 Checkpoint 2.1 Checkpoint VS State 2.2 Checkpoint 执行流程 2.2.1 简单流程 2.2.2 复杂流程 2.3 State ...

Hadoop1.2.1 tasktracker容错机制分析，黑名单与灰名单

Hadoop1.2.1 tasktracker容错机制分析，黑名单与灰名单相关推荐

最新文章

热门文章