【Flink】Unauthorized request to start container. This token is expired. current time is
1.概述
转载:https://blog.csdn.net/weixin_43970890/article/details/102483720
org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. This token is expired. current time is ... found ...
该异常在 Flink AM 向 YARN NM 申请启动 token 已超时的 Container 时抛出,通常原因是 Flink AM 从 YARN RM 收到这个 Container 很久之后(超过了 Container有效时间,默认 10 分钟,该 Container 已经被释放)才去启动它,进一步原因是 Flink 内部在收到 YARN RM 返回的 Container 资源后串行启动。
当待启动的 Container 数量较多且分布式文件存储如 HDFS 性能较慢(启动前需上传 TaskManager 配置)时 Container 启动请求容易堆积在内部,FLINK-13184 对这个问题进行了优化,一是在启动前增加了有效性检查,避免了无意义的配置上传流程,二是进行了异步多线程优化,加快启动速度。
【Flink】Unauthorized request to start container. This token is expired. current time is相关推荐
- hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container
错误: 17/11/22 15:17:15 INFO client.RMProxy: Connecting to ResourceManager at Master/192.168.136.100:8 ...
- 【Flink】报错 No pooled slot available and request to ResourceManager for new slot failed
文章目录 1.场景1 1.1 概述 1.2 问题 1.场景1 1.1 概述 改报错请参考:[Flink]Flink 1.9 升级 到 flink 1.12.4 报错 shaded netty4 Abs ...
- 【flink】Flink常见Checkpoint超时问题排查思路
1.概述 转载:Flink常见Checkpoint超时问题排查思路 这里仅仅是自己学习. 在日常flink应用中,相信大家经常会遇到checkpoint超时失败这类的问题,遇到这种情况的时候仅仅只会在 ...
- 【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 TaskMasger 启动
1.概述 转载:Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [四] 上一篇: [flink]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 Jo ...
- 【Flink】Flink1.11.2 on YARN滚动日志配置
文章目录 1.概述 1.1 Flink 应用的完整日志如何查看? 1.2 滚动 1.概述 转载:Flink1.11.2 on YARN滚动日志配置 参考:https://blog.csdn.net/w ...
- 【Flink】Flink 不支持部分 task 结束后进行 checkpoint
纪念一波,九师兄博客热门订阅专栏时常名列前茅,我飘了,哈哈哈哈,得意的笑 1.概述 以前遇到一个问题,这个问题是这样的,一个FLink job,然后部分是离线任务,数据读取完毕了,就结束了.然后发现就 ...
- 【Flink】Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型
1.概述 转载:Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型 相似文章:[Flink]Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl ...
- 【Flink】Flink 源码之Buffer Debloating
1.概述 转载:[Flink]Flink 源码之Buffer Debloating 2.什么是Buffer debloating Buffer Debloating是Flink 1.14新增的优化方式 ...
- 【Flink】Metrics运作机制
1.概述 转载并且补充:Flink源码剖析:Metrics运作机制 1. Metrics简介 1.1 什么是 Metrics? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标 ...
最新文章
- 作幼儿教育软件的感受(2005-05-09)
- [crypto]-52-python3中rsa(签名验签加密解密)aes(ecb cbc ctr)hmac的使用,以及unittest测试用
- Python学习笔记: Python 标准库概览二
- ITK:在向量容器上迭代
- 解决 dubbo问题:Forbid consumer 192.xx.xx.1 access service com.xx.xx.xx.rpc.api.xx from registry 116.xx1
- Ruby 获取 HTTP 回应的编码和内容
- tp-03 模板显示
- 关于ftp的被动模式与IPTABLES策略
- 国产之光!Mac必备长截图软件!iShot 1.7.7中文版
- Sublime text3 Version 3... 3207 激活码许可证(2019-07-19亲测有效)
- MLX90640 红外热成像仪测温模块开发笔记(完整版)
- 星际迷航中企业号的动力系统_五月四日与您同在:《星球大战》(和《星际迷航》)如何激发现实生活中的技术...
- 熔断机制什么意思_熔断机制是什么意思?熔断机制的作用
- Shamir门限秘密共享方案 秘密分配及还原过程详解 【橘小白】
- 几种混沌系统混沌模型
- Mac小技巧—如何查看 Mac 的关机和重启历史
- 通过键盘移动鼠标光标 autohotkey
- Linux基本指令初阶
- CTFSHOW WEB 1-100
- <Linux开发>--驱动开发-- 字符设备驱动(3) 过程详细记录