1.概述

转载:https://blog.csdn.net/weixin_43970890/article/details/102483720

org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. This token is expired. current time is ... found ...

该异常在 Flink AM 向 YARN NM 申请启动 token 已超时的 Container 时抛出,通常原因是 Flink AM 从 YARN RM 收到这个 Container 很久之后(超过了 Container有效时间,默认 10 分钟,该 Container 已经被释放)才去启动它,进一步原因是 Flink 内部在收到 YARN RM 返回的 Container 资源后串行启动。

当待启动的 Container 数量较多且分布式文件存储如 HDFS 性能较慢(启动前需上传 TaskManager 配置)时 Container 启动请求容易堆积在内部,FLINK-13184 对这个问题进行了优化,一是在启动前增加了有效性检查,避免了无意义的配置上传流程,二是进行了异步多线程优化,加快启动速度。

【Flink】Unauthorized request to start container. This token is expired. current time is相关推荐

  1. hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container

    错误: 17/11/22 15:17:15 INFO client.RMProxy: Connecting to ResourceManager at Master/192.168.136.100:8 ...

  2. 【Flink】报错 No pooled slot available and request to ResourceManager for new slot failed

    文章目录 1.场景1 1.1 概述 1.2 问题 1.场景1 1.1 概述 改报错请参考:[Flink]Flink 1.9 升级 到 flink 1.12.4 报错 shaded netty4 Abs ...

  3. 【flink】Flink常见Checkpoint超时问题排查思路

    1.概述 转载:Flink常见Checkpoint超时问题排查思路 这里仅仅是自己学习. 在日常flink应用中,相信大家经常会遇到checkpoint超时失败这类的问题,遇到这种情况的时候仅仅只会在 ...

  4. 【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 TaskMasger 启动

    1.概述 转载:Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [四] 上一篇: [flink]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 Jo ...

  5. 【Flink】Flink1.11.2 on YARN滚动日志配置

    文章目录 1.概述 1.1 Flink 应用的完整日志如何查看? 1.2 滚动 1.概述 转载:Flink1.11.2 on YARN滚动日志配置 参考:https://blog.csdn.net/w ...

  6. 【Flink】Flink 不支持部分 task 结束后进行 checkpoint

    纪念一波,九师兄博客热门订阅专栏时常名列前茅,我飘了,哈哈哈哈,得意的笑 1.概述 以前遇到一个问题,这个问题是这样的,一个FLink job,然后部分是离线任务,数据读取完毕了,就结束了.然后发现就 ...

  7. 【Flink】Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型

    1.概述 转载:Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型 相似文章:[Flink]Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl ...

  8. 【Flink】Flink 源码之Buffer Debloating

    1.概述 转载:[Flink]Flink 源码之Buffer Debloating 2.什么是Buffer debloating Buffer Debloating是Flink 1.14新增的优化方式 ...

  9. 【Flink】Metrics运作机制

    1.概述 转载并且补充:Flink源码剖析:Metrics运作机制 1. Metrics简介 1.1 什么是 Metrics? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标 ...

最新文章

  1. 作幼儿教育软件的感受(2005-05-09)
  2. [crypto]-52-python3中rsa(签名验签加密解密)aes(ecb cbc ctr)hmac的使用,以及unittest测试用
  3. Python学习笔记: Python 标准库概览二
  4. ITK:在向量容器上迭代
  5. 解决 dubbo问题:Forbid consumer 192.xx.xx.1 access service com.xx.xx.xx.rpc.api.xx from registry 116.xx1
  6. Ruby 获取 HTTP 回应的编码和内容
  7. tp-03 模板显示
  8. 关于ftp的被动模式与IPTABLES策略
  9. 国产之光!Mac必备长截图软件!iShot 1.7.7中文版
  10. Sublime text3 Version 3... 3207 激活码许可证(2019-07-19亲测有效)
  11. MLX90640 红外热成像仪测温模块开发笔记(完整版)
  12. 星际迷航中企业号的动力系统_五月四日与您同在:《星球大战》(和《星际迷航》)如何激发现实生活中的技术...
  13. 熔断机制什么意思_熔断机制是什么意思?熔断机制的作用
  14. Shamir门限秘密共享方案 秘密分配及还原过程详解 【橘小白】
  15. 几种混沌系统混沌模型
  16. Mac小技巧—如何查看 Mac 的关机和重启历史
  17. 通过键盘移动鼠标光标 autohotkey
  18. Linux基本指令初阶
  19. CTFSHOW WEB 1-100
  20. <Linux开发>--驱动开发-- 字符设备驱动(3) 过程详细记录

热门文章

  1. 12GB+512GB售价18999元起,华为发布Mate X2典藏版
  2. 首销价1999元起!OPPO K9 Pro开启预售:搭载天玑1200芯片
  3. 支付宝开放新玩法:搜商家可领消费券
  4. 苹果发文谈iPhone SE的核心竞争力,网友:难道不是便宜吗?
  5. 聚划算百亿补贴上线新iPhone SE 售价2799元
  6. 受疫情影响 MWC 2020正式取消
  7. iPhone 12性能暴增!将再次与安卓拉开距离
  8. 支付宝2019年账单周一见 你准备好了吗?
  9. 麒麟990 5G芯片加持!华为nova 6 5G通过3C认证
  10. 苹果要做第一个吃螃蟹的人!将率先尝试台积电5nm工艺