kubernetes故障现场一之Orphaned pod
系列目录
问题描述:周五写字楼整体停电,周一再来的时候发现很多pod的状态都是Terminating
,经排查是因为测试环境kubernetes集群中的有些节点是PC机,停电后需要手动开机才能起来.起来以后节点恢复正常,但是通过journalctl -fu kubelet
查看日志不断有以下错误
[root@k8s-node4 pods]# journalctl -fu kubelet
-- Logs begin at 二 2019-05-21 08:52:08 CST. --
5月 21 14:48:48 k8s-node4 kubelet[2493]: E0521 14:48:48.748460 2493 kubelet_volumes.go:140] Orphaned pod "d29f26dc-77bb-11e9-971b-0050568417a2" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.
我们通过cd进入/var/lib/kubelet/pods
目录,使用ls查看
[root@k8s-node4 pods]# ls
36e224e2-7b73-11e9-99bc-0050568417a2 42e8cd65-76b1-11e9-971b-0050568417a2 42eaca2d-76b1-11e9-971b-0050568417a2
36e30462-7b73-11e9-99bc-0050568417a2 42e94e29-76b1-11e9-971b-0050568417a2 d29f26dc-77bb-11e9-971b-0050568417a2
可以看到,错误信息里的pod的ID在这里面,我们cd进入它(d29f26dc-77bb-11e9-971b-0050568417a2),可以看到里面有以下文件
[root@k8s-node4 d29f26dc-77bb-11e9-971b-0050568417a2]# ls
containers etc-hosts plugins volumes
我们查看etc-hosts
文件
[root@k8s-node4 d29f26dc-77bb-11e9-971b-0050568417a2]# cat etc-hosts
# Kubernetes-managed hosts file.
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
10.244.7.7 sagent-b4dd8b5b9-zq649
我们在主节点上执行kubectl get pod|grep sagent-b4dd8b5b9-zq649
发现这个pod已经不存在了.
问题的讨论查看这里有人在pr里提交了来解决这个问题,截至目前PR仍然是未合并状态.
目前解决办法是先在问题节点上进入/var/lib/kubelet/pods
目录,删除报错的pod对应的hash(rm -rf 名称
),然后从集群主节点删除此节点(kubectl delete node),然后在问题节点上执行
kubeadm reset
systemctl stop kubelet
systemctl stop docker
systemctl start docker
systemctl start kubelet
执行完成以后此节点重新加入集群
转载于:https://www.cnblogs.com/tylerzhou/p/11075185.html
kubernetes故障现场一之Orphaned pod相关推荐
- 带你玩转kubernetes-k8s(第61篇-Kubernetes之资源紧缺时的Pod驱逐机制)
资源紧缺时的Pod驱逐机制 如何在系统硬件资源紧缺的情况下保证Node的稳定性,是kubelet需要解决的一个重要问题.尤其对于内存和磁盘这种不可压缩的资源,紧缺就意味着不稳定.下面对驱逐的策略.信号 ...
- Orphaned pod found - but volume paths are still present on disk的处理
1. 现象 一个问题发现集群内节点非正常移除,被调度为not ready 2. 问题排查 查看kubelet日志 # journal -u kubelet -f Jan 21 16:45:44 loc ...
- Kubernetes故障问题
Kubernetes故障问题 1.查看node节点出现异常 解决: 查看node日志显示: 解决: keepalived 的vip ping不通,然而重启下keepalived 就可以 正常显示: 转 ...
- 【kubernetes系列】master节点部署Pod处于Pending状态
目录 一.绪论 二.情景再现 三.解决方案 一.绪论 产生问题的原因是master节点部署Pod,导致无法启动: 问题描述: Warning FailedScheduling 40s (x28 ove ...
- kubelet报错:Orphaned pod “$Pod“ found, but volume paths are still present on disk
1.场景: 容器一直处在 ContainerCreating状态 $ kubectl get pod -n liantiao | grep pushserver pushserver-69cc66c6 ...
- k8s关于Orphaned pod <pod_id> found,volume paths are still present on disk 的解决方法
问题描述 因k8s节点异常关机导致启动后业务Pod重新部署,关机之前的Pod状态已被删除,今天在查看日志时发现在异常关机之前的集群节点Pod是非正常移除的,一直刷报错信息:如下: 问题排查 查看系统日 ...
- 5. Kubernetes 进阶之容器组(Pod)
Pod详解 Pod介绍 术语中英文对照: 英文全称 英文缩写 中文翻译 Pod Pod 容器组 Container Container 容器 Controller Controller 控制器 什么是 ...
- 阿里云容器Kubernetes监控(二) - 使用Grafana展现Pod监控数据
简介 在kubernetes的监控方案中,Heapster+Influxdb+Grafana的组合相比prometheus等开源方案而言更为简单直接.而且Heapster在kubernetes中承担的 ...
- wildfly mysql_MySQL作为Kubernetes服务,可从WildFly Pod访问
wildfly mysql Kubernetes上使用Vagrant的Java EE 7和WildFly(技术提示#71)介绍了如何在使用Kubernetes和Docker托管的WildFly上运行琐 ...
最新文章
- 为什么大多数IOC容器使用ApplicationContext,而不用BeanFactory
- 矩阵连乘算法代码JAVA_矩阵连乘问题的动态规划算法(java)
- 聊一聊IAR的workspace文件组织
- 最小二乘法least square
- idea maven +spring mvc
- python2.7安装scipy_在centOS上离安装Python2.7以及numpy,scipy,matplot,sklearn等
- (01)VTK读取OBJ格式模型
- android textview显示表情,Android开发-TextView中显示QQ表情类的图片和超链接
- 锐动天地光盘刻录大师6.2 注册码
- 量子力学入门---基本概念
- delphi 热部署_DelphiWebMVC微信公众号开发
- 网络 | OSI七层模型各层常见协议
- 使用Python进行多个机器学习模型、多个评价指标表格绘制(AUC、敏感度、特异度、F1值、约登指数、MCC、Kappa等)
- 微信小程序开发者工具构建npm
- 曲苑杂坛--查看CPU配置
- 单点漫延问题(水陆判断、洪水漫延、无权最小路径)
- 自比毕加索,揭秘神秘的“苹果大学”
- 全网通蜂窝路由器_工业路由器双sim卡
- Tableau使用笔记
- 南方cass计算表面积_CASS-工程应用“计算表面积”
热门文章
- 特征放缩(Feature scaling)
- HbuilderX导入项目运行到微信小程序代码杂乱问题
- asp.net打开新标签页
- idea项目配置jsp模板
- 【视觉-单目三维重建-理论篇】单目视觉三维重建----论文调研1
- Mybatis的一个连接mysql的坑
- pom.xml文件中的dependency的scope属性值为test,但是Test sources root的文件里面不能使用
- linux命令操作改变图片大小,使用linux命令调整图片大小、格式等
- 心理测试详解:猴子小鸟蛇包
- Right-BICEP 测试四则运算程序