1. 现象

一个问题发现集群内节点非正常移除，被调度为not ready

2. 问题排查

查看kubelet日志

# journal -u kubelet -f
Jan 21 16:45:44 localhost kubelet[1277]: E0121 16:45:44.079748    1277 kubelet_volumes.go:128] Orphaned pod "86d60ee9-9fae-11e8-8cfc-525400290b20" found, but volume paths are still present on disk. : There were a total of 1 errors similar to this.  Turn up verbosity to see them.
Jan 21 16:45:46 localhost kubelet[1277]: E0121 16:45:46.069180    1277 kubelet_volumes.go:128] Orphaned pod "86d60ee9-9fae-11e8-8cfc-525400290b20" found, but volume paths are still present on disk. : There were a total of 1 errors similar to this.  Turn up verbosity to see them.

通过id号,进入kubelet的目录,可以发现里面装的是容器的数据,etc-hosts文件中还保留着podname

# cd /var/lib/kubelet/pods/86d60ee9-9fae-11e8-8cfc-525400290b20/var/lib/kubelet/pods/86d60ee9-9fae-11e8-8cfc-525400290b20# ls
containers  etc-hosts  plugins  volumes/var/lib/kubelet/pods/86d60ee9-9fae-11e8-8cfc-525400290b20# cat etc-hosts
# Kubernetes-managed hosts file.
127.0.0.1   localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
172.16.1.180    omc-test-2509590746-mw56s

通过搜索相关的信息也有相关的问题:

https://github.com/kubernetes/kubernetes/issues/60987

首先通过etc-hosts文件的pod name 发现已经没有相关的实例在运行了，然后按照issue中的提示，删除pod

3. 解决问题

rm -rf 86d60ee9-9fae-11e8-8cfc-525400290b20

但是这个方法有一定的危险性，还不确认是否有数据丢失的风险，如果可以确认，再执行。或在issue中寻找更好的解决方法。

再去查看日志，就会发现syslog不会再刷类似的日志了。

Orphaned pod found - but volume paths are still present on disk的处理相关推荐

kubelet报错：Orphaned pod “$Pod“ found, but volume paths are still present on disk
1.场景: 容器一直处在 ContainerCreating状态 $ kubectl get pod -n liantiao | grep pushserver pushserver-69cc66c6 ...
k8s关于Orphaned pod ＜pod_id＞ found，volume paths are still present on disk 的解决方法
问题描述因k8s节点异常关机导致启动后业务Pod重新部署,关机之前的Pod状态已被删除,今天在查看日志时发现在异常关机之前的集群节点Pod是非正常移除的,一直刷报错信息:如下: 问题排查查看系统日 ...
kubernetes故障现场一之Orphaned pod
系列目录问题描述:周五写字楼整体停电,周一再来的时候发现很多pod的状态都是Terminating,经排查是因为测试环境kubernetes集群中的有些节点是PC机,停电后需要手动开机才能起来.起来 ...
rook 排错记录 + Orphaned pod found kube-controller-manager的日志输出
1.查看rook-agent(重要)和mysql-wordpress 的日志,如下: MountVolume.SetUp failed for volume "pvc-f002e1fe-46 ...
挂载失败-日志中显示僵尸pod的问题
当节点出现pod挂载不上,且查看节点日志(/var/log/message)发现不断有"Orphaned pod"字段的日志打印出来,如下: Jan 21 03:07:08 abc ...
k8s pod被驱逐问题分析及解决
1.问题现象及分析环境说明环境说明: centos7.3 Kubernetes1.14 docker 1.18.9 异常信息:kubectl get pod发现服务被驱逐,然后在调度到其它节点过程 ...
KubeEdge 1.3.0 部署
本文介绍了如何在两台 ubuntu 16.04 64 bit 双核 CPU 虚拟机上从源码开始部署 KubeEdge 1.3.0 集群的过程,云端 Kubernetes 版本为 1.17.3,Gola ...
kubernetes 升级问题笔录
本笔录主要是记录kubernetes从v1.7.6升级到v1.11.2的问题以及相关的解决办法问题一:不能访问master的10255 日志 [root@test-master-113 qinzha ...
Pod挂载Volume失败问题分析
Kubernetes环境偶尔出现StatefulSet中的Pod被删除,新启动的Pod(还是调度到原有节点)挂载volume失败的问题,如下图,经过一番定位分析,也让我们对于Kubernetes系统复 ...

Orphaned pod found - but volume paths are still present on disk的处理

1. 现象

2. 问题排查

3. 解决问题

Orphaned pod found - but volume paths are still present on disk的处理相关推荐

最新文章

热门文章