kubelet not ready 问题排查

背景

使用kubectl 发现Node不正常。然后查看Node的日志出现如下

  Warning  ImageGCFailed            53s    kubelet, 192.168.60.31  failed to get imageFs info: unable to find data in memory cacheNormal   NodeHasSufficientMemory  53s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientMemoryNormal   NodeHasNoDiskPressure    53s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasNoDiskPressureNormal   NodeHasSufficientPID     53s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientPIDNormal   Starting                 53s    kubelet, 192.168.60.31  Starting kubelet.Normal   NodeHasSufficientMemory  40s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientMemoryNormal   Starting                 40s    kubelet, 192.168.60.31  Starting kubelet.Warning  ImageGCFailed            40s    kubelet, 192.168.60.31  failed to get imageFs info: unable to find data in memory cacheNormal   Starting                 28s    kubelet, 192.168.60.31  Starting kubelet.Warning  ImageGCFailed            28s    kubelet, 192.168.60.31  failed to get imageFs info: unable to find data in memory cacheNormal   NodeHasSufficientMemory  28s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientMemoryNormal   NodeHasNoDiskPressure    28s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasNoDiskPressureNormal   NodeHasSufficientPID     28s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientPIDWarning  ImageGCFailed            15s    kubelet, 192.168.60.31  failed to get imageFs info: unable to find data in memory cacheNormal   NodeHasSufficientPID     15s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientPIDNormal   NodeHasSufficientMemory  15s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientMemoryNormal   NodeHasNoDiskPressure    15s    kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasNoDiskPressureNormal   Starting                 15s    kubelet, 192.168.60.31  Starting kubelet.Normal   Starting                 3s     kubelet, 192.168.60.31  Starting kubelet.Warning  ImageGCFailed            3s     kubelet, 192.168.60.31  failed to get imageFs info: unable to find data in memory cacheNormal   NodeHasSufficientMemory  2s     kubelet, 192.168.60.31  Node 192.168.60.31 status is now: NodeHasSufficientMemory

处理方法

这个问题明显是Docker ImageGC 的问题。应该是内存不够了。导致的kubelet挂掉了。但是查看df -h 。磁盘空间还是够的。

journalct 查看kubelet日志
journalctl -u kubelet | grep -i garbage

解决方案。先让docker自己清理一下镜像文件。然后重启kubelet和docker

docker system prune
systemctl stop kubelet
systemctl stop docker
systemctl start docker
systemctl start kubelet

参考链接

https://stackoverflow.com/questions/62020493/kubernetes-1-18-warning-imagegcfailed-error-failed-to-get-imagefs-info-unable-t

kubelet not ready 问题排查相关推荐

浅析Kubelet如何上报状态
浅析Kubelet如何上报状态 1 kubelet上报节点状态在K8S集群中,由运行在每个节点的Kubelet定期上报心跳到ApiServer,以此来判断Node是否存活,若Node超过一定时间没有 ...
k8s部署问题集锦（一） kubelet 启动报错failed to run Kubelet unable to determine runtime
背景在 CentOS 7.9 上使用二进制包部署 Kubernetes v1.24.1 集群,kubelet 使用 Containerd 作为 container runtime.启动kubelet ...
kubelet 无法启动排查
问题描述使用ansible安装Kubernetes,最后出现如所示报错,提示kubelet启动异常 TASK [kube-node : 轮询等待kubelet启动] **************** ...
电子书下载 | 超实用！阿里售后专家的 K8s 问题排查案例合集
<关注公众号,回复"排查"获取下载链接> <深入浅出 Kubernetes>开放下载本书作者罗建龙(花名声东),阿里云技术专家,有着多年操作系统和图形显卡 ...
apache axis 1.4的invoke方法设置超时_Kubernetes 网络故障常见排查方法
网络可以说是 Kubernetes 部署和使用过程中最容易出问题的了,最主要的是对网络技术非常熟悉的人员相对较少,和 Kubernetes 结合后能搞透彻网络这块的就更加稀少了,导致我们在部署使用过程 ...
想在研发群里装？先学会这几个排查K8s问题的办法
新手学习 K8s 最大的难度感觉是在起步动手实践的时候,Pod 没有正常启动起来,或者运行了一段时间 Pod 自己崩溃了.那么是什么问题导致了它没运行起来,又或者是什么因素导致了它的崩溃,这到底是道德 ...
kuberntes集群不能解析service ip故障排查记录
一.故障描述涉及kubernetes版本: 1.20 kuberntes集群发布服务后,不能正常解析service ip,无法使用telnet测试服务ip 在kubernetes命名空间里部署red ...
一次kubenetes的rook-ceph创建pv失败的故障排查
kubenetes基于rook-ceph创建pv失败的一次故障排除 1.本次问题出现,新创建statefulset的pod无法正常创建pv Events:Type Reason Age From Me ...
rook-ceph osd down问题排查
rook ceph osd 异常(down)问题排查初始化问题显现,如下: [root@rook-ceph-tools-78cdfd976c-dhrlx /]# ceph osd tree ID C ...

kubelet not ready 问题排查

背景

处理方法

参考链接

kubelet not ready 问题排查相关推荐

最新文章

热门文章