使用describe命令进行Kubernetes pod错误排查

我有一个pod名叫another，用kubectl create创建后发现过了29分钟，状态还是处于ContainerCreating阶段。

使用kubectl describe命令检查：

从错误消息发现是因为这个pod attach volume失败：

FailedAttachVolume 2m1s (x22 over 31m) attachdetach-controller AttachVolume.Attach failed for volume “pvc-c4d41f5c-e7ed-11e8-8726-fe6d42bf075f” : googleapi: Error 400: RESOURCE_IN_USE_BY_ANOTHER_RESOURCE - The disk resource ‘projects/sap-pi-coo-acdc-dev/zones/europe-west1-b/disks/shoot–k8s-train–shac-pvc-c4d41f5c-e7ed-11e8-8726-fe6d42bf075f’ is already being used by ‘projects/sap-pi-coo-acdc-dev/zones/europe-west1-b/instances/shoot–k8s-train–shacw46-worker-prvfv-z1-7844dc6744-ghd5m’

Warning FailedMount 31s (x14 over 29m) kubelet, shoot–k8s-train–shacw46-worker-prvfv-z1-7844dc6744-hhrmd Unable to mount volumes for pod “another_part-0110(13f15fa4-e819-11e8-8726-fe6d42bf075f)”: timeout expired waiting for volumes to attach or mount for pod “part-0110”/“another”. list of unmounted volumes=[content-storage]. list of unattached volumes=[content-storage default-token-6z5sk]

查看这个pod的yaml文件，果然发现有一个persistent volume的claim：

用命令kubectl get pv, 发现当前所有的persistent volume都被占用了（BOUND状态）：

解决方案有很多种，处于测试目的，我只是简单地将另一个同样声明了nginx-pvc作为PersistentVolumeClaim的pod删除，然后这个名为another的pod状态就很快变成Running了：

从describe命令生成的日志里也能清楚的观察到这个成功mount volume的事件：

Normal SuccessfulAttachVolume 84s attachdetach-controller AttachVolume.Attach succeeded for volume “pvc-c4d41f5c-e7ed-11e8-8726-fe6d42bf075f”

要获取更多Jerry的原创文章，请关注公众号"汪子熙":

使用describe命令进行Kubernetes pod错误排查相关推荐

通过describe命令学习Kubernetes的pod属性详解
我们可以首先使用kubectl get pods命令得到pod列表,比如我们想研究pod nginx-storage-pod的明细: 使用命令kubectl describe pod nginx-st ...
k8s服务发布错误排查
转载请注明出处:k8s服务发布错误排查 K8s错误排查步骤是我们使用k8s的必经之路,可以参考如下步骤: 首先查看pod的情况,使用命令: kubectl get pods 输出如下: [zzq@lo ...
Kubernetes pod状态出现CrashLoopBackOff 的原因
做个实验: $ kubectl run crasher --image=rosskukulinski/crashing-app 查看这个pod的状态: $ kubectl get pods NAME ...
Kubernetes pod 状态出现 ImagePullBackOff 的原因
通过一个试验作为例子来学习一下. 我们创建一个名为fail 的 deployment,让它故意指向一个实际并不存在的 Docker 镜像: $ kubectl run fail --image=jer ...
kubectl describe命令详解
输出指定的一个/多个资源的详细信息. 摘要输出指定的一个/多个资源的详细信息. 此命令组合调用多条API,输出指定的一个或者一组资源的详细描述. $ kubectl describe TYPE NA ...
kubernetes—Pod详解
Pod详解前言 Pod介绍 Pod结构 Pod定义 pod的几种基础配置概述基本配置(name,image) 镜像拉取(imagePullPolicy) 启动命令(command和args) 环 ...
【4】Kubernetes pod资源
容器与pod资源对象为什么Kubernetes要引入pod的概念,而不直接操作Docker容器首先我们要明确一个概念,Kubernetes并不是只支持Docker这一个容器运行时,通过我的另一篇文 ...
config kubectl_kubectl常用命令归档及pod诊断工具安装
kubectl常用命令归档: 1 - k8s运行的服务是 kubectl,一般这个服务要设置默认开机启动 [root@k8s-master ~]# systemctl enable kubelet.s ...
Kubernetes pod状态出现ImagePullBackOff的原因
通过一个试验作为例子来学习一下. 我们创建一个名为fail 的 deployment,让它故意指向一个实际并不存在的 Docker 镜像: $ kubectl run fail --image=jer ...

使用describe命令进行Kubernetes pod错误排查

使用describe命令进行Kubernetes pod错误排查相关推荐

最新文章

热门文章