k8s集群部分常见问题处理
目录
部分常见问题处理
Coredns CrashLoopBackOff 导致无法成功添加工作节点的问题
添加工作节点时提示token过期
kubectl 执行命令报“The connection to the server localhost:8080 was refused”
网络组件flannel无法完成初始化
部分节点无法启动pod
最后
部分常见问题处理
结合我们上篇文章(链接:集群故障处理之处理思路以及听诊三板斧(三十四))的处理思路和手段,接下来我们就进行一些实践讲解。
Coredns CrashLoopBackOff 导致无法成功添加工作节点的问题
k8s集群安装完成之后,当我们添加工作节点时,可能会在长久的等待之中而无任何进展,这时可以使用以下命令来查看k8s各个服务的状态:
kubectl get pods -n kube-system -o wide
初步诊断容器崩溃,我们需要进一步查看日志,使用“kubectl logs”:
kubectl log -f coredns-5c98db65d4-8wt9z -n kube-system
这次我们获得了以下具体错误:
github.com/coredns/coredns/plugin/kubernetes/controller.go:322: Failed to list *v1.Namespace: Get https://10.96.0.1:443/api/v1/namespaces?limit=500&resourceVersion=0: dial tcp 10.96.0.1:443: connect: no route to host
解决方案:
这问题很有可能是防火墙(iptables)规则错乱或者缓存导致的,可以依次执行以下命令进行解决:
systemctl stop kubelet
systemctl stop docker
iptables --flush
iptables -tnat --flush
systemctl start kubelet
systemctl start docker
添加工作节点时提示token过期
集群注册token的有效时间为24小时,如果集群创建完成后没有及时添加工作节点,那么我们需要重新生成token。相关命令如下所示:
#生成token
kubeadm token generate
#根据token输出添加命令
kubeadm token create <token> --print-join-command --ttl=0
然后仅需复制打印出来的命令到工作节点执行即可。
kubectl 执行命令报“The connection to the server localhost:8080 was refused”
作为集群管理的核心,工作节点上的kubectl可能一上来就跪了,如下图所示:
出现这个问题的原因是kubectl命令需要使用kubernetes-admin的身份来运行,在“kubeadm int”启动集群的步骤中就生成了“/etc/kubernetes/admin.conf”。
因此,解决方法如下,将主节点中的【/etc/kubernetes/admin.conf】文件拷贝到工作节点相同目录下:
#复制admin.conf,请在主节点服务器上执行此命令
scp /etc/kubernetes/admin.conf 172.16.2.202:/etc/kubernetes/admin.conf
scp /etc/kubernetes/admin.conf 172.16.2.203:/etc/kubernetes/admin.conf
然后分别在工作节点上配置环境变量:
#设置kubeconfig文件
export KUBECONFIG=/etc/kubernetes/admin.conf
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
接下来,工作节点就正常了,如:
网络组件flannel无法完成初始化
网络组件flannel安装完成后,通过命令查看时一直在初始化状态,并且通过日志输出内容如下所示:
kubectl get pods -n kube-system -o wide
kubectl logs -f kube-flannel-ds-amd64-hl89n -n kube-system
具体错误日志为:
Error from server: Get https://172.16.2.203:10250/containerLogs/kube-system/kube-flannel-ds-amd64-hl89n/kube-flannel?follow=true: dial tcp 172.16.2.203:10250: connect: no route to host
这时,我们可以登录节点所在的服务器,使用以下命令来查看目标节点上的kubelet日志:
journalctl -u kubelet -f
注意:journalctl工具可以查看所有日志,包括内核日志和应用日志。
通过日志,我们发现是镜像拉取的问题。对此,大家可以参考上文中镜像拉取的方式以及重命名镜像标签来解决此问题,当然也可以通过设置代理来解决此问题。
部分节点无法启动pod
有时候,我们部署了应用之后,发现在部分工作节点上pod无法启动(一直处于ContainerCreating的状态):
通过排查日志最终我们得到重要信息如下所示:
NetworkPlugin cni failed to set up pod "demo-deployment-675b5f9477-hdcwg_default" network: failed to set bridge addr: "cni0" already has an IP address different from 10.0.2.1/24
这是由于当前节点之前被反复注册,导致flannel网络出现问题。可以依次执行以下脚本来重置节点并且删除flannel网络来解决:
kubeadm reset #重置节点
systemctl stop kubelet && systemctl stop docker && rm -rf /var/lib/cni/ && rm -rf /var/lib/kubelet/* && rm -rf /var/lib/etcd && rm -rf /etc/cni/ && ifconfig cni0 down && ifconfig flannel.1 down && ifconfig docker0 down && ip link delete cni0 && ip link delete flannel.1
systemctl start docker
执行完成后,重新生成token并注册节点即可,具体可以参考上文内容。
最后
在k8s集群的部署过程中或者过后,大家可能会遇到很多问题。这也是本地部署k8s集群遇到的最大的挑战质疑,因此本篇笔者讲述了问题处理思路和常见错误,希望能够给予大家帮助。
如果通过详细异常和和日志还是无法推断出具体错误,建议大家可以根据具体信息在“https://stackoverflow.com”网站上进行搜索,也可以在相关社交网站(比如github)和群里请教,不过请教前,请给出你的诊断步骤和详细的错误日志。
往期内容
Docker+ Kubernetes已成为云计算的主流(二十六)
容器化之后如何节省云端成本?(二十七)
了解Kubernetes主体架构(二十八)
使用Minikube部署本地Kubernetes集群(二十九)
使用kubectl管理k8s集群(三十)
使用Kubeadm创建k8s集群之部署规划(三十一)
使用Kubeadm创建k8s集群之节点部署(三十二)
集群故障处理之处理思路以及健康状态检查(三十三)
集群故障处理之处理思路以及听诊三板斧(三十四)
k8s集群部分常见问题处理相关推荐
- Kubernetes与docker集群管理常见问题解析
很荣幸受邀参加开源中国社区的高手问答,我是时速云团队的后端工程师,负责主机管理功能开发.在互动过程中,发现大家在使用/调研kubernetes(简称k8s)过程中遇到了很多问题,这里我总结为几点: l ...
- 使用Kubeadm创建k8s集群之节点部署(三十二)
前言 由于上次忘开申明原创,特再发一次. 本篇部署教程将讲述k8s集群的节点(master和工作节点)部署,请先按照上一篇教程完成节点的准备.本篇教程中的操作全部使用脚本完成,并且对于某些情况(比如镜 ...
- 误删50节点K8s集群为何3小时才能复原?Spotify揭自家事故幕后经验
误删50节点K8s集群为何3小时才能复原?Spotify揭自家事故幕后经验 线上音乐串流服务Spotify一位基础架构工程师David Xia,在今年欧洲KubeCon大会上分享了自家Kubernet ...
- Ubuntu20.04虚拟机使用Kubeadm从0到1搭建K8S集群(超详细)
前言 最近在读张磊老师的<深入剖析Kubernets>,在阅读4.2节的时候遇到了问题,由于书上使用的版本已经过时,很多命令的执行都失败了,在经历了长达两个星期的折磨以后,我终于把这一节需 ...
- docker-ce-v18.09.0+kubernetes-v1.15.1(k8s)集群环境+dashboard-v1.10.1搭建完整教程
一.k8s简介 什么是kubernetes 首先,他是一个全新的基于容器技术的分布式架构领先方案.Kubernetes(k8s)是Google开源的容器集群管理系统(谷歌内部:Borg).在Docke ...
- 强大多云混合多K8S集群管理平台Rancher入门实战
文章目录 概述 定义 为何使用 其他产品 安装 简述 规划 基础环境 Docker安装 Rancher安装 创建用户 创建集群 添加Node节点 配置kubectl 创建项目和名称空间 发布应用 偏好 ...
- 搭建 K8S 环境:Centos7安装生产环境可用的K8S集群图文教程指南
搭建 K8S 环境:Centos7安装生产环境可用的K8S集群图文教程指南 一. K8S 简介 二. K8S 学习的几大拦路虎 2.1 K8S 安装对硬件要求比较高 2.2. K8S 对使用者来说要求 ...
- kubeadm安装k8s集群详细手册
文章目录 一.k8s集群搭建 1.安装要求 2.关闭防火墙.selinux.swap分区 3.配置hostname.hosts. iptables 4.配置k8s阿里源 5.部署k8s的master和 ...
- 使用kubeadm搭建k8s集群
提示:作者部署的kubernetes版本: v1.20.15,使用的docker版本:19.03.3.最开始用的docker版本是20.3.x,最后版本不一致,退回来的. 文章目录 1 准备工作 2 ...
最新文章
- 数字图像处理:图像就是函数的解读
- API和schema开发过程问题汇总
- python3.8安装教程-二、Python2.7的安装并与Python3.8共存
- 【leetcode】500. Keyboard Row
- Java设计模式(七):适配器设计模式
- pythonoracle数据库操作_Python学习笔记4(操作oracle数据库)
- c语言消字母游戏实验报告,C语言编程实验报告格式示例
- postgresql update使用别名_PostgreSQL逻辑复制之pglogical
- .NET Core 小程序开发零基础系列(1)——开发者启用并牵手成功
- 【树莓派学习笔记】一、烧录系统、(无屏幕)配置Wifi和SSH服务
- 小猿圈python视频_小猿圈python学习-格式化打印
- K2 Blackpearl中从数据库直接删除流程实例之K2Server表
- 济宁与华为企业云战略合作携手推进云计算产业发展
- hihoCoder#1743:K-偏差排列(矩阵快速幂+状压dp)
- spring配置jackson不返回null值
- Atitit 人工智能 统计学 机器学习的相似性 一些文摘收集 没有人工智能这门功课,人工智能的本质是统计学和数学,就是通过机器对数据的识别、计算、归纳和学习,然后做出下一步判断和决策的科学
- linux下部署selenium爬虫程序
- 娱乐小工具微信小程序源码下载/支持多种流量主
- 并发编程 CAS算法
- 区块链服务BaaS的总体架构与详细设计
热门文章
- 怎样制作滴滴截图_滴滴老了吗?
- 永不丢失照片:防弹照片备份的完整指南
- linux导出硬件信息,Linux 上生成硬件信息与配置报告: Sysreport
- ExecutorService——shutdown方法和awaitTermination方法
- 每个程序员都可能犯过的10个错误
- Java并发编程-原子性变量
- 有没有一段代码,让你觉得人类的智慧也可以璀璨无比?【转】
- 《Network Warrior中文版(第2版)——思科网络工程师必备手册》一3.3 自动协商故障...
- Codevs2157 配对
- 软件性能测试与LoadRunner实战可以在网上和书店买到了