场景说明

就像 Deployment 可以自动恢复故障 Pod，通过 IPI 方式安装的 OpenShift 可以使用 MachineSet 自动恢复故障 Machine/节点。需要注意的是，这种方式只能针对通过 IPI 安装的 OpenShift 集群。

配置 Machine 健康检查

查看当前 MachineSet，并获取 MachineSet 的名称。

$ oc get machineset -n openshift-machine-api
$ MACHINESET_NAME=$(oc get machineset -n openshift-machine-api --no-headers -o custom-columns=NAME:metadata.name | grep worker)

执行命令，创建 MachineHealthCheck 对象。如果有多个 MachineSet 可以创建多个 MachineHealthCheck 。

$ cat << EOF | oc apply -f -
apiVersion: machine.openshift.io/v1beta1
kind: MachineHealthCheck
metadata:name: my-machine-health-checknamespace: openshift-machine-api
spec:selector:matchLabels:machine.openshift.io/cluster-api-machine-role: workermachine.openshift.io/cluster-api-machine-type: workermachine.openshift.io/cluster-api-machineset: ${MACHINESET_NAME}unhealthyConditions:- type: Readystatus: Unknowntimeout: 300s- type: Readystatus: 'False'timeout: 300smaxUnhealthy: 50%
EOF

验证自动修复故障节点

启动观察

分别在 2 个终端运行以下命令，持续观察集群的 Worker 节点和 Machine 的数量和状态。

$ watch oc get node -l node-role.kubernetes.io/worker
$ watch oc get machine -n openshift-machine-api -o custom-columns=NAME:metadata.name,PHASE:status.phase,STATE:status.providerStatus.instanceState,HOSTNAME:status.nodeRef.name

模拟Worker节点故障

执行命令或使用OpenShift控制台进入一个正常运行的 Worker 节点。

$ oc debug node/<WORKER-NODE-NAME>

执行以下命令，关闭该节点的 kubelet.service。执行完后访问该节点的终端将立即关闭。

# chroot /host
# sudo systemctl disable kubelet.service --now

观察节点修复过程

首先，故障 Worker 节点的状态变为 NOTReady。
然后，故障 Worker 节点的状态变为 NOTReady，SchedulingDisabled（随后该故障节点会消失）。另外，在 Machine 列表中多出一个新项，为 Provisioning 阶段（随后会进入到 Provisioned 阶段）；而对应故障节点的 Machine 变为 Deleting 阶段（随后该 Machine 会删除消失）。
随后对应新建的 Machine 的 Worker 节点会重新出现，状态将从 NOTReady 变为 Ready。最后集群中的故障 Machine 和 Worker 节点都被恢复正常。

演示视频

视频

参考

https://cluster-api.sigs.k8s.io/tasks/healthcheck.html

OpenShift - 5分钟自动替换 OpenShift 集群故障节点（附视频）相关推荐

SQLServer集群故障节点DISCONNECTED
SQLServer集群故障DISCONNECTED 1. 问题描述 2. 解决方案 3. 类似问题解决思路 4. 参考资料一次SQLSserver+AlwaysOn+WSFC辅助备份节点问题排查解决 ...
mysql集群从节点无法启动_一次galera cluster集群故障节点无法启动问题排查
现象环境: Server version: 10.0.25-MariaDB-wsrep MariaDB Server, wsrep_25.13.raf7f02e 配置文件: [root@node-2 ...
Linux企业化运维--(7)redis服务之redis配置及主从复制、主从自动切换、集群、redis+mysql、gearman实现数据同步
Linux企业化运维实验所用系统为Redhat-rhel7.6. 目录 Linux企业化运维 Linux企业化运维--(7)redis服务之redis配置及主从复制.主从自动切换.集群.redis+ ...
容器编排技术 -- Kubernetes 重新配置活动集群中节点的 Kubelet
容器编排技术 -- Kubernetes 重新配置活动集群中节点的 Kubelet 1 Before you begin 2 重新配置集群活动节点上的 Kubelet 2.1 基本工作流程概览 2.2 ...
Consul 集群单节点与多节点
Consul 集群 Docker concul 容器服务更新与发现: 简介搭建 consul 集群: 部署过程: (1)配置 consul 服务器: (2)查看集群信息: (3)通过 httpd a ...
联通大数据5000台规模集群故障自愈实践
本文转载自dbaplus社群作者介绍余澈,中国联通大数据技术部平台组核心技术负责人,项目管理高级工程师,具有多年大数据平台运维管理及开发优化经验.管理过多个上千节点集群,擅长对外多租户平台的维护开 ...
使用Kubeadm创建k8s集群之节点部署（三十二）
前言由于上次忘开申明原创,特再发一次. 本篇部署教程将讲述k8s集群的节点(master和工作节点)部署,请先按照上一篇教程完成节点的准备.本篇教程中的操作全部使用脚本完成,并且对于某些情况(比如镜 ...
redis集群添加节点报错Either the node already knows other nodes (check with CLUSTER NODES) or contains some k
[README] redis集群添加节点报错 [ERR] Node 192.168.163.202:6380 is not empty. Either the node already knows o ...
elastic集群单节点停机维护
为了elastic时时提供服务,需要elastic至少状态维持在yellow状态.所有,维护时需要依次对elastic单个节点进行维护. 操作步骤如下: 1.停止elastic的自动分配功能 curl ...

OpenShift - 5分钟自动替换 OpenShift 集群故障节点（附视频）

文章目录