1. kubeadm

官网：https://kubernetes.io/zh-cn/docs/reference/setup-tools/kubeadm/

为了简化 Kubernetes 的部署工作，社区里就出现了一个专门用来在集群中安装 Kubernetes 的工具，名字就叫 kubeadm，意思就是 Kubernetes 管理员。

kubeadm，原理和 minikube 类似，也是用容器和镜像来封装 Kubernetes 的各种组件，但它的目标不是单机部署，而是要能够轻松地在集群环境里部署 Kubernetes，并且让这个集群接近甚至达到生产级质量。

2. 集群架构

图里一共有 3 台主机，下面我来详细说明一下：

所谓的多节点集群，要求服务器应该有两台或者更多，为了简化我们只取最小值，所以这个 Kubernetes 集群就只有两台主机，一台是 Master 节点（管理整个集群），另一台是 Worker 节点（没有管理工作，只运行业务应用）。当然，在完全掌握了 kubeadm 的用法之后，你可以在这个集群里添加更多的节点。

基于模拟生产环境的考虑，在 Kubernetes 集群之外还需要有一台起辅助作用的服务器。它的名字叫 Console，意思是控制台，我们要在上面安装命令行工具 kubectl，所有对 Kubernetes 集群的管理命令都是从这台主机发出去的。这也比较符合实际情况，因为安全的原因，集群里的主机部署好之后应该尽量少直接登录上去操作。要提醒你的是，Console 这台主机只是逻辑上的概念，不一定要是独立，你在实际安装部署的时候完全可以复用之前 minikube 的虚拟机，或者直接使用 Master/Worker 节点作为控制台。

3. 准备工作

因为 Kubernetes 对系统有一些特殊要求，我们必须还要在 Master 和 Worker 节点上做一些准备。

3.1 修改主机名

由于 Kubernetes 使用主机名来区分集群里的节点，所以每个节点的 hostname 必须不能重名。你需要修改 /etc/hostname这个文件，把它改成容易辨识的名字，比如 Master 节点就叫 master，Worker 节点就叫 worker：

sudo vi /etc/hostname

本次实验环境中：

Master 主机名为 test6
Worker 主机名为 dev-pc

3.2 安装 Docker

虽然 Kubernetes 目前支持多种容器运行时，但 Docker 还是最方便最易用的一种，所以我们仍然继续使用 Docker 作为 Kubernetes 的底层支持，使用 apt 安装 Docker Engine。

安装完成后需要你再对 Docker 的配置做一点修改，在“/etc/docker/daemon.json”里把 cgroup 的驱动程序改成 systemd ，然后重启 Docker 的守护进程，具体的操作我列在了下面：


cat <<EOF | sudo tee /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"storage-driver": "overlay2"
}
EOFsudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker

3.3 修改网络设置

为了让 Kubernetes 能够检查、转发网络流量，你需要修改 iptables 的配置，启用 br_netfilter模块：


cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOFcat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward=1 # better than modify /etc/sysctl.conf
EOFsudo sysctl --system

3.4 修改交换分区

需要修改 /etc/fstab，关闭 Linux 的 swap 分区，提升 Kubernetes 的性能：


sudo swapoff -a
sudo sed -ri '/\sswap\s/s/^#?/#/' /etc/fstab

最后重启系统。

4. 安装 kubeadm

安装 kubeadm 时需要在 Master 节点和 Worker 节点上都做这一步。

kubeadm 可以直接从 Google 自己的软件仓库下载安装，但国内的网络不稳定，很难下载成功，需要改用其他的软件源，这里我选择了国内的某云厂商：


sudo apt install -y apt-transport-https ca-certificates curlcurl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOFsudo apt update

apt 默认会下载最新版本，但我们也可以指定版本号，比如使用和 minikube 相同的“1.23.3”：


sudo apt install -y kubeadm=1.23.3-00 kubelet=1.23.3-00 kubectl=1.23.3-00

安装完成之后，你可以用 kubeadm version、kubectl version 来验证版本是否正确：

test6@test6:~$ kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.3", GitCommit:"816c97ab8cff8a1c72eccca1026f7820e93e0d25", GitTreeState:"clean", BuildDate:"2022-01-25T21:24:08Z", GoVersion:"go1.17.6", Compiler:"gc", Platform:"linux/amd64"}
test6@test6:~$ kubectl version --short
Client Version: v1.23.3

另外按照 Kubernetes 官网的要求，我们最好再使用命令 apt-mark hold ，锁定这三个软件的版本，避免意外升级导致版本错误：


sudo apt-mark hold kubeadm kubelet kubectl

5. 下载 Kubernetes 组件镜像

前面我说过，kubeadm 把 apiserver、etcd、scheduler 等组件都打包成了镜像，以容器的方式启动 Kubernetes，但这些镜像不是放在 Docker Hub 上，而是放在 Google 自己的镜像仓库网站 gcr.io，而它在国内的访问很困难，直接拉取镜像几乎是不可能的。

使用命令 kubeadm config images list 可以查看安装 Kubernetes 所需的镜像列表，参数 --kubernetes-version 可以指定版本号：

$ kubeadm config images list --kubernetes-version v1.23.3
k8s.gcr.io/kube-apiserver:v1.23.3
k8s.gcr.io/kube-controller-manager:v1.23.3
k8s.gcr.io/kube-scheduler:v1.23.3
k8s.gcr.io/kube-proxy:v1.23.3
k8s.gcr.io/pause:3.6
k8s.gcr.io/etcd:3.5.1-0
k8s.gcr.io/coredns/coredns:v1.8.6

利用 minikube。因为 minikube 本身也打包了 Kubernetes 的组件镜像，所以完全可以从它的节点里把这些镜像导出之后再拷贝过来。

具体做法也很简单，先启动 minikube，然后 minikube ssh 登录进虚拟节点，用 docker save -o 命令把相应版本的镜像都保存下来，再用 minikube cp 拷贝到本地。

6. 安装 Master 节点

kubeadm 的用法非常简单，只需要一个命令 kubeadm init 就可以把组件在 Master 节点上运行起来，不过它还有很多参数用来调整集群的配置。

sudo kubeadm init \
--apiserver-advertise-address=172.16.19.134 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.3 \
--pod-network-cidr=10.10.0.0/16

参数含义：

--pod-network-cidr，设置集群里 Pod 的 IP 地址段。
--apiserver-advertise-address，设置 apiserver 的 IP 地址，也就是 Master 机器的 IP地址。
--kubernetes-version，指定 Kubernetes 的版本号。
--image-repository，指定镜像源，有了这个参数就可以省掉第 5 步下载组件镜像的过程。

kubeadm init时指定的 apiserver的 ip需要是自己环境上 master节点的 ip地址，如果指定错误，可通过sudo kubeadm reset重置。

执行结果如下：

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

按照上面提示执行相关命令即可。

# 初始话失败再重新尝试需要清空环境
#重置
sudo kubeadm reset
#干掉kubelet进程
ps -ef|grep kubelet
sudo kill -9 进程id
#删掉配置目录
sudo rm -rf  /etc/kubernetes/manifests/

另外还有一个很重要的 kubeadm join提示，其他节点要加入集群必须要用指令里的 token 和 ca 证书，所以这条命令务必拷贝后保存好：

Then you can join any number of worker nodes by running the following on each as root:kubeadm join 172.16.19.134:6443 --token h8dabp.4o6nlvw4h51p2uu3 \--discovery-token-ca-cert-hash sha256:b92bfc46494e236b5287ffb5be88ed0580de54abaa28873e116374805e118b6d

检查版本和集群节点状态

test6@test6:~$ kubectl version --short
Client Version: v1.23.3
Server Version: v1.23.3test6@test6:~$ kubectl get node
NAME    STATUS     ROLES                  AGE   VERSION
test6   NotReady   control-plane,master   11m   v1.23.3
test6@test6:~$

你会注意到 Master 节点的状态是 NotReady，这是由于还缺少网络插件，集群的内部网络还没有正常运作。

7. 安装 Flannel 网络插件

Kubernetes 定义了 CNI 标准，有很多网络插件，这里我选择最常用的 Flannel，可以在它的仓库里（https://github.com/flannel-io/flannel/）找到相关文档。

 wget https://raw.githubusercontent.com/flannel-io/flannel/v0.20.2/Documentation/kube-flannel.yml

需要修改文件里的“net-conf.json”字段，把 Network 改成刚才 kubeadm 的参数 --pod-network-cidr 设置的地址段。

net-conf.json: |{"Network": "10.10.0.0/16","Backend": {"Type": "vxlan"}}

然后执行下面命令来安装 Flannel 网络。


kubectl apply -f kube-flannel.yml

稍等一小会，可以执行 kubectl get node 来看节点状态：

$ kubectl get node
NAME    STATUS   ROLES                  AGE   VERSION
test6   Ready    control-plane,master   28m   v1.23.3

这时你应该能够看到 Master 节点的状态是 Ready，表明节点网络也工作正常了。

8. 安装 Worker 节点

Worker 节点的安装就简单多了，只需要用之前拷贝的那条 kubeadm join 命令就可以了，记得要用 sudo 来执行：

sudo \
kubeadm join 172.16.19.134:6443 --token h8dabp.4o6nlvw4h51p2uu3      \
--discovery-token-ca-cert-hash sha256:b92bfc46494e236b5287ffb5be88ed0580de54abaa28873e116374805e118b6d

这里面的 token 默认有效期为 24 小时，如果忘记或者超时了可以执行 kubeadm token create --print-join-command创建一个新的 token。

Worker 节点安装完毕后，在 Master 机器执行 kubectl get node ，就会看到两个节点都是Ready状态：

$ kubectl get node
NAME     STATUS   ROLES                  AGE    VERSION
dev-pc   Ready    <none>                 70s    v1.23.3
test6    Ready    control-plane,master   133m   v1.23.3

在 Master 机器执行以下命令，查看是否正常。


kubectl run ngx --image=nginx:alpine
kubectl get pod -o wide

执行结果：

$ kubectl run ngx --image=nginx:alpine
pod/ngx created
test6@test6:~/k8s$ kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP          NODE     NOMINATED NODE   READINESS GATES
ngx    1/1     Running   0          16s   10.10.1.2   dev-pc   <none>           <none>

会看到 Pod 运行在 Worker 节点(dev-pc)上，IP 地址是“10.10.1.2”，表明我们的 Kubernetes 集群部署成功。

9. 部署 Console 节点

Console 节点的部署工作更加简单，它只需要安装一个 kubectl，

# 下载：
curl -LO https://dl.k8s.io/release/v1.23.3/bin/linux/amd64/kubectl# 安装
sudo install kubectl /usr/local/bin/kubectl#
mkdir -p $HOME/.kube

然后复制 config文件就行，可以直接在 Master 节点上用 scp远程拷贝，其中 test@192.168.0.54 为 console 机器的地址。

scp ~/.kube/config test@192.168.0.54:~/.kube/

然后在 Console 机器测试下，

$ kubectl get nodes
NAME     STATUS   ROLES                  AGE    VERSION
dev-pc   Ready    <none>                 41m    v1.23.3
test6    Ready    control-plane,master   173m   v1.23.3
$ kubectl version --short
Client Version: v1.23.3
Server Version: v1.23.3

至此，kubeadm的 master + worker + console 的环境搭建完成了。

Console 就是一个向 Kubernetes集群发送命令的“控制台”，理论上是与 Kubernetes无关的，只要安装了 kubectl和相应的 config，能够与 Kubernetes集群通信就可以了。任何有 kubectl的计算机都可以作为 console，所以 Kubernetes集群里的 master、node节点，只要有 kubectl，就可以认为是console。它是一个逻辑角色，可以和已有的机器重合。

注意 kubectl和 Kubernetes集群其实是彼此独立的，不能想当然认为 Kubernetes集群节点上一定可以用kubectl，可以再看一下集群的网络结构图。

Kubernetes 笔记（06）— 搭建多节点集群、kubeadm 安装 master/worker/console/flannel 网络插件相关推荐

SpringCloud 使用Docker搭建Consul节点集群
一.Docker 环境Consul 集群搭建 1,准备工作,为后面要创建的容器准备consul数据卷我们在linux 主机上任意一个目录下创建三个不同的目录,为后面创建容器时创建不同的数据容器卷使用 ...
hadoop 多节点集群_设置Apache Hadoop多节点集群
hadoop 多节点集群我们正在分享有关在基于Linux的机器(多节点)上安装Apache Hadoop的经验. 在这里,我们还将分享我们在各种故障排除方面的经验,并在将来进行更新. 用户创建和其他 ...
设置Apache Hadoop多节点集群
我们正在分享有关在基于Linux的机器(多节点)上安装Apache Hadoop的经验. 在这里,我们还将分享我们在各种故障排除方面的经验,并在将来进行更新. 用户创建和其他配置步骤– 我们首先在每个 ...
kubeadm安装K8S单master双节点集群
宿主机: master:172.16.40.97 node1:172.16.40.98 node2:172.16.40.99 # 一.k8s初始化环境:(三台宿主机) 关闭防火墙和selinux sy ...
kubernetes使用flannel网络插件服务状态显示CrashLoopBackOff
使用Kubeadm安装K8s集群,在安装flannel网络插件后,发现pod: kube-flannel-ds 一直是CrashLoopBackOff 报错内容如下: log is DEPRECATE ...
搭建Kubernetes多节点集群
文章目录 1. 实验环境 2. 系统网络配置 3. 修改节点Hostname 4. 关闭防火墙.SeLinux.Swap分区 5. 设置docker和k8s的yum源 5.1 docker源的配置 5 ...
docker-compose 搭建 nats-streaming 3节点集群
nats-streaming-cluster Nats-Streaming Cluster By Docker Compose Nats-Streaming Cluster By Kubernetes ...
【Docker系列】Docker Swarm 多节点集群
三节点集群搭建创建3节点swarm cluster的方法 https://labs.play-with-docker.com/ play with docker 网站, 优点是快速方便,缺点是环境不 ...
简单了解一下Kubernetes，并搭建自己的集群
这篇博客的本意是带大家从零开始搭建Kubernetes集群的.但是我后面一想,如果是我看了这篇文章,会收获什么?就是跟着步骤一步一走吗?是我的话我会选择拒绝,所以我加了关于Kubernetes的简单介 ...

Kubernetes 笔记（06）— 搭建多节点集群、kubeadm 安装 master/worker/console/flannel 网络插件