Kubernetes集群二进制部署flannel

一、版本信息

名称	版本
kubernetes	1.22.5
etcd	3.5.2
docker	19.03.8
flannel	0.14.0
cni	0.8.6

CNI：容器网络接口（Container NetWork Interface）。CNI最初是由CoreOS为rkt容器引擎创建的，目前绝大部分的容器平台都采用CNI标准，已经成为事实标准。（Docker并没有采用CNI标准，而是CNM标准，即Container NetWork Model）

前提条件：通过二进制的方式，部署一个Kubernetes集群，集群部署完成（节点都加入集群，但都是NotReady状态），具体部署方式可参考之前的部署文章。

二、安装CNI

在kubelet官方配置文档中，关于cni的配置一共有三项：

--cni-bin-dir string Default: /opt/cni/bin
--cni-cache-dir string Default: /var/lib/cni/cache
--cni-conf-dir string Default: /etc/cni/net.d

从上面的配置可以看出，我们需要把CNI及其配置文件放知道特定的目录下，或者自己指定不同的目录，并配置到kubelet的启动参数中。本文采用默认配置，则不需要修改kubelet的启动参数配置。

# 1、下载cni
wget https://github.com//containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz# 2、解压缩到指定目录（kubernetes默认的cni安装路径是/opt/cni/bin，所以需要将cni解压缩到此目录）
mkdir /opt/cni/bin -p
tar xf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/# 3、将此目录复制到其余节点
for i in node01 node02;do scp -r /opt/cni/ $i:/opt/;done# 4、配置cni
cat > /etc/cni/net.d/10-flannel.conflist <<EOF
{"name": "cbr0","cniVersion": "0.3.1","plugins": [{"type": "flannel","delegate": {"hairpinMode": true,"isDefaultGateway": true}},{"type": "portmap","capabilities": {"portMappings": true}}]
}
EOF# 5、将配置文件复制到其余节点
for i in node01 node02;do scp -r /etc/cni $i:/etc/;done

三、安装flannel

# 1、下载flannel
wget https://github.com/flannel-io/flannel/releases/download/v0.14.0/flannel-v0.14.0-linux-amd64.tar.gz# 2、解压缩并把二进制flanneld放到指定位置
tar zvxf flannel-v0.17.0-linux-amd64.tar.gz
mv flanneld /usr/local/bin/# 3、把二进制flanneld复制到其余节点
for i in node01 node02;do scp /usr/local/bin/flanneld $i:/usr/local/bin/;done# 4、配置flannel
mkdir /etc/kube-flannel/
cat > /etc/kube-flannel/net-conf.json <<EOF
{"Network": "172.244.0.0/16",    # kubernetes集群子网网段，要与kubernetes子网段配置保持一致"Backend": {"Type": "vxlan","DirectRouting": true}
}
EOF# 5、将配置文件复制到其余节点
for i in node01 node02;do scp -r /etc/kube-flannel/ $i:/etc/;done

四、配置flannel的kube-config

通过kube-config使得flannel可以访问kubernetes集群

# 1、为flannel创建service account并初始化集群角色
cat <<EOF| kubectl apply -f -
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: flannel
rules:
- apiGroups: ['extensions']resources: ['podsecuritypolicies']verbs: ['use']resourceNames: ['psp.flannel.unprivileged']
- apiGroups:- ""resources:- podsverbs:- get
- apiGroups:- ""resources:- nodesverbs:- list- watch
- apiGroups:- ""resources:- nodes/statusverbs:- patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: flannel
roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: flannel
subjects:
- kind: ServiceAccountname: flannelnamespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:name: flannelnamespace: kube-system
EOF# 2、生成kube-config
mkdir /opt/flannel
cd /opt/flannel
KUBE_APISERVER="https://172.16.166.87:6443"      # 修改为自己集群的kube-apiserver地址
KUBE_ROOT_CA_FILE="/opt/kubernetes/ssl/ca.pem"   # 修改为自己集群的根证书地址kubectl config set-cluster kubernetes \
--kubeconfig=flannel.conf \
--embed-certs \
--server=${KUBE_APISERVER} \
--certificate-authority=${KUBE_ROOT_CA_FILE}kubectl config set-credentials flannel \
--kubeconfig=flannel.conf \
--token=$(kubectl get sa -n kube-system flannel -o jsonpath={.secrets[0].name} | xargs kubectl get secret -n kube-system  -o jsonpath={.data.token} | base64 -d)kubectl config set-context kubernetes \
--kubeconfig=flannel.conf \
--user=flannel \
--cluster=kuberneteskubectl config use-context kubernetes \
--kubeconfig=flannel.conf# 3、将该证书复制到其余节点
for i in node01 node02;do scp -r /opt/flannel/ $i:/opt/;done

五、通过systemd管理flannel并启动

# 1、生成systemd管理flannel的文件
cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service[Service]
Type=notify
Environment=NODE_NAME=master01             # 此处修改为当前节点的hostname，并保持与kubelet配置中的hostname-override配置的名称一致，否则会报节点NotFound的错误
ExecStart=/usr/local/bin/flanneld \\--iface=enp5s0 \\                        # 此处修改为当前节点的物理网卡名称--ip-masq \\--kube-subnet-mgr=true \\--kubeconfig-file=/opt/flannel/flannel.confRestart=always
RestartSec=5
StartLimitInterval=0[Install]
WantedBy=multi-user.target
EOF# 2、将该文件复制到其余节点
for i in node01 node02;do scp /usr/lib/systemd/system/flanneld.service $i:/usr/lib/systemd/system/;done# 3、所有节点启动flannel
systemctl daemon-reload
systemctl start flanneld
systemctl status flanneld
systemctl enable flanneld# 4、所有节点重启kubelet，此处注意
systemctl restart kubelet# 5、所有节点启动成功后，都会在各个节点的/run/flannel/目录下生成一个subnet.env的文件，里面记录了当前节点的子网段信息，具体相关信息可以查看之前关于网络的一篇文章
cat /run/flannel/subnet.env
FLANNEL_NETWORK=172.244.0.0/16
FLANNEL_SUBNET=172.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

此时查看节点状态，发现节点已经是Ready状态，证明flannel安装成功。通过此次安装，可以了解到这种设计的思想，即通过服务接口加grpc访问的方式，实现不同网络插件和kubernetes的解耦，达到了网络插件的可插拔目标。这种思想kubernetes同样使用在了cri（容器运行时接口），后续会再了解cri的相关实现。

参考文章连接：https://soulchild.cn/2509.html