1 常见的k8s部署方式

• Minikube
  • Minikube是一个工具,可以在本地快速运行一个单节点微型K8S,仅用于学习、预览k8s的一些特性使用。
  • 部署地址:I https://kubernetes.io/docs/setup/minikube
• Kubeadmin
  • Kubeadmin也是一个工具,提供kubeadm init和kubeadm join,用于快速部署K8S集群,相对简单。
  • 使用kubadmin 安装的k8s，其证书有效期只有1年。而k8s组件之间的通信都需要证书。如果证书过期，则k8s集群瘫痪
  • https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
• 二进制安装部署
  • 生产首选,从官方下载发行版的二进制包,手动部署每个组件和**自签TLS证书,**组成k8S集群,新手推荐。
  • https://github.com/kubernetes/kubernetes/releases

小结: Kubeadm降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可控,推荐使用二进制包部署kubernetes集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护。

2 环境准备

2.1 拓扑

角色	ip	服务
k8s集群master01	192.168.23.103	kube-apiserver;kube-controller-manager; kube-scheduler;etcd
k8s集群master02	192.168.23.10
k8s集群node01	192.168.23.104	kubelet; kube-proxy;docker;flannel
k8s集群node02	192.168.23.105
etc集群节点1	192.168.23.103	etcd
etc集群节点2	192.168.23.104
etc集群节点3	192.168.23.105
负载均衡Nginx+keepalived01(master)	192.168.23.11
负载均衡Nginx+keepalived02(backup)	192.168.23.12
VIP	192.168.23.18

2.2 所有主机关闭防火墙,selinux,swap

#关闭所有主机的firewalld防火墙和开机自启
systemctl disable  firewalld --now
systemctl status firewalld#设置selinux为宽松模式，并且下次开机后禁用selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config #关闭swap交互空间，并且取消开机自动挂载
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

2.3 所有主机配置主机名，并再maser上做主机映射

#所有主机修改主机名
hostnamectl  set-hostname master01
hostnamectl  set-hostname node01
hostnamectl  set-hostname node02#在master01主机上配置主机名映射
[root@master01 ~]# cat >> /etc/hosts <<EOF
192.168.23.103 master01
192.168.23.104 node01
192.168.23.105 node02
EOF#ping主机名测试
[root@master01 ~]# ping master01
[root@master01 ~]# ping node01
[root@master01 ~]# ping node02

2.4 所有主机将桥接的IPV4流量传递到 iptables的链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOFsysctl --system

2.5 所有主机配置时间同步

 #所有主机配置时间同步yum -y install ntpdatentpdate time.windows.com

3 部署etcd集群

3.1 etcd简述

3.1.1 什么是etcd

etcd是Coreos团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法, etcd是go语言编写的。

3.1.2 etcd的特点

etcd作为服务发现系统,有以下的特点:

• 简单:安装配置简单,而且提供了HTTP API进行交互,使用也很简单
• 安全:支持SSL证书验证
• 快速:单实例支持每秒2k+读操作
• 可靠:采用raft算法,实现分布式系统数据的可用性和一致性

3.1.3 etcd的端口和部署要求

etcd 的端口：

• etcd目前默认使用2379端口提供HTTP API服务,
• 2380端口和peer通信
• 这两个端口已经被IANA (互联网数字分配机构)官方预留给etcd 。即etcd默认使用2379端口对外为客户端提供通讯,使用端口2380来进行服务器间内部通讯。

部署要求：

• etcd在生产环境中一般推荐集群方式部署。
• 由于etcd的leader选举机制,要求至少为3台或以上的奇数台。

3.2 准备签发证书环境

• 准备签发证书环境CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CESSL包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的 HTTP API服务。使用Go语言编写。
• CFSSL使用配置文件生成证书,因此自签之前,需要生成它识别的 json格式的配置文件, CFSSL提供了方便的命令行生成配置文件。
• CFSSL用来为etcd提供TLS证书,它支持签三种类型的证书:
  1. client证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如kube-apiserver访问etcd;
  2. server证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如etcd对外提供服务;
  3. peer证书,相互之间连接时使用的证书,如etcd节点之间进行验证和通信。

这里实验环境全部都使用同一套证书认证。

3.2.1 在master01上，下载证书制作工具，授予执行权限

#在 master01 上下载制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo#授予执行权限
chmod +x /usr/local/bin/cfssl*

cfssl是一个开源的证书管理工具，使用json文件生成证书，比openssl更加方便

cfss1:证书签发的工具命令

cfssljson:将cfss1生成的证书(json格式)变为文件承载式证书

cfssl-certinfo:验证证书的信息

cfssl-certinfo -cert <证书名称> #看证书的信息

3.2.2 创建k8s工作目录，上传脚本文件到目录，创建生成证书的目录,生成证书

#创建k8s工作目录
[root@master01 opt]# mkdir /opt/k8s
[root@master01 opt]# cd /opt/k8s/#上传etcd-cert.sh 和 etcd.sh 到/opt/k8s目录
[root@master01 k8s]# ls etcd-cert.sh etcd.sh
etcd-cert.sh  etcd.sh#添加x 权限
[root@master01 k8s]# chmod  +x  etcd-cert.sh etcd.sh#创建用于生成CA证书,etcd服务器证书及私钥的目录
[root@master01 k8s]# mkdir /opt/k8s/etcd-cert
[root@master01 k8s]# mv etcd-cert.sh  etcd-cert
[root@master01 k8s]# cd /opt/k8s/etcd-cert/

#注意，看一下脚本，把ip改为自己的
[root@master01 etcd-cert]# vim etcd-cert.sh
#!/bin/bash
#配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{"signing": {"default": {"expiry": "87600h"},"profiles": {"www": {"expiry": "87600h","usages": ["signing","key encipherment","server auth","client auth"]}}}
}
EOF#ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；
#后续在签名证书时会使用某个 profile；此实例只有一个 www 模板。
#expiry：指定了证书的有效期，87600h 为10年，如果用默认值一年的话，证书到期后集群会立即宕掉
#signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
#key encipherment：表示使用非对称密钥加密，如 RSA 加密；
#server auth：表示client可以用该 CA 对 server 提供的证书进行验证；
#client auth：表示server可以用该 CA 对 client 提供的证书进行验证；
#注意标点符号，最后一个字段一般是没有逗号的。#-----------------------
#生成CA证书和私钥（根证书和私钥）
#特别说明： cfssl和openssl有一些区别，openssl需要先生成私钥，然后用私钥生成请求文件，最后生成签名的证书和私钥等，但是cfssl可以直接得到请求文件。
cat > ca-csr.json <<EOF
{"CN": "etcd","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "Beijing","ST": "Beijing"}]
}
EOF#CN：Common Name，浏览器使用该字段验证网站或机构是否合法，一般写的是域名
#key：指定了加密算法，一般使用rsa（size：2048）
#C：Country，国家
#ST：State，州，省
#L：Locality，地区,城市
#O: Organization Name，组织名称，公司名称
#OU: Organization Unit Name，组织单位名称，公司部门cfssl gencert -initca ca-csr.json | cfssljson -bare ca#生成的文件：
#ca-key.pem：根证书私钥
#ca.pem：根证书
#ca.csr：根证书签发请求文件#cfssl gencert -initca <CSRJSON>：使用 CSRJSON 文件生成生成新的证书和私钥。如果不添加管道符号，会直接把所有证书内容输出到屏幕。
#注意：CSRJSON 文件用的是相对路径，所以 cfssl 的时候需要 csr 文件的路径下执行，也可以指定为绝对路径。
#cfssljson 将 cfssl 生成的证书（json格式）变为文件承载式证书，-bare 用于命名生成的证书文件。#-----------------------
#生成 etcd 服务器证书和私钥
cat > server-csr.json <<EOF
{"CN": "etcd","hosts": ["192.168.23.103","192.168.23.104","192.168.23.105"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "BeiJing","ST": "BeiJing"}]
}
EOF#hosts：将所有 etcd 集群节点添加到 host 列表，需要指定所有 etcd 集群的节点 ip 或主机名不能使用网段，新增 etcd 服务器需要重新签发证书。cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server#生成的文件：
#server.csr：服务器的证书请求文件
#server-key.pem：服务器的私钥
#server.pem：服务器的数字签名证书#-config：引用证书生成策略文件 ca-config.json
#-profile：指定证书生成策略文件中的的使用场景，比如 ca-config.json 中的 www

#执行脚本，生成CA证书，etcd服务器证书以及私钥
[root@master01 etcd-cert]# ./etcd-cert.sh[root@master01 etcd-cert]# ls
ca-config.json  ca-csr.json  ca.pem        server.csr       server-key.pem
ca.csr          ca-key.pem   etcd-cert.sh  server-csr.json  server.pe

3.3 启动etcd服务

3.3.1上传etcd-v3.3.10到/opt/k8s/目录中，解压

#etcd 二进制包地址： https://github.com/etcd-io/etcd/release#上传etcd-v3.3.10 包到/opt/k8s目录中，解压
[root@master01 k8s]# ls etcd-v3.3.10-linux-amd64.tar.gz
etcd-v3.3.10-linux-amd64.tar.gz[root@master01 k8s]# tar xf etcd-v3.3.10-linux-amd64.tar.gz[root@master01 k8s]# ls etcd-v3.3.10-linux-amd64
Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md

etcd 就是etcd 服务的启动命令，后面可以跟各种启动参数

etcdctl 主要为etcd服务提供了命令行操作

3.3.2 创建用于存放etcd 配置文件，命令文件，证书目录

[root@master01 k8s]# mkdir -p /opt/etcd/{cfg,bin,ssl}
[root@master01 k8s]# mv  /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
[root@master01 k8s]# cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/[root@master01 k8s]# ls -R /opt/etcd/bin/ /opt/etcd/ssl/
/opt/etcd/bin/:
etcd  etcdctl/opt/etcd/ssl/:
ca-key.pem  ca.pem  server-key.pem  server.pem

[root@master01 k8s]# pwd
/opt/k8s
[root@master01 k8s]# ls etcd.sh
etcd.sh

[root@master01 k8s]# vim etcd.sh
#!/bin/bash
# example: ./etcd.sh etcd01 192.168.80.10 etcd02=https://192.168.80.11:2380,etcd03=https://192.168.80.12:2380#创建etcd配置文件/opt/etcd/cfg/etcd
ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3WORK_DIR=/opt/etcdcat > $WORK_DIR/cfg/etcd  <<EOF
#[Member]
ETCD_NAME="${ETCD_NAME}"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF#Member:成员配置
#ETCD_NAME：节点名称，集群中唯一。成员名字，集群中必须具备唯一性，如etcd01
#ETCD_DATA_DIR：数据目录。指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定-wal-dir，还会存储WAL文件；如果不指定会用缺省目录
#ETCD_LISTEN_PEER_URLS：集群通信监听地址。用于监听其他member发送信息的地址。ip为全0代表监听本机所有接口
#ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址。用于监听etcd客户发送信息的地址。ip为全0代表监听本机所有接口#Clustering：集群配置
#ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址。其他member使用，其他member通过该地址与本member交互信息。一定要保证从其他member能可访问该地址。静态配置方式下，该参数的value一定要同时在--initial-cluster参数中存在
#ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址。etcd客户端使用，客户端通过该地址与本member交互信息。一定要保证从客户侧能可访问该地址
#ETCD_INITIAL_CLUSTER：集群节点地址。本member使用。描述集群中所有节点的信息，本member根据此信息去联系其他member
#ETCD_INITIAL_CLUSTER_TOKEN：集群Token。用于区分不同集群。本地如有多个集群要设为不同
#ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群。#创建etcd.service服务管理文件
cat > /usr/lib/systemd/system/etcd.service <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target[Service]
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd
ExecStart=${WORK_DIR}/bin/etcd \
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \
--key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF#--listen-client-urls：用于指定etcd和客户端的连接端口
#--advertise-client-urls：用于指定etcd服务器之间通讯的端口，etcd有要求，如果--listen-client-urls被设置了，那么就必须同时设置--advertise-client-urls，所以即使设置和默认相同，也必须显式设置
#--peer开头的配置项用于指定集群内部TLS相关证书（peer 证书），这里全部都使用同一套证书认证
#不带--peer开头的的参数是指定 etcd 服务器TLS相关证书（server 证书），这里全部都使用同一套证书认证systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd

[root@master01 k8s]# ./etcd.sh  etcd01 192.168.23.103 etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380#新开一个终端查看
[root@master01 k8s]# ps -ef | grep etcd

3.3.3 将etcd相关的证书文件和命令文件拷贝到另外两个节点

[root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.104:/opt/
[root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.105:/opt/#node1修改etcd文件
[root@node01 cfg]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.23.104:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.23.104:2379"#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.104:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.104:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"#node2修改etcd文件
[root@node02 ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.23.105:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.23.105:2379"#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.105:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.105:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

3.3.4把etcd服务管理文件拷贝到另外两个集群节点

[root@master01 k8s]# cd /usr/lib/systemd/system/
[root@master01 system]# ls etcd.service
etcd.service
[root@master01 system]# pwd
/usr/lib/systemd/system
[root@master01 system]# scp etcd.service 192.168.23.104:`pwd`
[root@master01 system]# scp etcd.service 192.168.23.105:`pwd`

3.3.5 在所有etcd节点上启动etcd服务

[root@master01 k8s]# systemctl  restart etcd
[root@master01 k8s]# systemctl  enable etcd
[root@master01 k8s]# systemctl  status etcd[root@node01 cfg]# systemctl  daemon-reload
[root@node01 cfg]# systemctl  start etcd
[root@node01 cfg]# systemctl  enable etcd
[root@node01 cfg]# systemctl  status etcd[root@node02 ~]# systemctl  daemon-reload
[root@node02 ~]# systemctl restart etcd
[root@node02 ~]# systemctl  enable etcd.service
[root@node02 ~]# systemctl  status etcd

3.4 在master01上检查集群状态

3.4.1 查看集群状态

[root@master01 k8s]# cd /opt/etcd/ssl/
[root@master01 ssl]# /opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
cluster-health

–cert-file:识别HTTPS端使用ssL证书文件

–key-file:使用此ssL密钥文件标识HTTPS客户端

–ca-file:使用此CA证书验证启用https的服务器的证书

**–endpoints:**集群中以逗号分隔的机器地址列表cluster-health:检查etcd集群的运行状况

3.4.2 切换版本与查看集群节点状态，成员列表

切换到etcd3版本查看集群节点状态和成员列表
默认3.3etcd使用的是v2, 3.4的etcd默认使用的是v3版本。
v2和v3是命令不同。etcd2和etcd3也是不兼容的。默认使用etcd2

#切换到使用版本3
[root@master01 k8s]# export ETCDCTL_API=3
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=3
#版本3的查看 etcd版本的命令（v2使用则会报错）
[root@master01 k8s]# /opt/etcd/bin/etcdctl  version
etcdctl version: 3.3.10
API version: 3.3#使用版本2
[root@master01 k8s]# export ETCDCTL_API=2
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=2
#版本2使用版本3的查看etcd版本的命令则会报错
[root@master01 k8s]# /opt/etcd/bin/etcdctl  version
No help topic for 'version'
#版本2的查看版本信息的命令
[root@master01 k8s]# /opt/etcd/bin/etcdctl  -v
etcdctl version: 3.3.10
API version: 2#临时使用版本3去执行命令，执行完毕会回到当前版本
[root@master01 k8s]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl  version
etcdctl version: 3.3.10
API version: 3.3
#当前版本为版本2
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=2#临时使用版本3环境，查看端点信息
[root@master01 ssl]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --write-out=table endpoint status
+----------------+------------------+---------+---------+-----------+-----------+------------+
|    ENDPOINT    |        ID        | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT INDEX |
+----------------+------------------+---------+---------+-----------+-----------+------------+
| 127.0.0.1:2379 | 26a98cce76a3a470 |  3.3.10 |   20 kB |      true |      1729 |         24 |
+----------------+------------------+---------+---------+-----------+-----------+------------+#临时使用版本3环境，查看成员列表
[root@master01 ssl]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --write-out=table member list
+------------------+---------+--------+-----------------------------+-----------------------------+
|        ID        | STATUS  |  NAME  |         PEER ADDRS          |        CLIENT ADDRS         |
+------------------+---------+--------+-----------------------------+-----------------------------+
|  71ab4d4ee785a5e | started | etcd03 | https://192.168.23.105:2380 | https://192.168.23.105:2379 |
| 26a98cce76a3a470 | started | etcd01 | https://192.168.23.103:2380 | https://192.168.23.103:2379 |
| c6880eee6e195aa6 | started | etcd02 | https://192.168.23.104:2380 | https://192.168.23.104:2379 |
+------------------+---------+--------+-----------------------------+-----------------------------+
[root@master01 ssl]#

4 给所有node节点安装docker引擎

#所有node几点都需要安装docker引擎。安装docker引擎需要使用在线源
[root@master01 ssl]# cd /etc/yum.repos.d/
[root@master01 yum.repos.d]# ls
bak  local.repo
[root@master01 yum.repos.d]# mv bak/* .
[root@master01 yum.repos.d]# ls
bak               CentOS-CR.repo         CentOS-fasttrack.repo  CentOS-Sources.repo  local.repo
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo      CentOS-Vault.repo[root@master01 yum.repos.d]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@master01 yum.repos.d]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@master01 yum.repos.d]#yum install -y docker-ce docker-ce-cli containerd.io#所有node节点启动docker
[root@master01 yum.repos.d]# systemctl  enable docker.service  --now
[root@master01 yum.repos.d]# systemctl is-active docker
active

5 在 master01 上配置flannel 网络

5.1 k8s中pod的网络通信

Pod 内容器与容器之间的通信
在同一个 Pod 内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。

同一个Node内Pod之间的通信
每个Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。

不同 Node 上Pod 之间的通信
Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。

因此要满足两个条件

• Pod 的 IP 不能冲突
• 将 Pod 的 IP 和所在的 Node的IP关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。

5.2 Overlay Network 和 Vxlan

Overlay Network:
叠加网络，在一层或者三层基础网络上叠加的一种虚拟网络技术模式， 该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。

VXLAN:
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。

5.3 flannel的工作原理

5.3.1 Flannel

• Flannel 是一款网络插件CNI其中有（flannel、calico等），Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址，在K8s中实现跨主机pod相互间通信。
• Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、host-GW（静态路由）3种数据转发方式。

5.3.2 flannel 工作原理

1. 数据从源node节点的pod发出后，会经由docker0 网卡 转发到flannel 网卡
2. 在flannel 网卡有个flanneld服务，其监听flannel网卡。会把这个 数据包封装到UDP报文中
3. 然后根据自己在etcd中维护的路由表，通过物理网卡转发到目标node节点。
4. 数据包到达目标node节点后，会被flanneld服务解封装
5. 之后数据包经由flannel网卡和 docker0网卡，转发到目标pod的容器

5.3.3 etcd 在flannel 提供

• 存储管理Flannel可分配的IP地址段资源

• 监控 ETCD 中每个 Pod 节点对应node节点的路由表，并在内存中建立维护 Pod 节点路由表

5.4在etcd服务器上，添加 flannel网络配置信息

#添加flannel 网络配置信息，写入分配的子网段到etcd 中，供flannel使用
[root@master01 yum.repos.d]# cd  /opt/etcd/ssl/
[root@master01 ssl]# /opt/etcd/bin/etcdctl  \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
-------------------------------------------------
#命令释义：
#使用etcdctl命令，借助ca证书，目标端点（endpoints）为三个ETCD节点IP，端口为2379
#set /coreos.com/network/config 设置网段信息，格式为 set <key> <value>,设置键值对
#"Network": "172.17.0.0/16"  设置docker0网段，此网段必须是集合网段（B类地址），而Pod分配的资源必须在此网段中的子网段（C类地址）
#"Backend": {"Type": "vxlan"}}  设置flannel使用类型是VXLAN
---------------------------------------------------------------------#查看写入信息
[root@master01 ssl]# /opt/etcd/bin/etcdctl  \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
get /coreos.com/network/config

5.5 在所有node节点上创建k8s工作目录，启动flanneld服务，开启网络功能

#这里操作要在所有的node节点上操作#上传flannel.sh  和  flannel-v0.10.0-linux.amd64.tar.gz 到/opt目录中
[root@node01 ~]# cd /opt/
[root@node011 opt]# ls flannel-v0.10.0-linux-amd64.tar.gz  flannel.sh
flannel.sh  flannel-v0.10.0-linux-amd64.tar.gz[root@node01 opt]# ls flanneld mk-docker-opts.sh  README.md
flanneld  mk-docker-opts.sh  README.md
#flanneld 为主要的执行文件，mk-docker-opts.sh 脚本主要用于生成Docker 启动参数#创建kubernetes的工作目录
[root@node01 opt]# mkdir -p /opt/kubernetes/{cfg,bin,ssl}[root@node01 opt]# mv /opt/mk-docker-opts.sh /opt/flanneld /opt/kubernetes/bin/#所有node节点启动flanneld服务，开启flannel网络功能
[root@node01 opt]# cd /opt/

[root@node01 opt]# vim flannel.s
#!/bin/bash#定义etcd集群的端点IP地址和对外提供服务的2379端口
#${var:-string}：若变量var为空，则用在命令行中用string来替换；否则变量var不为空时，则用变量var的值来替换，这里的1代表的是位置变量$1
ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF#flanneld 本应使用 etcd 客户端TLS相关证书（client 证书），这里全部都使用同一套证书认证。#创建flanneld.service服务管理文件
cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure[Install]
WantedBy=multi-user.targetEOF#flanneld启动后会使用 mk-docker-opts.sh 脚本生成 docker 网络相关配置信息
#mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS：将组合选项键设置为环境变量DOCKER_NETWORK_OPTIONS，docker启动时将使用此变量
#mk-docker-opts.sh -d /run/flannel/subnet.env：指定要生成的docker网络相关信息配置文件的路径，docker启动时候引用此配置systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld

[root@node01 opt]# chmod  +x flannel.sh
#脚本后指定etcd集群位置
[root@node01 opt]# ./flannel.sh https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379#flannel启动后，会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,
#包含了docker要使用flannel通讯的相关参数
[root@node01 opt]# cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.4.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.4.1/24 --ip-masq=false --mtu=1450"[root@node01 opt]# systemctl status flanneld.service------------------
#--bip：指定docker 启动时的子网
#--ip-masq:设置 ipmasq=false 关闭snat 伪装策略
#--mtu=1450：  需要留出50字节给外层的vxlan封包额外开销使用

5.6 所有node节点配置 docker 连接flannel

[root@node01 opt]# vim /usr/lib/systemd/system/docker.service
-----12行添加---
EnvironmentFile=/run/flannel/subnet.env
-----13行修改(添加参数$DOCKER_NETWORK_OPTIONS)
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock[root@node01 opt]# systemctl daemon-reload
[root@node01 opt]# systemctl restart docker

5.7 测试连通性

#两个node节点分别查看docker 0网卡和 flannel网卡
[root@node01 opt]# ifconfig#指定使用docker0 网卡的ip进行ping测试
[root@node01 opt]# ping -I 172.17.4.1 172.17.25.1

kubernetes （k8s)的二进制部署单节点（etcd和flannel网络）相关推荐

1. K8S二进制部署---单节点master

   目录 一.环境准备 二.部署etcd集群 一.环境准备 先准备3台主机,首先搭建Master单节点集群. 因为 Master 是整个 K8S 集群的大脑,没有 Master 接下来的每一步操作都会变得 ...

2. 认识kubernetes（k8s），k8s单节点etcd部署

   认识kubernetes(k8s),k8s单节点etcd部署 一.k8s概述 (一).k8s简介 (二).k8s特性 (三).k8s群集架构与组件 (四).k8s核心概念 (五).k8s三种部署方式 ...

3. 基于VMware采用kubeadm方式部署单节点k8s集群(练习使用)

   1.虚拟机安装centos7.6 1.1 导入镜像 这里选择的版本是:CentOS-7-x86_64-DVD-2207-02.iso(即centos7.6的镜像) 镜像下载地址: http://mir ...

4. K8S部署单节点zookeeper服务

   要使用Kubernetes (K8s) 部署单节点Zookeeper服务,需要执行以下步骤: 0.创建Zookeeper镜像 该镜像包含Zookeeper二进制文件和配置文件,使用Dockerfile ...

5. k8s安装sqlite3_kubernetes环境部署单节点redis数据库的方法

   kubernetes部署redis数据库(单节点) redis简介 Redis 是我们常用的非关系型数据库,在项目开发.测试.部署到生成环境时,经常需要部署一套 Redis 来对数据进行缓存.这里介绍 ...

6. Kubernetes v1.13 二进制部署集群

   Kubernetes v1.13 二进制部署集群(HTTPS+RBAC) 官方提供的几种Kubernetes部署方式 minikube Minikube是一个工具,可以在本地快速运行一个单点的Kube ...

7. Kubernetes(k8s)集群部署（k8s企业级Docker容器集群管理）系列目录

   0.目录 整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 一.感谢 在此感谢.net ...

8. 【运维】K8S集群部署系列之ETCD集群搭建（四）

   ETCD集群扩容和缩容 本文将介绍生产环境下如何对ETCD集群进行扩容和缩容. 文章目录 ETCD集群扩容和缩容 新节点环境准备(node3) 下载安装包并初始化环境 网络准备 生成`node3`对等 ...

9. 【原】docker部署单节点consul

   docker下部署单节点的consul,最重要的是在run consul时,配置-bootstrap-expect=1 docker run --name consul1 -d -p 5902:850 ...

最新文章

1. 【★更新★】高性能 Windows Socket 服务端与客户端组件（HP-Socket v2.0.1 源代码及测试用例下载）...
2. 【Android 逆向】Android 进程注入工具开发 ( Visual Studio 开发 Android NDK 应用 | Visual Studio 中 SDK 和 NDK 安装位置 )
3. 清空sqlserver当前日志信息！
4. 2.19 总结-深度学习-Stanford吴恩达教授
5. 补补算术基础：编程中的进制问题
6. 凯利公式判定持仓比例
7. 非常好用的两个PHP函数 serialize()和unserialize()
8. ifconfig vs ip: comparing the two network configuration commands
9. Linux-Android启动之zImage生成过程详解
10. Java多线程系列(五)：线程池的实现原理、优点与风险、以及四种线程池实现
11. 算法选择_快速筛出topK的快速选择算法
12. 鼠标样式css设置 cursor
13. 采集上市公司信息的10个经典方法
14. PPT画得图转为矢量图eps
15. 商鞅的APP运营之道
16. 51单片机-PWM调速（直流电机，智能小车的电机调速）
17. jq 获取input的光标，定位光标的位置
18. excel生成动态进度条
19. 计算机计算性能,计算机计算能力的关键特点
20. 同时删除多个 PDF 文档最后几页

热门文章

1. linux7 重新开始udev,Redhat Linux 7 创建UDEV设备(示例代码)
2. Matlab 预防性维修,使用 MATLAB 进行预测性维护简介
3. pyqt 把控制台信息显示到_内网渗透初识—信息收集
4. html5如何划分区域,10.4 51单片机 RAM 区域的划分
5. matlab对像素邻域操作,matlab图像的邻域操作与块操作
6. java响应鼠标滚轮事件_一文读懂鼠标滚轮事件（wheelEvent）
7. 服务器可视化_疫情来袭，30分钟学会用python开发部署疫情可视化网站
8. 下位机和上位机是什么意思_焊锡机是什么？焊锡机有几种分类？
9. python识别12306验证码_Python3.4实现的12306最新验证码识别
10. 火了！16岁高中生做的 Python 3.9 八大新特性图