一个master、一个node、查看node节点是ip# 安装顺序：先在test1 上安装完必要组件后，就开始在 test2 上单独安装node组件，实现node功能，再返回来配置test1加入集群，实现node功能# 本实验 test1 节点不做安装kubelet组件。只有安装启动了kubelet才会生成csr,kube-apiserver通过csr请求后才会成为一个node。所以是node节点单独安装# 注意：准备了三台，这三台都做了环境准备，但是k8s集群只是使用了 test1、test2这两个节点，如果把test3扩容进来，随时都可以，# 注意：本实验 test2 没有安装etcd，之前安装的etcd给剔除了# 本实验 kubelet组件的参数中--hostname-override=写的ip地址，通过 kubectl get nodes 查看得到的name就是ip，如果填写主机名，得到的name就是主机名实验架构：# 注意：下面列出来的组件顺序就是本实验的组件安装顺序test1:192.168.0.91    etcd、kubectl工具、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet组件、cni、kube-proxytest2:192.168.0.92    docker、kubectl工具、kubelet组件、cni、kube-proxy、flannel、corednstest3：192.168.0.93无1、环境配置如下操作在所有节点操作配置hosts解析
[root@bogon~]# hostnamectl set-hostnametest1
[root@bogon~]# hostnamectl set-hostnametest2
[root@bogon~]# hostnamectl set-hostnametest3cat >>/etc/hosts<<EOF192.168.0.91test1192.168.0.92test2192.168.0.93test3
EOF禁用selinuxsed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinuxsed -i 's/enforcing/disabled/g' /etc/selinux/config关闭swap# 注释/etc/fstab文件里swap相关的行sed -i 's/\/dev\/mapper\/centos-swap/#\/dev\/mapper\/centos-swap/g' /etc/fstab#关掉防火墙systemctl stop firewalld&&systemctl disable firewalld配置免密登录退出xshell重新登录，查主机名已改变开启forward
iptables-P FORWARD ACCEPT配置转发相关参数cat >> /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1vm.swappiness=0EOF
sysctl--system加载ipvs相关内核模块
如果重新开机，需要重新加载modprobeip_vsmodprobeip_vs_rrmodprobeip_vs_wrrmodprobeip_vs_shmodprobenf_conntrack_ipv4lsmod | grepip_vs2、安装etcd
etcd安装请参照: https://www.cnblogs.com/effortsing/p/10295261.html
下面开始安装k8s组件，序号从6开始6、分发二进制组件# 只在 test1 上操作# 提前分发k8s所有组件二进制文件、顺便安装kubectl工具# 安装包解压后包括 kubectl 工具，所以不需要单独使用kubernetes-server-client-amd64.tar.gz 安装包分发 kubectl 工具下载、解压安装包cd/server/software/k8s下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfptar -xf kubernetes-server-linux-amd64.tar.gz分发所有组件二进制文件，# 后面配置 kube-apiserver 等各个组件启动文件里面需要带上各自二进制文件路径mkdir -p /usr/local/kubernetes/bin
cd/server/software/k8s/kubernetes/server/bincp kube-apiserver kube-controller-manager kube-scheduler kube-proxy kubectl /usr/local/kubernetes/bin    #这一步很关键安装kubectl工具# 后面创建 admin kubeconfig等配置文件时候需要用到；# admin.conf= ~/.kube/config，因为是复制过来的 ；# kubectl作用：当kubelet组件通过bootstrap token 认证后，kubectl默认从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；cp /usr/local/kubernetes/bin/kubectl /usr/local/bin/kubectl查看 kubectl 版本，# 出现下面的情况就是正确的。did you specify the right host or port?这个报错忽略，因为还没有安装kubelet服务kubectl version[root@test1 bin]# kubectl version
Client Version: version.Info{Major:"1", Minor:"11", GitVersion:"v1.11.0", GitCommit:"91e7b4fd31fcd3d5f436da26c980becec37ceefe", GitTreeState:"clean", BuildDate:"2018-06-27T20:17:28Z", GoVersion:"go1.10.2", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?cd $HOME7、生成admin的ca证书和私钥 # 只在 test1 上操作  # kubectl 作为集群的管理工具，需要被授予最高权限。这里创建具有最高权限的 admin 证书、admin kubeconfig# 注意：后面只有apiserver和kubelet这两个服务启动参数会用到admin的ca证书；kubectl工具和kubelet服务不是一回事cd $HOME/sslcat >admin-csr.json<<EOF
{"CN": "admin","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "system:masters","OU": "System"}]
}
EOF生成证书cfssl gencert-ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \-profile=kubernetes admin-csr.json | cfssljson -bare admin查看生成的admin cals admin*.pem8、配置 kube-apiserver ca# 只在 test1 上操作#10.96.0.1 是 kube-apiserver 指定的 service-cluster-ip-range 网段的第一个IPcd $HOME/sslcat >kube-apiserver-csr.json<<EOF
{"CN": "kube-apiserver","hosts": ["127.0.0.1","192.168.0.91","192.168.0.92","192.168.0.93","10.96.0.1","kubernetes","kubernetes.default","kubernetes.default.svc","kubernetes.default.svc.cluster","kubernetes.default.svc.cluster.local"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "k8s","OU": "System"}]
}
EOF生成 kube-apiserver cacfssl gencert-ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \-profile=kubernetes kube-apiserver-csr.json | cfssljson -bare kube-apiserver查看生成的kube-apiserver cals kube-apiserver*.pem9、配置 kube-controller-manager ca# 只在 test1 上操作cd $HOME/sslcat >kube-controller-manager-csr.json<<EOF
{"CN": "system:kube-controller-manager","hosts": ["127.0.0.1","192.168.0.91"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "system:kube-controller-manager","OU": "System"}]
}
EOF生成 kube-controller-manager cacfssl gencert-ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \-profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager查看生成的kube-controller-manager cals kube-controller-manager*.pem10、配置 kube-scheduler ca# 只在 test1 上操作cd $HOME/sslcat >kube-scheduler-csr.json<<EOF
{"CN": "system:kube-scheduler","hosts": ["127.0.0.1","192.168.0.91"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "system:kube-scheduler","OU": "System"}]
}
EOF生成 kube-scheduler cacfssl gencert-ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \-profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler查看生成的kube-scheduler cals kube-scheduler*.pem11、配置 kube-proxy ca# 只在 test1 上操作# 注意：只是node节点需要用到kube-proxy cacd $HOME/sslcat >kube-proxy-csr.json<<EOF
{"CN": "system:kube-proxy","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "system:kube-proxy","OU": "System"}]
}
EOF生成 kube-proxy cacfssl gencert-ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \-profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy查看生成的kube-proxy cals kube-proxy*.pem12、复制所有的ca 证书到一个目录里面，方便管理# 只在 test1 上操作cd $HOME/sslmkdir -p /etc/kubernetes/pkicp ca*.pem admin*.pem kube-proxy*.pem kube-scheduler*.pem kube-controller-manager*.pem kube-apiserver*.pem /etc/kubernetes/pki13、开启 bootstrap token 认证 ，kubelet TLS Boostrap机制 # 只在 test1 上操作# kube-apiserver、kubelet启动文件需要用到token，# token中包含kubelet-bootstrap用户# 后面kubelet组件启动参数中需要使用 kubelet-bootstrap.conf 文件向 kube-apiserver 发送 CSR 请求，# 请求通过后，kubectl才会从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息静态获取token# 还有一种是用 kubeadm 动态获取token，kubeadm token create,这样可以使用 TLS bootstrap 机制自动生成 client 和 server 证书，过期后自动轮转。# 本实验采用静态获取，一天后过期export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')创建token.csv文件# 只有kube-apiserver 启动文件中需要用到cat > /etc/kubernetes/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"EOF创建kubelet-bootstrap.conf# 只有kubelet启动文件需要用到cd/etc/kubernetesexport KUBE_APISERVER="https://192.168.0.91:6443"kubectl config set-cluster kubernetes \--certificate-authority=/etc/kubernetes/pki/ca.pem \--embed-certs=true\--server=${KUBE_APISERVER} \--kubeconfig=kubelet-bootstrap.confkubectl config set-credentials kubelet-bootstrap \--token=${BOOTSTRAP_TOKEN} \--kubeconfig=kubelet-bootstrap.confkubectl config set-context default \--cluster=kubernetes \--user=kubelet-bootstrap \--kubeconfig=kubelet-bootstrap.confkubectl config use-context default --kubeconfig=kubelet-bootstrap.conf给kubelet-bootstrap用户授权# 创建一个 clusterrolebinding，将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予 system:node-bootstrapper cluster 角色# 默认情况下，bootstrap这个 user 和 group 没有创建 CSR 的权限，kubelet 会启动失败，所以要给kubelet-bootstrap角色授权kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap# 如果没有授权会出现下面错误：[root@test2 kubernetes]# journalctl-u kubelet |tailfailed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User"kubelet-bootstrap"cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope14、创建 admin kubeconfig 只在 test1 上操作# 只有kubelet服务启动参数需要用到admin kubeconfig，
# admin.conf= ~/.kube/config，因为复制过来的 ；kubectl 默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，cd/etc/kubernetesexport KUBE_APISERVER="https://192.168.0.91:6443"设置集群参数kubectl config set-cluster kubernetes \--certificate-authority=/etc/kubernetes/pki/ca.pem \--embed-certs=true\--server=${KUBE_APISERVER} \--kubeconfig=admin.conf设置客户端认证参数kubectl config set-credentials admin \--client-certificate=/etc/kubernetes/pki/admin.pem \--client-key=/etc/kubernetes/pki/admin-key.pem \--embed-certs=true\--kubeconfig=admin.conf设置上下文参数kubectl config set-context default \--cluster=kubernetes \--user=admin \--kubeconfig=admin.conf设置默认上下文kubectl config use-context default --kubeconfig=admin.conf15、创建 kube-controller-manager kubeconfig只在 test1 上操作cd/etc/kubernetesexport KUBE_APISERVER="https://192.168.0.91:6443"kubectl config set-cluster kubernetes \--certificate-authority=/etc/kubernetes/pki/ca.pem \--embed-certs=true\--server=${KUBE_APISERVER} \--kubeconfig=kube-controller-manager.confkubectl config set-credentials kube-controller-manager \--client-certificate=/etc/kubernetes/pki/kube-controller-manager.pem \--client-key=/etc/kubernetes/pki/kube-controller-manager-key.pem \--embed-certs=true\--kubeconfig=kube-controller-manager.confkubectl config set-context default \--cluster=kubernetes \--user=kube-controller-manager \--kubeconfig=kube-controller-manager.confkubectl config use-context default --kubeconfig=kube-controller-manager.conf16、创建 kube-scheduler kubeconfig# 只在 test1 上操作cd/etc/kubernetesexport KUBE_APISERVER="https://192.168.0.91:6443"kubectl config set-cluster kubernetes \--certificate-authority=/etc/kubernetes/pki/ca.pem \--embed-certs=true\--server=${KUBE_APISERVER} \--kubeconfig=kube-scheduler.confkubectl config set-credentials kube-scheduler \--client-certificate=/etc/kubernetes/pki/kube-scheduler.pem \--client-key=/etc/kubernetes/pki/kube-scheduler-key.pem \--embed-certs=true\--kubeconfig=kube-scheduler.confkubectl config set-context default \--cluster=kubernetes \--user=kube-scheduler \--kubeconfig=kube-scheduler.confkubectl config use-context default --kubeconfig=kube-scheduler.conf17、创建 kube-proxy kubeconfig# 只在 test1 上操作# 注意：只是node节点需要用到kube-proxy kubeconfigcd/etc/kubernetesexport KUBE_APISERVER="https://192.168.0.91:6443"kubectl config set-cluster kubernetes \--certificate-authority=/etc/kubernetes/pki/ca.pem \--embed-certs=true\--server=${KUBE_APISERVER} \--kubeconfig=kube-proxy.confkubectl config set-credentials kube-proxy \--client-certificate=/etc/kubernetes/pki/kube-proxy.pem \--client-key=/etc/kubernetes/pki/kube-proxy-key.pem \--embed-certs=true\--kubeconfig=kube-proxy.confkubectl config set-context default \--cluster=kubernetes \--user=kube-proxy \--kubeconfig=kube-proxy.confkubectl config use-context default --kubeconfig=kube-proxy.confcd $HOME18、配置启动kube-apiserver# 只在 test1 上操作复制 etcd camkdir -pv /etc/kubernetes/pki/etcd
cd $HOME/sslcp etcd.pem etcd-key.pem ca-key.pem ca.pem /etc/kubernetes/pki/etcd生成 service account keycd/etc/kubernetes/pki/openssl genrsa-out /etc/kubernetes/pki/sa.key 2048openssl rsa-in /etc/kubernetes/pki/sa.key -pubout -out /etc/kubernetes/pki/sa.publs /etc/kubernetes/pki/sa.*cd $HOME配置启动文件cat >/etc/systemd/system/kube-apiserver.service<<EOF
[Unit]
Description=Kubernetes API Service
Documentation=https://github.com/kubernetes/kubernetes
After=network.target[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/apiserver
ExecStart=/usr/local/kubernetes/bin/kube-apiserver \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBE_ETCD_ARGS \\\$KUBE_API_ADDRESS \\\$KUBE_SERVICE_ADDRESSES \\\$KUBE_ADMISSION_CONTROL \\\$KUBE_APISERVER_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF配置参数变量文件# 下面 kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy这些服务 都需要用到，这里只配置一次，以后重复利用，后面的也写了变量文件，只是为了知道怎么回事cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置apiserver# 注意参数--token-auth-file=/etc/kubernetes/token.csv 表示在 apiserver 中静态配置bootstrap token，和后面开启 bootstrap token 认证步骤相呼应，不是动态的，所以有过期时间，# 后面kubelet组件启动参数中需要使用 kubelet-bootstrap.conf 文件向 kube-apiserver 发送 CSR 请求，--bootstrap-kubeconfig 文件里面包含token和apiserver里面的token是一样的，cat >/etc/kubernetes/apiserver<<EOF
KUBE_API_ADDRESS="--advertise-address=192.168.0.91"KUBE_ETCD_ARGS="--etcd-servers=https://192.168.0.91:2379 --etcd-cafile=/etc/kubernetes/pki/ca.pem --etcd-certfile=/etc/kubernetes/pki/etcd/etcd.pem --etcd-keyfile=/etc/kubernetes/pki/etcd/etcd-key.pem"KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.96.0.0/12"KUBE_ADMISSION_CONTROL="--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota"KUBE_APISERVER_ARGS="--allow-privileged=true --authorization-mode=Node,RBAC --enable-bootstrap-token-auth=true --token-auth-file=/etc/kubernetes/token.csv --service-node-port-range=0-32767 --tls-cert-file=/etc/kubernetes/pki/kube-apiserver.pem --tls-private-key-file=/etc/kubernetes/pki/kube-apiserver-key.pem --client-ca-file=/etc/kubernetes/pki/ca.pem --service-account-key-file=/etc/kubernetes/pki/sa.pub --enable-swagger-ui=true --secure-port=6443 --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --anonymous-auth=false --kubelet-client-certificate=/etc/kubernetes/pki/admin.pem --kubelet-client-key=/etc/kubernetes/pki/admin-key.pem"EOF启动systemctl daemon-reload
systemctl enable kube-apiserver
systemctl start kube-apiserver
systemctl status kube-apiserver通过浏览器访问测试#401报错正常，是因为没有权限，不影响，以后解决curl https://192.168.0.91:6443/swaggerapi
[root@test1 ~]# curl https://192.168.0.91:6443/swaggerapi
curl: (60) Peer's Certificate issuer is not recognized.
More details here: http://curl.haxx.se/docs/sslcerts.html
curl performs SSL certificate verification by default, using a"bundle"of Certificate Authority (CA) public keys (CA certs). If the default
bundlefile isn't adequate, you can specify an alternate file
using the --cacert option.
If this HTTPS server uses a certificate signed by a CA representedinthe bundle, the certificate verification probably failed due to a
problem with the certificate (it might be expired, or the name might
not match the domain nameinthe URL).
If you'd like to turn off curl's verification of the certificate, use
the-k (or --insecure) option.19、配置启动kube-controller-manager# 只在 tes1 上操作配置启动文件cat >/etc/systemd/system/kube-controller-manager.service<<EOF
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
After=network.target[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/controller-manager
ExecStart=/usr/local/kubernetes/bin/kube-controller-manager \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBECONFIG \\\$KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF配置参数变量文件# 配置kube-apiserver启动文件时已经配置过参数变量文件，这里就不需要再做，写在这里只是为了知道下面配置文件里的参数怎么回事cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置controller-manager文件# 特别注意：这里的cluster-cidr地址要和 Kube-proxy里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0cat >/etc/kubernetes/controller-manager<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-controller-manager.conf"KUBE_CONTROLLER_MANAGER_ARGS="--address=127.0.0.1 --cluster-cidr=10.244.0.0/16 --cluster-name=kubernetes --cluster-signing-cert-file=/etc/kubernetes/pki/ca.pem --cluster-signing-key-file=/etc/kubernetes/pki/ca-key.pem --service-account-private-key-file=/etc/kubernetes/pki/sa.key --root-ca-file=/etc/kubernetes/pki/ca.pem --leader-elect=true --use-service-account-credentials=true --node-monitor-grace-period=10s --pod-eviction-timeout=10s --allocate-node-cidrs=true --controllers=*,bootstrapsigner,tokencleaner"EOF启动
systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl start kube-controller-manager
systemctl status kube-controller-manager20、配置启动kube-scheduler# 只在 test1 上操作配置启动文件cat >/etc/systemd/system/kube-scheduler.service<<EOF
[Unit]
Description=Kubernetes Scheduler Plugin
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/scheduler
ExecStart=/usr/local/kubernetes/bin/kube-scheduler \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBECONFIG \\\$KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF配置参数变量文件# 配置kube-apiserver启动文件时已经配置过参数变量文件，这里就不需要再做，写在这里只是为了知道下面配置文件里的参数怎么回事cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置scheduler文件cat >/etc/kubernetes/scheduler<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-scheduler.conf"KUBE_SCHEDULER_ARGS="--leader-elect=true --address=127.0.0.1"EOF启动systemctl daemon-reload
systemctl enable kube-scheduler
systemctl start kube-scheduler
systemctl status kube-scheduler给kubelet-bootstrap用户授权
# 创建一个 clusterrolebinding，将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予 system:node-bootstrapper cluster 角色# 默认情况下，bootstrap这个 user 和 group 没有创建 CSR 的权限，kubelet 会启动失败，所以要给kubelet-bootstrap角色授权kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap# 如果没有授权会出现下面错误：[root@test2 kubernetes]# journalctl-u kubelet |tailfailed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User"kubelet-bootstrap"cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope查看组件状态kubectl get componentstatuses[root@test2~]# kubectl get componentstatuses
Unable to connect to the server: x509: certificate signed by unknown authority
# 报错原因：经过排查后发现前面操作的几个步骤中 ${KUBE_APISERVER} 这个变量写成了 ${KUBE_  又重做了一遍，正确的结果是下面[root@test2~]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health": "true"}  # test1 节点安装到此结束，下面开始单独安装node节点21、单独配置node 相关组件test2上操作环境配置# 如下操作在所有节点操作修改主机名# 注意修改 各自节点对应的 主机名sed -i '$a\hostname=test2' /etc/hostname
sed -i '$a\hostname=test2' /etc/sysconfig/network && hostnamectl set-hostnametest2配置hosts解析cat >>/etc/hosts<<EOF192.168.0.91test1192.168.0.92test2192.168.0.93test3
EOF禁用selinuxsed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinuxsed -i 's/enforcing/disabled/g' /etc/selinux/config关闭swap# 注释/etc/fstab文件里swap相关的行sed -i 's/\/dev\/mapper\/centos-swap/#\/dev\/mapper\/centos-swap/g' /etc/fstab关掉防火墙systemctl stop firewalld&&systemctl disable firewalld重启reboot开启forwardiptables-P FORWARD ACCEPT配置转发相关参数cat >> /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1vm.swappiness=0EOF加载系统参数sysctl--system加载ipvs相关内核模块# 如果重新开机，需要重新加载modprobeip_vsmodprobeip_vs_rrmodprobeip_vs_wrrmodprobeip_vs_shmodprobenf_conntrack_ipv4lsmod | grepip_vs21.1、安装docker# 只在 test2 上操作# 注意：docker和flannel是一体的，哪个节点上需要安装flannel,哪个节点上就需要安装docker# docker 和kubelet组件、node状态有关系， 之前停掉docker后，kubelet组件会自动停掉；node节点会变成 NotReady 状态# 但是停掉docker后，flanel、coredns 的pod 让然是 running 状态# v1.11.0版本推荐使用docker v17.03, v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用。测试发现17.09无法正常使用，不能使用资源限制(内存CPU)卸载自带dockeryum remove -y docker-ce docker-ce-selinux container-selinux下载Docker镜像下载链接：https://pan.baidu.com/s/1whfkq5wDODIew5_eqP63gA
提取码：xmqq 下载链接：https://pan.baidu.com/s/1zZy_tbvuApZW2fsMPGv3Bg
提取码：u3t3 添加至镜像仓库rpm-ivh docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm
rpm-ivh docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm用安装 Docker 和依赖包yum install -y docker-ce-*.rpm 开机启动 systemctl enable docker 启动 docker 服务 systemctl start docker21.2、部署 kubelet组件# 只在 test2 上操作# kubelet的作用：向 test1 发起csr请求。# 初次安装完 kubelet，只要第一次启动kubelet，通过kubelet get csr 就会得到这串字符串：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE下载、解压安装包mkdir -p /server/software/k8s
cd/server/software/k8s
下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfptar -xf kubernetes-server-linux-amd64.tar.gz分发kubelet二进制文件# 后面kubelet启动文件需要用到kubelet二进制文件路径mkdir -p /usr/local/kubernetes/bincp /server/software/k8s/kubernetes/server/bin/kubelet /usr/local/kubernetes/bin    #这一步很关键安装kubectl工具# kubecctl工具和kubelet服务不是一回事。安装包解压后包括 kubectl 工具，所以不需要单独使用kubernetes-server-client-amd64.tar.gz 安装包分发 kubectl 工具# kubectl作用：当kubelet组件通过bootstrap token 认证后，kubectl 默认会从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；# admin.conf= ~/.kube/config，因为复制过来的 ；cp /server/software/k8s/kubernetes/server/bin/kubectl /usr/local/bin/kubectl查看 kubectl 版本，# 出现下面的情况就是正确的。did you specify the right host or port?这个报错忽略，因为还没有安装kubelet服务kubectl version[root@test1 bin]# kubectl version
Client Version: version.Info{Major:"1", Minor:"11", GitVersion:"v1.11.0", GitCommit:"91e7b4fd31fcd3d5f436da26c980becec37ceefe", GitTreeState:"clean", BuildDate:"2018-06-27T20:17:28Z", GoVersion:"go1.10.2", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?cd $HOME拷贝admin.conf# 从test1上复制admin.conf到test2节点test2上创建目录mkdir -p /etc/kubernetestest2上复制scp /etc/kubernetes/admin.conf root@192.168.0.92:/etc/kubernetes/配置/.kube/config 并且授权# kubectl 默认从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，如果没有配置，执行 kubectl 命令时可能会出错：
#/.kube/config 和 admin.conf 内容是一样的，/.kube/config 是 admin.conf 复制过来的，改了下名字而已rm -rf $HOME/.kubemkdir -p $HOME/.kubecp /etc/kubernetes/admin.conf $HOME/.kube/configchown $(id -u):$(id -g) $HOME/.kube/config拷贝bootstrap.conf#从test1 上复制 bootstrap.conf 到test2 节点# 后面kubelet服务启动参数中需要使用 kubelet-bootstrap.conf 向 kube-apiserver 发送 CSR 请求，# 当kubelet服务通过bootstrap token 认证后，kubectl 默认会从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；scp /etc/kubernetes/kubelet-bootstrap.conf root@192.168.0.92:/etc/kubernetes/安装cni# kubelet 的启动参数需要用到cd/server/software/k8s下载链接：https://pan.baidu.com/s/1DL1v4cH2SHUfobICjKXm3Q
提取码：puelmkdir -p /opt/cni/binmkdir -p /etc/cni/net.d/
tar -xf cni-plugins-amd64-v0.7.1.tgz -C /opt/cni/binls -l /opt/cni/bincd $HOME配置启动kubelet创建数据目录mkdir -p /data/kubelet配置kubelet启动文件cat >/etc/systemd/system/kubelet.service<<EOF
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/kubernetes/kubernetes
After=docker.service
Requires=docker.service[Service]
WorkingDirectory=/data/kubelet
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/kubelet
ExecStart=/usr/local/kubernetes/bin/kubelet \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBELET_CONFIG \\\$KUBELET_HOSTNAME \\\$KUBELET_POD_INFRA_CONTAINER \\\$KUBELET_ARGS \\\$CADVISOR
Restart=on-failure[Install]
WantedBy=multi-user.target
EOF配置参数变量文件cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置kubelet文件# 注意修改kubelet文件里面的--hostname-override=要填写test1、test2、test3 这三个节点改成对应各自 ip ，或者各自的主机名。本实验写的ip# 如果--hostname-override=填写的是ip，那么kubectl get nodes 得到的name就显示ip,如果填写的是主机名，得到的name就显示主机名# image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1这个镜像跟 kubectl get componentstatuses 获取不到资源没有关系,跟docker也没有关系# 但是网上搜这个镜像，说这个镜像是基础镜像，目前被墙，最好下载放到本地 registry 上# 注意 kubelet配置文件里面的参数kubelet.conf 是kubelet启动后生成的，不用管，就是这样写的# 注意/etc/kubernetes/pki 目录里面只放一个ca.pem 证书，# 启动kubelet后/etc/kubernetes/pki 目录里面会自动生成四个文件 kubelet.crt、kubelet.key、kubelet-client-current.pem、kubelet-client-2019-01-22-10-07-06.pem# CADVISOR 表明开启cadvisor监控，然后在启动文件中加上 ExecStart=$CADVISOR 就可以通过浏览器访问cadvisor监控，否则是无法访问的，cat >/etc/kubernetes/kubelet<<EOF
KUBELET_HOSTNAME="--hostname-override=test2"KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"KUBELET_CONFIG="--config=/etc/kubernetes/kubelet-config.yml"CADVISOR="--cadvisor-port=4194 --storage-driver-db='cadvisor' --storage-driver-host='localhost:8086'"KUBELET_ARGS="--bootstrap-kubeconfig=/etc/kubernetes/kubelet-bootstrap.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cert-dir=/etc/kubernetes/pki --network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d"EOF拷贝ca.pem 证书# 从test1 节点复制复制ca.pem 证书到test2 节点，下面kubelet-config.yml 文件参数需要用到 ca.pemtes2上创建目录mkdir --p /etc/kubernetes/pkitest1上复制文件scp $HOME/ssl/ca.pem 192.168.0.92:/etc/kubernetes/pki/配置kubelet-config.yml文件# 注意修改kubelet-config.yml相关ip，test1 test2 test3 使用各自ip# 注意下面kubelet-config.yml里面的clusterDNS 地址要和coredns.yaml 里面的 clusterIP 地址保持一致。只有kubelet、coredns里面有 10.96.0.10，其他的组件都没有cat >/etc/kubernetes/kubelet-config.yml<<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address:192.168.0.92port:10250cgroupDriver: cgroupfs
clusterDNS:- 10.96.0.10clusterDomain: cluster.local.
hairpinMode: promiscuous-bridge
serializeImagePulls:falseauthentication:x509:clientCAFile:/etc/kubernetes/pki/ca.pem
EOF启动
systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet            # 启动后就会生成 csr
systemctl status kubelet查看日志# 启动 kubelet后查看日志会有报错# 报错原因是因为kubelet配置了network-plugin=cni，但是还没安装网络插件 flannel，所以状态会是NotReady,会报上面的错误，不想看这个报错或者不需要网络，就修改kubelet配置文件，去掉network-plugin=cni 就可以了[root@test2~]# journalctl -u kubelet |tailnetwork plugin is not ready: cni config uninitialized21.3、通过csr请求# 在 test2 上操作，也可以在test1 上操作# 通过csr请求的目的就是要生成一个nodes 节点# 注意：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE  这个长字符串是kubelet 初次启动后生成的，# 在test2 节点上操作就可以# 查看csr# 如果获取不到csr看日志会出现下面错误：[root@test2 kubernetes]# journalctl-u kubelet |tailfailed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User"kubelet-bootstrap"cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope# 原因是因为没有给kubelet-bootstrap授权，授权即可kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrapkubectl get csr执行结果[root@test2~]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE   18s       kubelet-bootstrap   Pending
You have new mailin /var/spool/mail/root通过csr请求，下面的长字符串填写上一步的结果，kubectl certificate approve node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE执行结果：[root@test2~]# kubectl certificate approve node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE
certificatesigningrequest.certificates.k8s.io/node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE approved查看kubelet启动后生成的文件说明：kubelet 启动后使用--bootstrap-kubeconfig 向 kube-apiserver 发送 CSR 请求，当这个 CSR 被 approve 后，kube-controller-manager 为 kubelet 创建 TLS 客户端证书、私钥和 --kubeletconfig 文件。kubelet.conf文件决定了csr的存在，如果要想重新获取csr,可以停掉kubelet，删除kubelet.conf文件，重启kubelet就可以获得csrls -l /etc/kubernetes/kubelet.confls -l /etc/kubernetes/pki/kubelet*查看结果[root@test2~]# ls -l /etc/kubernetes/kubelet.conf-rw------- 1 root root 2295 Jan 22 10:07 /etc/kubernetes/kubelet.conf[root@test2~]# ls -l /etc/kubernetes/pki/kubelet*
-rw------- 1 root root 1273 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
lrwxrwxrwx1 root root   58 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-current.pem -> /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem-rw-r--r-- 1 root root 2181 Jan 22 02:10 /etc/kubernetes/pki/kubelet.crt-rw------- 1 root root 1675 Jan 22 02:10 /etc/kubernetes/pki/kubelet.key查看节点# 此时节点状态为 NotReady，需要安装flannel网络后才可以ready；# 但是此时就可以设置集群角色# 此时查看只有一个node节点是因为test1 上并没有安装 kubelet 组件，只要 test1 安装上kubelet并且启动成功，就会生成csr,通过csr后，就会成为node节点# 如果 test1 上也安装了kubelet,就可以把 test1 节点设置为master,因为 test1 节点上面安装了 kube-apiserver、 kube-controller-manager、kube-scheduler# tes2 节点必须是node 节点，因为它没有安装  kube-apiserver、 kube-controller-manager、kube-scheduler 这几个组件kubectl get nodes[root@test2~]# kubectl get nodes
NAME           STATUS     ROLES     AGE       VERSION192.168.0.92   NotReady   <none>    9h        v1.11.0设置集群角色# 在test2 节点上操作就可以# 设置 test2 为 node 角色kubectl label nodes192.168.0.92 node-role.kubernetes.io/node=[root@test2~]# kubectl label nodes 192.168.0.92 node-role.kubernetes.io/node=node/test2 labeled再次查看节点[root@test2~]# kubectl get nodes
NAME  STATUS    ROLES  AGE  VERSION
test2 NotReady  node   2m   v1.11.021.4、配置启动kube-proxy # 只在 test2 上操作# 注意：关掉 kube-proxy 后仍然可以访问 svc curl "10.103.38.143:80" ，kube-proxy 的作用目前还没有发现下载、解压安装包（省略）cd/server/software/k8s下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfptar -xf kubernetes-server-linux-amd64.tar.gz分发kube-proxy二进制文件# 后面kube-proxy.service启动文件需要用到kube-proxy二进制文件路径mkdir -p /usr/local/kubernetes/bincp /server/software/k8s/kubernetes/server/bin/kube-proxy /usr/local/kubernetes/bin    #这一步很关键安装依赖包yum install -y conntrack-tools拷贝kube-proxy.conf文件把 test1 节点上的kube-proxy.conf复制到/etc/kubernetes/ 目录下，kube-proxy.service启动参数中proxy文件需要用到kube-proxy.confscp /etc/kubernetes/kube-proxy.conf 192.168.0.92:/etc/kubernetes/配置启动文件cat >/etc/systemd/system/kube-proxy.service<<EOF
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/proxy
ExecStart=/usr/local/kubernetes/bin/kube-proxy \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBECONFIG \\\$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF配置参数变量文件# 前面配置kubelet组件时已经配置过参数变量文件，这里就不需要配置，写在这里这是知道是怎么回事cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置proxy文件# 注意修改相关ip，test1 test2 test3 使用各自ip# 看下面proxy文件'--proxy-mode=iptables',由于采用iptables模式，因为 ipvs 模式在centos7上有bug无法正常使用，1.11.0以后的版本就可使用 ipvs 模式了，# 本实验采用centos7.5、kubernetes 1.11.0版本，所以使用iptables模式，# 特别注意：下面的cluster-cidr地址要和controller-manager里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0cat >/etc/kubernetes/proxy<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-proxy.conf"KUBE_PROXY_ARGS="--bind-address=192.168.0.92 --proxy-mode=iptables --hostname-override=192.168.0.92 --cluster-cidr=10.244.0.0/16"EOF启动
systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy21.5、安装flannel网络# 只在 test2 上操作# flannel 作用之一： 让 node节点从 NotReady状态变为ready状态# 注意： flanel 只需要安装一次，不需要再往 test1 节点或者test2 节点上安装 flanel# 只有在安装了docker的节点上才可以安装flannel# 注意下面的网卡名称要填写对应的网卡名称下载配置文件mkdir flannel &&cd flannel下载链接：https://pan.baidu.com/s/1kdrYzXYzURTzO_tXtv_R1A
提取码：3kgd 查看下载的文件[root@test2 flannel]#lskube-flannel.yml修改ip地址# flannel网络 分三种网络 node network、service network、flannel network# node network：承载kubernetes集群中各个“物理”Node(master和node)通信的网络# 下面Network 就是 node network，因为当前还没有安装 flannel，test2 节点为 NotReady 状态；安装完 flannel后就是ready状态，# 特别注意：下面的Network 地址要和controller-manager里面的cluster-cidr、kube-proxy里面的 cluster-cidr地址保持一致，这有这三个组件里面有 10.244.0.0[root@test2 flannel]#vi kube-flannel.yml net-conf.json: |{"Network": "10.244.0.0/16","Backend": {"Type": "vxlan"}}修改镜像# 由于自带的镜像被墙，无法下载，所以修改镜像为国内源 image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64# 注意 kube-flannel.yml 文件里面有两个 镜像都需要改[root@test2 flannel]#vi kube-flannel.yml containers:- name: kube-flannelimage: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64command:- /opt/bin/flanneldargs:- --ip-masq- --kube-subnet-mgr- --iface=ens33添加网卡参数# 注意- --iface=ens33 这个ens33 是 192.168.0.92这台虚拟机的网卡信息# 如果Node有多个网卡的话，参考flannel issues39701，https://github.com/kubernetes/kubernetes/issues/39701
# 目前需要在kube-flannel.yml中使用--iface参数指定集群主机内网网卡的名称，否则可能会出现dns无法解析。容器无法通信的情况，# flanneld启动参数加上--iface=<iface-name>[root@test2 flannel]#vi kube-flannel.yml containers:- name: kube-flannelimage: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64command:- /opt/bin/flanneldargs:- --ip-masq- --kube-subnet-mgr- --iface=ens33启动flanelkubectl apply-f kube-flannel.yml查看pod# 如果flanel启动失败，很有可能镜像拉取失败，所以最好还是自建一个镜像仓库。有点慢，等一会kubectl get pods-n kube-system
kubectl get svc[root@test2 flannel]# kubectl get pods-n kube-system
NAME                    READY     STATUS    RESTARTS   AGE
kube-flannel-ds-zb2r2   1/1       Running   018s[root@test2 flannel]# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP10.96.0.1    <none>        443/TCP   22h查看节点状态# 当 flannel pod 全部启动之后，节点状态才为 Readykubectl get no[root@test2 flannel]# kubectl get no
NAME           STATUS    ROLES     AGE       VERSION
test2          Ready     node      11h       v1.11.021.6、安装coredns# 只在 test2 上操作# coredns的作用：是实现pod里面的DNS解析，就是可以通过svc(service)来访问服务，例如：curl nginx-service ，curl +svc# 注意：coredns 只安装一次就可以，不需要再往master角色或 其他node角色上安装# 注意下面用的 coredns1.2.0版本 安装jq工具# 之前安装coredns报错找不到jq, 所以配置jq 源，然后用yum安装，安装jq 参照：https://www.cnblogs.com/effortsing/p/10307424.htmlyum install jq -y下载coredns安装文件cd $HOME&& mkdir coredns &&cd coredns下载链接：https://pan.baidu.com/s/1z7x4z2k2w3rdhOt89FDPww
提取码：7vkf 查看下载的文件[root@test2 coredns]#lscoredns.yaml修改配置文件# 把文件里面的ip地址修改为10.96.0.10， # 注意：下面coredns.yaml里面的clusterIP 地址要和 kubelet组件中kubelet-config.yml 配置文件里面的 clusterDNS 地址保持一致。只有kubelet、coredns里面有 10.96.0.10[root@test2 coredns]#vicoredns.yaml
spec:selector:k8s-app: kube-dnsclusterIP:10.96.0.10ports:启动corednskubectl apply-f coredns.yaml查看coredns# 过几分钟才会running ,有点慢kubectl get pods-n kube-system
kubectl get svc-n kube-system[root@test2 coredns]# kubectl get pods-n kube-system
NAME                       READY     STATUS    RESTARTS   AGE
coredns-6c65fc5cbb-8ntpv   1/1       Running   034m
coredns-6c65fc5cbb-sj65c   1/1       Running   034m
kube-flannel-ds-zb2r2      1/1       Running   02h[root@test2 coredns]# kubectl get svc-n kube-system
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   34m测试coredns功能# 启动一个nginx容器，然后进行访问nginx服务进行测试看是否能访问下载nginx.yaml文件下载链接：https://pan.baidu.com/s/1PV8jyDhb8yBy6uyaeMMpSQ
提取码：xt5f 查看下载的文件[root@test2~]# lsnginx.yaml配置nginx镜像# 用docker 找一个简单的nginx镜像，替换 nginx.yaml 里面的镜像，因为nginx.yaml里面的镜像都已经过时，无法下载docker search nginx[root@test2~]# docker search nginx
nginxdemos/hello         NGINX webserver that serves a simple page ...   9[OK][root@test2~]# vinginx.yaml spec:containers:- name: http-test-conimage: nginxdemos/helloports:- containerPort: 80创建nginx实例# 需要过几分钟，拉取镜像很慢的，kubectl create-f nginx.yaml 查看pod状态# 注意：使用kubectl工具养成带上命名空间的习惯，虽然不带default命名空间默认带着的，但是这是个习惯，之前总是因为没有带命名空间出错，排查半天，单耽误时间，kubectl get deploy-o wide -n default
kubectl get pods-o wide -n default
kubectl get svc-o wide -n default
kubectl describe svc example-service -n default[root@test2~]# kubectl get deploy -o wide -n default
NAME            DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS      IMAGES             SELECTOR
http-test-dm2   1         1         1            1           52m       http-test-con   nginxdemos/hello   name=http-test-dm2[root@test2~]# kubectl get pods -o wide -n default
NAME                             READY     STATUS    RESTARTS   AGE       IP            NODE
http-test-dm2-76d4b58b47-f4pqm   1/1       Running   0          52m       10.244.0.12   192.168.0.92[root@test2~]# kubectl get svc -o wide -n default
NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE       SELECTOR
http-nginx-ser   NodePort    10.103.38.143   <none>        80:31000/TCP   5m        name=http-test-dm2
kubernetes       ClusterIP10.96.0.1       <none>        443/TCP        1d        <none>[root@test2~]# kubectl describe pod http-test-dm2-76d4b58b47-f4pqm -n default容器内测试coredns解析 # 启动一个具有解析功能的 dns 实例，然后进到 pod 里面用 nslookup、curl 工具进行访问测试，下面这个实例启动慢，等几分钟，# 如果启动失败，通过看日志得知无法拉取镜像 infoblox/dnstools，很可能这个镜像不存在了，那就通过 docker search dns 找一个dns镜像代替infoblox/dnstools镜像kubectl run-it --rm --image=infoblox/dnstools dns-client
nslookup kubernetes
nslookup nginx-service
curl nginx-service执行结果：[root@test2~]# kubectl run -it --rm --image=infoblox/dnstools dns-client
If you don't see a command prompt, try pressing enter.
dnstools# nslookup kubernetes
Server:10.96.0.10Address:10.96.0.10#53Name:    kubernetes.default.svc.cluster.local
Address:10.96.0.1dnstools# nslookup http-nginx-ser
Server:10.96.0.10Address:10.96.0.10#53Name:    http-nginx-ser.default.svc.cluster.local
Address:10.103.38.143dnstools# curl http-nginx-ser<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>容器外测试coredns解析# 注意：是在 test2 节点进行访问访测试的，# 如果此时 去 test1 节点上访问，是无法访问的，因为test1 节点上还没有安装kubelet，什么角色也不是，只要成为node或master角色 就可以访问，测试过# 如果test1节点安装了 kubelet，并且是ready状态，就一定能通过 curl"10.103.38.143:80"访问到，已经测试过，# coredns 可能是节点内部域名解析，Traefik-ingress是节点外部域名解析#10.103.38.143是查看svc时获取到的clusterip，svc是service的缩写curl"10.103.38.143:80"执行结果：[root@test2~]# curl "10.103.38.143:80" -n default<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>通过浏览器访问测试#31000是查看svc时获取到的 nodeporthttp://192.168.0.92:31000/22、关机重启验证# test1、test2 节点都关机重启，重新执行上面的过程验证是否完好。本实验重启这两个节点后一切是正常的清理kubectl delete-f nginx.yaml23、回头配置 test1 节点加入集群# 只在 test1 上操作# 目的是 在 test1 节点上安装node组件，设置test1节点为master节点。# 注意：不管要设置master角色 还是设置为node角色，前提必须先安装node组件，主要是kubelet 组件。就是说先把节点加入集群，才能设置角色，# 加入集群就是安装启动 kubelet 组件，通过csr请求后，就可以加入集群，然后才可以设置集群角色23.1、安装docker# 只在 test1 上操作# 注意：docker和flannel是一体的，哪个节点上需要安装flannel,哪个节点上就需要安装docker# docker 和kubelet组件、node状态有关系， 之前停掉docker后，kubelet组件会自动停掉；node节点会变成 NotReady 状态# 但是停掉docker后，flanel、coredns 的pod 让然是 running 状态# v1.11.0版本推荐使用docker v17.03, v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用。测试发现17.09无法正常使用，不能使用资源限制(内存CPU)卸载自带dockeryum remove -y docker-ce docker-ce-selinux container-selinux下载Docker镜像下载链接：https://pan.baidu.com/s/1whfkq5wDODIew5_eqP63gA
提取码：xmqq 下载链接：https://pan.baidu.com/s/1zZy_tbvuApZW2fsMPGv3Bg
提取码：u3t3 添加至镜像仓库rpm-ivh docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm
rpm-ivh docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm用安装 Docker 和依赖包yum install -y docker-ce-*.rpm 开机启动 systemctl enable docker 启动 docker 服务 systemctl start docker23.2、部署 kubelet组件# 只在 test1 上操作# kubelet的作用：向 test1 发起csr请求。# 初次安装完 kubelet，只要第一次启动kubelet，通过kubelet get csr 就会得到这串字符串：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE下载、解压安装包mkdir -p /server/software/k8s
cd/server/software/k8s
下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfptar -xf kubernetes-server-linux-amd64.tar.gz分发kubelet二进制文件# 后面kubelet启动文件需要用到kubelet二进制文件路径mkdir -p /usr/local/kubernetes/bincp /server/software/k8s/kubernetes/server/bin/kubelet /usr/local/kubernetes/bin    #这一步很关键查看组件状态kubectl get componentstatuses[root@test1~]# kubectl get componentstatuses
Unable to connect to the server: x509: certificate signed by unknown authority
# 报错原因：经过排查后发现前面操作的几个步骤中 ${KUBE_APISERVER} 这个变量写成了 ${KUBE_  又重做了一遍，正确的结果是下面[root@test2~]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health": "true"}  配置/.kube/config 并且授权# kubectl 默认从~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，如果没有配置，执行 kubectl 命令时可能会出错：
#/.kube/config 和 admin.conf 内容是一样的，/.kube/config 是 admin.conf 复制过来的，改了下名字而已rm -rf $HOME/.kubemkdir -p $HOME/.kubecp /etc/kubernetes/admin.conf $HOME/.kube/configchown $(id -u):$(id -g) $HOME/.kube/config安装cni# kubelet 的启动参数需要用到cd/server/software/k8s下载链接：https://pan.baidu.com/s/1DL1v4cH2SHUfobICjKXm3Q
提取码：puelmkdir -p /opt/cni/bintar -xf cni-plugins-amd64-v0.7.1.tgz -C /opt/cni/binls -l /opt/cni/bincd $HOME配置启动kubelet创建数据目录mkdir -p /data/kubelet配置kubelet启动文件cat >/etc/systemd/system/kubelet.service<<EOF
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/kubernetes/kubernetes
After=docker.service
Requires=docker.service[Service]
WorkingDirectory=/data/kubelet
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/kubelet
ExecStart=/usr/local/kubernetes/bin/kubelet \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBELET_CONFIG \\\$KUBELET_HOSTNAME \\\$KUBELET_POD_INFRA_CONTAINER \\\$KUBELET_ARGS \\\$CADVISOR
Restart=on-failure[Install]
WantedBy=multi-user.target
EOF配置参数变量文件cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置kubelet文件# 注意修改kubelet文件里面的--hostname-override=要填写test1、test2、test3 这三个节点改成对应各自 ip ，或者各自的主机名。本实验写的是ip# 如果--hostname-override=填写的是ip，那么kubectl get nodes 得到的name就显示ip,如果填写的是主机名，得到的name就显示主机名# image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1这个镜像跟 kubectl get componentstatuses 获取不到资源没有关系,跟docker也没有关系# 但是网上搜这个镜像，说这个镜像是基础镜像，目前被墙，最好下载放到本地 registry 上# 注意 kubelet配置文件里面的参数kubelet.conf 是kubelet启动后生成的，不用管，就是这样写的# 注意/etc/kubernetes/pki 目录里面只放一个ca.pem 证书，# 启动kubelet后/etc/kubernetes/pki 目录里面会自动生成四个文件 kubelet.crt、kubelet.key、kubelet-client-current.pem、kubelet-client-2219-01-22-10-07-06.pem# CADVISOR 表明开启cadvisor监控，然后在启动文件中加上 ExecStart=$CADVISOR 就可以通过浏览器访问cadvisor监控，否则是无法访问的，cat >/etc/kubernetes/kubelet<<EOF
KUBELET_HOSTNAME="--hostname-override=test2"KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"KUBELET_CONFIG="--config=/etc/kubernetes/kubelet-config.yml"CADVISOR="--cadvisor-port=4194 --storage-driver-db='cadvisor' --storage-driver-host='localhost:8086'"KUBELET_ARGS="--bootstrap-kubeconfig=/etc/kubernetes/kubelet-bootstrap.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cert-dir=/etc/kubernetes/pki --network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d"EOF配置kubelet-config.yml文件# 注意修改kubelet-config.yml相关ip，test1 test2 test3 使用各自ip# 注意下面kubelet-config.yml里面的clusterDNS 地址要和coredns.yaml 里面的 clusterIP 地址保持一致。只有kubelet、coredns里面有 10.96.0.10，其他的组件都没有cat >/etc/kubernetes/kubelet-config.yml<<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address:192.168.0.91port:10250cgroupDriver: cgroupfs
clusterDNS:- 10.96.0.10clusterDomain: cluster.local.
hairpinMode: promiscuous-bridge
serializeImagePulls:falseauthentication:x509:clientCAFile:/etc/kubernetes/pki/ca.pem
EOF启动
systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet            # 启动后就会生成 csr
systemctl status kubelet查看日志# 启动 kubelet后查看日志会有报错# 报错原因是因为kubelet配置了network-plugin=cni，但是还没安装网络插件 flannel，所以状态会是NotReady,会报上面的错误，不想看这个报错或者不需要网络，就修改kubelet配置文件，去掉network-plugin=cni 就可以了[root@test2~]# journalctl -u kubelet |tailnetwork plugin is not ready: cni config uninitialized23.3、通过csr请求# 在test1 上操作，也可以在 test2 上操作# 通过csr请求的目的就是要加入集群# 注意：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE  这个长字符串是kubelet 初次启动后生成的，# 在test2 节点上操作就可以# 查看csr# 如果获取不到csr看日志会出现下面错误：[root@test2 kubernetes]# journalctl-u kubelet |tailfailed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User"kubelet-bootstrap"cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope# 原因是因为没有给kubelet-bootstrap授权，授权即可kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrapkubectl get csr执行结果[root@test1~]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ   18s       kubelet-bootstrap   Pending通过csr请求，下面的长字符串填写上一步的结果，kubectl certificate approve node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ[root@test1~]# kubectl certificate approve node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ
certificatesigningrequest.certificates.k8s.io/node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ approved查看kubelet启动后生成的文件说明：kubelet 启动后使用--bootstrap-kubeconfig 向 kube-apiserver 发送 CSR 请求，当这个 CSR 被 approve 后，kube-controller-manager 为 kubelet 创建 TLS 客户端证书、私钥和 --kubeletconfig 文件。kubelet.conf文件决定了csr的存在，如果要想重新获取csr,可以停掉kubelet，删除kubelet.conf文件，重启kubelet就可以获得csrls -l /etc/kubernetes/kubelet.confls -l /etc/kubernetes/pki/kubelet*查看结果[root@test2~]# ls -l /etc/kubernetes/kubelet.conf-rw------- 1 root root 2295 Jan 22 10:07 /etc/kubernetes/kubelet.conf[root@test2~]# ls -l /etc/kubernetes/pki/kubelet*
-rw------- 1 root root 1273 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
lrwxrwxrwx1 root root   58 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-current.pem -> /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem-rw-r--r-- 1 root root 2181 Jan 22 02:10 /etc/kubernetes/pki/kubelet.crt-rw------- 1 root root 1675 Jan 22 02:10 /etc/kubernetes/pki/kubelet.key查看节点状态# 之前做完上一步，就去吃饭了，饭后回来正想安装 flanel,突然一看192.168.0.91是Ready状态，所以等一会状态就会发生改变# 解释：此时节点状态为Ready，因为test2 节点已经安装过 flannel,这里就不需要再安装。所以只要通过csr就是ready状态，[root@test1~]# kubectl get nodes
NAME           STATUS    ROLES         AGE       VERSION192.168.0.91   Ready     <none>        2h        v1.11.0
192.168.0.92   Ready     node          21h       v1.11.0设置集群角色# 在test1 节点上操作# 设置 test1 为 master 角色kubectl label nodes192.168.0.91 node-role.kubernetes.io/master=# 设置 master 一般情况下不接受负载
kubectl taint nodes192.168.0.91 node-role.kubernetes.io/master=true:NoSchedulemaster运行podkubectl taint nodes master.k8s node-role.kubernetes.io/master-master不运行podkubectl taint nodes master.k8s node-role.kubernetes.io/master=:NoSchedule执行结果：[root@test1~]# kubectl label nodes 192.168.0.91 node-role.kubernetes.io/master=node/192.168.0.91labeled[root@master~]# kubectl get nodes
NAME           STATUS    ROLES         AGE       VERSION192.168.0.91   Ready     master        2h        v1.11.0
192.168.0.92   Ready     node           21h       v1.11.0[root@test1 k8s]# kubectl taint nodes192.168.0.91 node-role.kubernetes.io/master=true:NoSchedule
node/test1 tainted23.4、配置启动kube-proxy # 只在 tes1 上操作# 注意：关掉 kube-proxy 后仍然可以访问 svc curl "10.103.38.143:80" ，kube-proxy 的作用目前还没有发现下载、解压安装包mkdir -p /server/software/k8scd/server/software/k8s下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfptar -xf kubernetes-server-linux-amd64.tar.gz分发kube-proxy二进制文件# 后面kube-proxy.service启动文件需要用到kube-proxy二进制文件路径mkdir -p /usr/local/kubernetes/bincp /server/software/k8s/kubernetes/server/bin/kube-proxy /usr/local/kubernetes/bin    #这一步很关键安装依赖包yum install -y conntrack-tools拷贝kube-proxy.conf文件把 test1 节点上的kube-proxy.conf复制到/etc/kubernetes/ 目录下，kube-proxy.service启动参数中proxy文件需要用到kube-proxy.confcp /etc/kubernetes/kube-proxy.conf /etc/kubernetes/配置启动文件cat >/etc/systemd/system/kube-proxy.service<<EOF
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/proxy
ExecStart=/usr/local/kubernetes/bin/kube-proxy \\\$KUBE_LOGTOSTDERR \\\$KUBE_LOG_LEVEL \\\$KUBECONFIG \\\$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target
EOF配置参数变量文件# 前面配置kubelet组件时已经配置过参数变量文件，这里就不需要配置，写在这里这是知道是怎么回事cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"KUBE_LOG_LEVEL="--v=2"EOF配置proxy文件# 注意修改相关ip，test1 test2 test3 使用各自ip# 看下面proxy文件'--proxy-mode=iptables',由于采用iptables模式，因为 ipvs 模式在centos7上有bug无法正常使用，1.11.0以后的版本就可使用 ipvs 模式了，# 本实验采用centos7.5、kubernetes 1.11.0版本，所以使用iptables模式，# 特别注意：下面的cluster-cidr地址要和controller-manager里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0cat >/etc/kubernetes/proxy<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-proxy.conf"KUBE_PROXY_ARGS="--bind-address=192.168.0.91 --proxy-mode=iptables --hostname-override=192.168.0.91 --cluster-cidr=10.244.0.0/16"EOF启动
systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy23.5、容器外测试coredns解析# 只在 test1 上操作# 由于之前 test2节点已经安装过coredns，所以 test1节点就不需要安装了，直接测试# 这里的10.103.38.143:80是之前在 test2 节点上查询svc 得到的结果# 访问成功，[root@master k8s]# curl"10.103.38.143:80"
<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>23.6、浏览器访问 cadvisor监控服务浏览器访问http://192.168.0.91:4194/
参照文档：
http://www.maogx.win/posts/35/
http://www.maogx.win/
https://juejin.im/user/59ffa2836fb9a0451c39c64f/posts
http://blog.itpub.net/10995764/viewspace-2124022/