kubeadm工作原理-kubeadm init原理分析-kubeadm join原理分析
kubeadm概述
kubeadm是社区维护的Kubernetes集群一键部署利器,使用两条命令即可完成k8s集群中master节点以及node节点的部署,其底层原理是利用了k8s TLS bootstrap特性。
kubeadm部署k8s集群示例
(1)k8s master节点部署:
$ kubeadm init
此外,我们也可以自己编写yaml文件来自定义kubeadm的启动过程和一些组件的启动参数等等
$ kubeadm init --config xxx.yaml
(2)k8s node节点部署(将一个node节点加入到已有集群当中):
$ kubeadm join <kube-apiserver的ip + 端口> --token <token>
此外,我们也可以自己编写yaml文件来自定义kubeadm的启动过程和一些组件的启动参数,包括kube-apiserver的ip与端口、token等
$ kubeadm join --config xxx.yaml
关于自定义yaml文件以及更多的kubeadm用法请参考:https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
k8s TLS bootstrap概述
当k8s集群开启了TLS认证后,每个节点的kubelet组件都要使用由kube-apiserver的CA签发的有效证书才能与kube-apiserver通信;当节点非常多的时候,为每个节点都单独签署证书是一件非常繁琐而又耗时的事情。
此时k8s TLS bootstrap功能应运而生。
k8s TLS bootstrap功能就是让kubelet先使用一个预先商定好的低权限token连接到kube-apiserver,向kube-apiserver申请证书,然后kube-controller-manager给kubelet动态签署证书,后续kubelet都将通过动态签署的证书与kube-apiserver通信。
关于k8s TLS bootstrap的详细分析这里暂时不展开。
kubeadm原理解析
大致流程
在k8s master中,会先启动一个kubelet,控制面组件通过kubelet static pod特性启动,在k8s master控制面组件启动成功后,其他节点需要加入到k8s集群时,使用TLS bootstrap来简化加入的过程,先通过bootstrap-token与kube-apiserver通信,自动从kube-controller-manager处签发拿到与kube-apiserver通信的证书,然后自动生成与kube-apiserver通信的kubeconfig文件,后续将使用kubeconfig文件与kube-apiserver进行通信。
详细流程解析
1.kubeadm init
kubeadm init的结果是完成一个k8s master节点的部署,包括kube-apiserver、kube-controller-manager、kube-scheduler、etcd等控制面组件以及kubelet数据面组件,即该master节点既是控制面又是数据面,所以master节点上也是可以运行pod的;
以下为kubeadm init的处理流程代码(基于k8s v1.17.4版本),一共13步:
// cmd/kubeadm/app/cmd/init.go-NewCmdInit()...// initialize the workflow runner with the list of phasesinitRunner.AppendPhase(phases.NewPreflightPhase()) // 1.环境检查initRunner.AppendPhase(phases.NewKubeletStartPhase()) // 2.配置并启动kubeletinitRunner.AppendPhase(phases.NewCertsPhase()) // 3.证书生成initRunner.AppendPhase(phases.NewKubeConfigPhase()) // 4.kubeconfig文件生成initRunner.AppendPhase(phases.NewControlPlanePhase()) // 5.控制面组件yaml生成initRunner.AppendPhase(phases.NewEtcdPhase()) // 6.etcd组件yaml生成initRunner.AppendPhase(phases.NewWaitControlPlanePhase()) // 7.等待控制面组件运行initRunner.AppendPhase(phases.NewUploadConfigPhase()) // 8.上传配置initRunner.AppendPhase(phases.NewUploadCertsPhase()) // 9.上传CA证书/私钥initRunner.AppendPhase(phases.NewMarkControlPlanePhase()) // 10.master节点打污点initRunner.AppendPhase(phases.NewBootstrapTokenPhase()) // 11.生成bootstrap token和ca证书configmapinitRunner.AppendPhase(phases.NewKubeletFinalizePhase()) // 12.更换kubelet证书initRunner.AppendPhase(phases.NewAddonPhase()) // 13.安装Addon...
(1)环境检查。检查项包括操作系统内核版本、k8s组件暴露服务的指定端口是否被占用、docker是否安装、iptables命令是否安装等等,其实这一步还包括了拉取kubeadm部署所需的镜像;
(2)配置并启动kubelet。创建kubelet启动所需的配置文件,并启动kubelet,kubeadm使用了systemd的方式部署启动kubelet;
# systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node AgentLoaded: loaded (/usr/lib/systemd/system/kubelet.service; disabled; vendor preset: enabled)Drop-In: /usr/lib/systemd/system/kubelet.service.d└─10-kubeadm.confActive: active (running) ...
为什么master上还需要配置启动kubelet呢?
因为kubeadm init的时候需要将master控制面组件kube-apiserver、kube-controller-manager、kube-scheduler、etcd以pod的方式运行起来,而现在又没有在运行的控制面以及kubelet,怎么办呢,kubeadm的做法是,给master节点上也安装启动kubelet,然后使用kubelet static pod特性将master控制面组件运行起来。
关于static pod,详细内容可参考:https://kubernetes.io/zh/docs/tasks/configure-pod-container/static-pod/
(3)证书生成。即生成kubernetes对外提供服务所需的各种证书,放到/etc/kubernetes/pki目录下;
# ls /etc/kubernetes/pki
apiserver.crt apiserver-etcd-client.crt apiserver-etcd-client.key apiserver.key apiserver-kubelet-client.crt apiserver-kubelet-client.key ca.crt ca.key etcd front-proxy-ca.crt front-proxy-ca.key front-proxy-client.crt front-proxy-client.key sa.key sa.pub
(4)kubeconfig配置文件生成。即生成master节点上kube-controller-manager、kube-scheduler、kubelet组件等访问kube-apiserver的kubeconfig文件,放到/etc/kubernetes目录下,文件包含了apiserver的地址、监听端口、证书等信息,使用该kubeconfig文件即可直接与kube-apiserver通信;
# ls /etc/kubernetes
admin.conf controller-manager.conf kubelet.conf manifests pki scheduler.conf
master上的kubelet启动后,使用kubeadm生成的kubeconfig与kube-apiserver进行通信,通过证书轮换,向kube-apiserver申请新的证书,由kube-controller-manager签发证书返回。
注意:这里master上的kubelet不会使用TLS bootstrap特性。
(5)控制面组件yaml文件生成。即kubeadm为4个控制面组件kube-apiserver、kube-controller-manager、kube-scheduler生成pod yaml文件,放到/etc/kubernetes/manifests目录下,然后kubelet会根据static pod特性,使用pod的方式将它们部署起来;
# ls /etc/kubernetes/manifests
kube-apiserver.yaml kube-controller-manager.yaml kube-scheduler.yaml
(6)etcd组件yaml文件生成。即kubeadm为etcd组件生成pod yaml文件,放到/etc/kubernetes/manifests目录下,然后kubelet会根据static pod特性,使用pod的方式将etcd部署起来;
# ls /etc/kubernetes/manifests
etcd.yaml kube-apiserver.yaml kube-controller-manager.yaml kube-scheduler.yaml
(7)等待控制面组件运行。kubeadm会不间断检查localhost:6443/healthz这个url,等待master组件完全启动;
(8)上传配置。这里会创建2个configmap有,都创建在kube-system命名空间下,名称分别是kubeadm-config、kubelet-config-xxx(k8s版本),分别存储着kubeadm的集群配置信息、kubelet的配置信息;
(9)上传CA证书/私钥。该步骤默认不执行,通过增加——upload-certs
参数启用,它会将相关的CA证书/私钥加密后作为data,在kube-system
命名空间下创建名称为kubeadm-certs
的secret,给后续的master节点kubeadm join使用,这样join时可以直接从secret中解密出CA证书/私钥,然后签发其他证书,而无需手工复制相关CA证书/私钥;
kubeadm init执行完成后,会输出一个名称为certificateKey的值,然后在其他master节点join时,加上--certificate-key
参数即可。
certificateKey是在添加新的master节点时用来解密kubeadm-certs
secret中的证书的秘钥。
kubeadm-certs示例如下,其中的证书和私钥均已加密,通过certificateKey解密即可使用:
apiVersion: v1
data:ca.crt: KfdZpEDF1wJfaexXls5...ca.key: VXfm7luIyM3QT+Rd04+...etcd-ca.crt: wwSzqCcltkrP26...etcd-ca.key: gqusZazZLF33Ip...front-proxy-ca.crt: EmfgKP6...front-proxy-ca.key: wKMYSrk...sa.key: pscxeFTGoCFZ6hrE1XK...sa.pub: keey1WPkWdj2TjEb/oM...
kind: Secret
metadata:name: kubeadm-certsnamespace: kube-systemownerReferences:- apiVersion: v1blockOwnerDeletion: truecontroller: truekind: Secretname: bootstrap-token-xxxxxx......
type: Opaque
注意:secret kubeadm-certs
和解密密钥certificateKey会在两个小时后失效。
(10)master节点打污点。将该master节点打上污点,不作为计算节点数据面使用;
(11)生成bootstrap token和ca证书configmap。
kubeadm会为该k8s集群生成一个bootstrap token并打印出来,后续的node节点通过这个token,通过kubeadm join命令,使用TLS bootstrap特性即可加入到这个k8s集群中,当然,这里还包括了为该token创建RBAC的各个对象,赋予该token创建CSR证书签名请求的权限、自动批复CSR请求的权限、轮换证书请求自动批复的权限等,这里不展开介绍,后续分析k8s TLS bootstrap原理时再做分析;
kubeadm init执行完成后,也可以通过以下命令获取token:
# kubeadm token list
kubeadm还会将ca.crt、apiserver url等信息,保存到一个configmap当中,给后续加入该k8s集群的node节点使用,configmap名称为cluster-info,位于kube-public命名空间下;
# kubectl get configmap -n kube-public -o yaml cluster-info
apiVersion: v1
data:kubeconfig: |apiVersion: v1clusters:- cluster:certificate-authority-data: LS0tLS1CRUdJTiBDRVJUSUZJQ0F...server: https://192.168.1.10:6443name: ""contexts: nullcurrent-context: ""kind: Configpreferences: {}users: null
kind: ConfigMap
metadata:
(12)更换kubelet证书。前面说过,master上的kubelet启动后,使用kubeadm生成的kubeconfig与kube-apiserver进行通信,通过证书轮换,向kube-apiserver申请新的证书,由kube-controller-manager签发证书返回。而这里说的更换kubelet证书,其实就是将kubelet与kube-apiserver通信的kubeconfig文件中的证书替换成由kube-controller-manager签发返回的证书,即将kubeconfig文件中的client-certificate
与client-key
的值都替换成/var/lib/kubelet/pki/kubelet-client-current.pem
;
apiVersion: v1
clusters:
- cluster:certificate-authority-data: LS0tLS1CRUdJTiBDRVJUSUZJQ0F...server: https://192.168.1.10:6443name: test-cluster
contexts:
- context:cluster: test-clusteruser: system:node:test-cluster-master-1name: system:node:test-cluster-master-1
current-context: system:node:test-cluster-master-1
kind: Config
preferences: {}
users:
- name: system:node:test-cluster-master-1user:client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pemclient-key: /var/lib/kubelet/pki/kubelet-client-current.pem
(13)安装Addon。安装coredns与kube-proxy,kubeadm init流程结束。
2.kubeadm join
kubeadm join的结果是完成一个k8s master节点或node节点加入一个已有的k8s集群。
以下为kubeadm join的处理流程代码(基于k8s v1.17.4版本),一共5步:
// cmd/kubeadm/app/cmd/join.go-NewCmdInit()...joinRunner.AppendPhase(phases.NewPreflightPhase()) // 1.环境检查joinRunner.AppendPhase(phases.NewControlPlanePreparePhase()) // 2.控制面准备joinRunner.AppendPhase(phases.NewCheckEtcdPhase()) // 3.检查etcd是否健康joinRunner.AppendPhase(phases.NewKubeletStartPhase()) // 4.启动kubeletjoinRunner.AppendPhase(phases.NewControlPlaneJoinPhase()) // 5.控制面操作...
(1)环境检查。检查项包括操作系统内核版本、k8s组件暴露服务的指定端口是否被占用、docker是否安装、iptables命令是否安装等等,但这里的环境检查与kubeadm init时的检查有点不同,这里会区分是join的master节点还是node节点,如果是node节点,则仅仅进行node相关的检查;
另外,这里还会获取kube-public命名空间下的configmap对象cluster-info,从中CA、master api等信息;
(2)控制面准备。如果是node的join,这一步的逻辑不会执行。这里会从kube-system命名空间中加载名称为kubeadm-certs的secret对象,然后生成控制面组件kube-apiserver、kube-controller-manager、kube-scheduler所需的证书,最后生成它们的部署yaml,放置到kubelet的static pod目录下,被kubelet使用static pod特性启动;
(3)检查etcd是否健康。
(4)启动kubelet。根据CA、bootstrap token等信息生成/etc/kubernetes/bootstrap-kubelet.conf文件,通过TLS bootstrap机制,kubelet使用bootstrap token来向kube-apiserver申请证书,由kube-controller-manager签发证书返回,然后kubelet根据返回的证书生成kubeconfig文件并写入到/etc/kubernetes/kubelet.conf文件,后续kubelet将会使用该kubeconfig文件来与kube-apiserver通信;
# cat /etc/kubernetes/kubelet.conf
apiVersion: v1
clusters:
- cluster:certificate-authority-data: LS0tLS1CRUdJTiBDRVJUSUZJQ0F...server: https://192.168.1.10:6443name: default-cluster
contexts:
- context:cluster: default-clusternamespace: defaultuser: default-authname: default-context
current-context: default-context
kind: Config
preferences: {}
users:
- name: default-authuser:client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pemclient-key: /var/lib/kubelet/pki/kubelet-client-current.pem
注意:bootstrap-kubelet.conf文件会在kubelet.conf文件生成后,被kubeadm删除掉;
(5)控制面操作。如果是node的join,这一步的逻辑不会执行。控制面操作包括生成etcd的static pod yaml、更新kube-system命名空间下的configmap对象kubeadm-config,将该控制节点信息更新进去、将该master节点打上污点,不作为计算节点数据面使用;至此,kubeadm join流程结束。
kubeadm工作原理-kubeadm init原理分析-kubeadm join原理分析相关推荐
- Kubernetes Kubeadm init 与 join 原理分析
一.kubeadm概述 kubeadm是社区维护的Kubernetes集群一键部署利器,使用两条命令即可完成k8s集群中master节点以及node节点的部署,其底层原理是利用了k8s TLS boo ...
- iOS之深入解析alloc、init与new的底层原理
底层探索 一.对于iOS的底层原理探索,查找到函数所在的源码库,一般有以下方法实现 ① 符号断点 在哪里新建符号断点:选择 Symbolic Breakpoint : 怎么添加符号断点:在Symbol ...
- Vue3源码分析之打包原理
Vue3源码分析之打包原理 如果之前你已经看过我的<Vue3源码分析之入门>,那么你可以直接阅读此篇文章 Vue3源码分析之入门 一.配置环境 1. 全局安装yarn Monorepo 管 ...
- Dubbo 源码分析 - 自适应拓展原理
1.原理 我在上一篇文章中分析了 Dubbo 的 SPI 机制,Dubbo SPI 是 Dubbo 框架的核心.Dubbo 中的很多拓展都是通过 SPI 机制进行加载的,比如 Protocol.Clu ...
- Android 4.4 NotificationManagerService使用详解与原理分析(二)__原理分析
前置文章: <Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解> 转载请务必注明出处:http://blog. ...
- 手撸spring源码分析IOC实现原理
手撸spring源码分析IOC实现原理 文章出处:https://github.com/fuzhengwei/small-spring 根据小付哥的手撸spring核心源码一步步学习出来的结果收货总结 ...
- java编程实现算符优先分析法,编译原理实验三-算符优先分析法
编译原理实验3-算符优先分析法 #include #include #include #include #define SIZE 128 char priority[6][6]; //算符优先关系表数 ...
- 编译原理 实验四 LR(0)分析法(LR0分析表的自动生成)
写在前面 由于代码较长,csdn对文章总长度有字数限制,想只看完整代码的请移步另一篇博客. https://blog.csdn.net/qq_46640863/article/details/1257 ...
- 视频分析算法的原理简介
视频分析算法的原理简介 视频分析技术来源于计算机视觉,它能够在图象及图象描述之间建立映射关系,从而使计算机能够通过图象处理和分析来理解画面中的内容,其实质是"自动分析和抽取视频源中的关 ...
- 家用电器系列分析之电磁炉原理
日常生活中,我们身边有很多家用电器.研究下这些电器的原理也是很有意思的. 先上几幅图. 1.主线圈 2.主板 3.前面板 4.主板原理图 5.主板等效图 下面一步一步来分析电磁炉的原理. a.主回路 ...
最新文章
- linux下eclipse的使用教程,linux下Eclipse的使用方法总结.doc
- Cisco 设备设置监控口
- 设计模式学习笔记(二十二:备忘录模式)
- Windows 下单机最大TCP连接数
- qtextedit非编辑时去边框_Photoshop玩腻了!这10个图形编辑神器你知道吗
- ASP.NET Page和Response 输出js的区别
- 数据库-日期计算-获取年月日
- 【原创】C# war3 巨魔精灵 minimap
- Kubernetes学习之路(四)之Node节点二进制部署
- 划痕实验 迁移面积自动统计_从Jupyter迁移到合作实验室
- cubietruck 编译 linux,Cubietruck---1. ct的使用说明烧写及源码的编译
- Java—线程的生命周期及线程控制方法详解
- 蓝桥杯单片机数码管动态显示_单片机静态动态数码管
- 直观理解Hilbert空间是什么?
- 数学建模学习之模糊评价法
- 微信小程序如何关闭云开发
- Edge浏览器快捷键
- 已成功与服务器建立连接,但是在登录前的握手期间发生错误
- MyBatis 大于小于不等于的写法
- python打分函数_自定义评分函数RandomForestRegress
热门文章
- 配置Ubuntu以及ssh
- 计算机专业对记忆力要求高吗,程序员/程序设计者的智商高吗?记忆力强吗?...
- 智商一般学计算机,IQ最高的十大专业公布 智商不高慎选
- 基于5G网络的远程控制机器人应用及测试
- PDF417美国驾照条形码信息自动识别
- 北大「通班」!AI界泰斗朱松纯领衔、IEEE Fellow 陈宝权出任副院长
- Golang sync.Cond 简介与用法
- Java语言开发在线购物推荐网 购物商城推荐系统 基于用户、物品的协同过滤推荐算法 SSM(Spring+SpringMVC+Mybatis)开发框架 大数据、人工智能、机器学习项目开发
- python之父:一个合格的python程序员,应该从这三本书入手!
- 华三模拟器启动设备失败【启动设备MSR36-20_1失败】