文章目录

一、什么是Master-Slave分布式构建
二、操作流程
- 1、开启代理程序的TCP端口
- 2、新建节点
- 3、使用流水线项目
三、K8S实现master-slave分布式构建方案
- 1、传统Jenkins的master-slave方案缺陷
- 2、k8s简介
- 3、优势
四、安装K8S
- 1、三台机器安装docker
- 2、三台机器修改名称及hosts文件
- 3、关闭防火墙和关闭SELINUX
- 4、安装kubelet、kubeadm、kubectl
- 5、清空yum缓存
- 6、设置Yum安装源
- 7、master节点
- 8、常见错误
- - 8.1、错误一
  - 8.2、错误二
- 9、提示节点token命令
- 10、启动kubelet
- 11、安装calico
- 12、slave节点
- 13、kubectl常用命令

一、什么是Master-Slave分布式构建

Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节点的压力，而且可以同时构建多个，有点类似负载均衡的概念。

二、操作流程

1、开启代理程序的TCP端口

2、新建节点

Manage Jenkins—Manage Nodes—新建节点

这个下载的jar包需要传递到从节点服务器上

==在192.168.10.134中下载git ==

yum install -y git

配置运行节点slave1

3、使用流水线项目

node('slave1'){stage('pull code') {checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'fc695d81-0a6f-4319-96b0-6c4cede451ec', url: 'git@192.168.10.129:root/tensquare_back.git']]])}
}

查看分节点

三、K8S实现master-slave分布式构建方案

1、传统Jenkins的master-slave方案缺陷

1、Master节点发生单点故障时，整个流程都不可用了
2、每个 Slave节点的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致
3、资源分配不均衡，有的 Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
4、资源浪费，每台 Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源

2、k8s简介

Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的   应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的  便捷性。 其主要功能如下：
1、使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
2、以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。  解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题。
3、Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。

大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）

3、优势

1、服务高可用：当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master
容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。

2、动态伸缩，合理使用资源：每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。

3、扩展性好：当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个
Kubernetes Node 到集群中，从而实现扩展。

四、安装K8S

API Server：用于暴露Kubernetes API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。

Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。

Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点
（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额
（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态

Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node。

Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理

Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件

安装环境说明

1、三台机器安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum install -y docker-cesystemctl stop firewalld.servicesetenforce 0systemctl disable firewalld.servicesystemctl start dockerDocker  -vsudo systemctl enable dockersudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors"：["https://8er2zxqs.mirror.aliyuncs.com"]
}
EOF sudo systemctl daemon-reload
sudo systemctl restart dockervim /etc/sysctl.conf
net.ipv4.ip_forward=1sysctl -pservice network restartsystemctl restart docker

2、三台机器修改名称及hosts文件

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node02

vim /etc/hosts192.168.10.135 k8s-master
192.168.10.136 k8s-node1
192.168.10.137 k8s-node02

3、关闭防火墙和关闭SELINUX

systemctl stop ﬁrewalld
systemctl disable ﬁrewalld
setenforece 0
vim /etc/sysconfig/selinux永久关闭
selinux=disabled

modprobe br_netfilter

vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0

执行文件

sysctl -p /etc/sysctl.d/k8s.conf

kube-proxy开启ipvs的前置条件

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOFchmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

所有节点关闭

swapoff -a临时关闭
vim /etc/fstab 永久关闭

4、安装kubelet、kubeadm、kubectl

kubeadm: 用来初始化集群的指令。
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
kubectl: 用来与集群通信的命令行工具。

5、清空yum缓存

yum clean all

6、设置Yum安装源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装

yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

设置开启自启动

systemctl enable kubelet

查看版本

kubelet --version

7、master节点

1、运行初始化命令
–apiserver-advertise-address=192.168.10.135 \必须是master的IP地址

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.10.135 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

8、常见错误

8.1、错误一

问题

[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver

解决思路

作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”
解决方案：修改Docker的配置: vi /etc/docker/daemon.json，加入

{
“exec-opts”:[“native.cgroupdriver=systemd”]
}

然后重启Docker

8.2、错误二

问题

[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

解决思路

修改虚拟机的CPU的个数，至少为2个

9、提示节点token命令

必须记下，这是我的，不要复制我的，会报错

k8stoken:kubeadm join 192.168.10.135:6443 --token 9ko17g.eq41vp9vx4la7fp2 \--discovery-token-ca-cert-hash sha256:d73cde47f84fe106d20383d0adddbe9111e53838d8d80473c20333300027728a

10、启动kubelet

systemctl restart kubelet

配置kubectl工具

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config

11、安装calico

mkdir k8s
cd k8s
//不检查凭证下载calico.yaml
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
//地址修改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
kubectl apply -f calico.yaml

查看所有pod的状态，确保所有pod都是running

kubectl get pod --all-namespaces -o wide

12、slave节点

让所有节点加入集群环境

kubeadm join 192.168.10.135:6443 --token 9ko17g.eq41vp9vx4la7fp2 \--discovery-token-ca-cert-hash sha256:d73cde47f84fe106d20383d0adddbe9111e53838d8d80473c20333300027728a

启动kubelet

systemctl start kubelet

回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功

kubectl get nodes

13、kubectl常用命令

kubectl get nodes    查看所有主从节点的状态
kubectl get ns  获取所有namespace资源
kubectl get pods -n {$nameSpace}    获取指定namespace的pod
kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less 查看日志kubectl create -f xxx.yml   通过配置文件创建一个集群资源对象kubectl delete -f xxx.yml   通过配置文件删除一个集群资源对象

Jenkins骚操作第十三章之基于Kubernetes/K8S构建Jenkins持续集成平台(上)相关推荐

基于Kubernetes/K8S构建Jenkins持续集成平台（一）
目录 Kubernetes实现Master-Slave分布式构建方案传统Jenkins的Master-Slave方案的缺陷 Kubernates+Docker+Jenkins持续集成架构图 Kube ...
大数据容器化-基于Kubernetes(k8s)构建spark运行环境
Apache Spark 在大数据处理与分析领域,Apache Spark无疑占据着重要地位.它的特点是基于内存计算,支持各类资源管理平台,其中以YARN最为常见,同时又与Hadoop平台集成,在集群 ...
Jenkins骚操作第四章构建maven项目和Pipeline流水线项目构建
文章目录 Jenkins构建Maven项目 1.Jenkins项目构建类型-自由风格项目构建 1.1.拉取代码 1.2.编译打包 1.3.部署 2.Jenkins项目构建类型(3)--Maven项目构 ...
持续集成平台Jenkins配置方法介绍
持续集成(Continuous integration,CI)是软件开发和发布流程中最重要的组成部分,有利于加快开发进度.Jenkins是常用的持续集成管理工具,本文将简要介绍Jenkins持续集成工 ...
基于 CODING 轻松搞定持续集成
点击观看视频教程带你一步一步搞定 CODING 持续集成持续集成加速软件交付持续集成这个概念是由 Grady Booch 在 1991 年首次提出,随后成为了 DevOps 的核心实践之一.持续 ...
coding制品库持续集成php项目,基于 CODING 轻松搞定持续集成
点击观看视频教程带你一步一步搞定 CODING 持续集成持续集成加速软件交付持续集成这个概念是由 Grady Booch 在 1991 年首次提出,随后成为了 DevOps 的核心实践之一.持续 ...
通过C#和Xamarin或JavaScript和基于VS的Cordova工具，VS平台上的开发者可以
2019独角兽企业重金招聘Python工程师标准>>> 11月13日消息,微软刚刚宣布了 Visual Studio 2015和.Net 2015 预览版,并同时提供了下载. 微软在 ...
持续集成平台Jenkins：docker镜像升级
Jenkins 2.357 及 LTS 2.361.1之后的版本要求Java 11 或者 17,如果使用的是Java 8,要升级最新版本的Jenkins,就需要升级Java JDK版本,本文记录一下如 ...
Volcano架构解读：基于Kubernetes的云原生批量计算平台
Volcano是一个基于Kubernetes的云原生批量计算平台,也是CNCF的首个批量计算项目. Volcano 主要用于AI.大数据.基因.渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支 ...
camel_Meet Fabric8：基于Camel和ActiveMQ的开源集成平台
camel 面料8 Fabric8是Red Hat的JBoss Fuse产品的Apache 2.0许可上游社区. 这是一个基于Apache ActiveMQ , Camel , CXF , Karaf ...

Jenkins骚操作第十三章之基于Kubernetes/K8S构建Jenkins持续集成平台(上)