k8s+jenkins发布java服务
Centos7安装k8s容器集群请查阅:
一、准备的基础环境
1、gitlab环境(已有),如无则搭建,这里使用docker部署
$ mkdir /home/docker/gitlab -p
$ docker run -d
-p 6443:443
-p 6080:6080
-p 6022:22
–name gitlab
–restart always
-v /home/docker/gitlab/config:/etc/gitlab
-v /home/docker/gitlab/logs:/var/log/gitlab
-v /home/docker/gitlab/data:/var/opt/gitlab
gitlab/gitlab-ce:10.8.0-ce.0
1.1 进入gitlab修改文件,修改内容如下
docker exec -it gitlab vim /etc/gitlab/gitlab.rb
修改文件
external_url “http://xx.com:6080” #域名或IP这样可以使用外网访问
gitlab_rails[‘gitlab_shell_ssh_port’] = 6022 #暴露的外网ssh端口对应容器22端口
gitlab_rails[‘smtp_enable’] = true
gitlab_rails[‘smtp_address’] = “smtp.exmail.qq.com”
gitlab_rails[‘smtp_port’] = 465
gitlab_rails[‘smtp_user_name’] = “xx@qq.com”
gitlab_rails[‘smtp_password’] = “notice-IOT2018”
gitlab_rails[‘smtp_authentication’] = “login”
gitlab_rails[‘smtp_enable_starttls_auto’] = true
gitlab_rails[‘smtp_tls’] = true
gitlab_rails[‘gitlab_email_from’] = ‘xx@qq.com’
gitlab_rails[‘smtp_domain’] = “exmail.qq.com”
nginx[‘listen_port’] = 6080 #gitlab自带nginx的访问端口
1.2 重启gitlab服务
docker restart gitlab
1.3 访问地址:http://xx.com:6080
初次会先设置管理员密码 ,然后登陆,默认管理员用户名root,密码就是刚设置的。
2、镜像仓库harbor(服务器有多的可以单独用一台)
这里选用harbor作为存放私有镜像仓库
2.1 安装docker与docker-compose
wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum install docker-ce -y
systemctl start docker
systemctl enable docker
curl -L https://github.com/docker/compose/releases/download/1.25.0/docker-compose-uname -s
-uname -m
-o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
2.2 解压离线包部署
tar zxvf harbor-offline-installer-v1.9.1.tgz
cd harbor
vi harbor.yml 修改主机名
hostname: 192.168.175.59
./prepare
./install.sh --with-chartmuseum
docker-compose ps
–with-chartmuseum 参数表示启用Charts存储功能。
2.3 配置Docker可信任
由于habor未配置https,还需要在docker配置可信任。
cat /etc/docker/daemon.json
{“registry-mirrors”: [“http://f1361db2.m.daocloud.io”],
“insecure-registries”: [“192.168.175.59”]
}
systemctl restart docker
3、应用包管理器 Helm
3.1 安装Helm工具
wget https://get.helm.sh/helm-v3.0.0-linux-amd64.tar.gz
tar zxvf helm-v3.0.0-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/
3.2 配置国内Chart仓库
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo list
3.3 安装push插件
helm plugin install https://github.com/chartmuseum/helm-push
如果网络下载不了,可以到github上下载解压安装
https://github.com/chartmuseum/helm-push/releases
tar zxvf helm-push_0.7.1_linux_amd64.tar.gz
mkdir -p /root/.local/share/helm/plugins/helm-push
chmod +x bin/*
mv bin plugin.yaml /root/.local/share/helm/plugins/helm-push
3.4 添加repo
helm repo add --username admin --password 123456 myrepo http://192.168.175.59/chartrepo/library
3.5 推送与安装Chart
helm pull mysql
helm helm package mysql
helm push mysql-1.4.0.tgz --username=admin --password=SIEgushen8920c http://192.168.175.59/chartrepo/library
helm install web --version 1.4.0 myrepo/demo
4、数据库安装(忽略这里使用云主机搭建好的MySQL)
5、K8S PV自动供给
先准备一台NFS服务器为K8S提供存储支持。
yum install nfs-utils
vi /etc/exports
/data/kubernetes *(rw,no_root_squash)
mkdir -p /data/kubernetes
systemctl start nfs
systemctl enable nfs
并且要在每个Node上安装nfs-utils包,用于mount挂载时用。
由于K8S不支持NFS动态供给,还需要先安装上图中的nfs-client-provisioner插件:
cd nfs-client
vi deployment.yaml # 修改里面NFS地址和共享目录为你的
kubectl apply -f .
kubectl get pods
NAME READY STATUS RESTARTS AGE
nfs-client-provisioner-df88f57df-bv8h7 1/1 Running 0 49m
6、持续集成 Jenkins
[jenkins.zip]
6.1 解压附件,进行部署Jenkins
cd jenkins && kubectl apply -f .
kubectl get pods,svc #查看是否running
6.2 由于默认插件源在国外服务器,大多数网络无法顺利下载,需修改国内插件源地址:
cd jenkins_home/updates
sed -i ‘s/https://updates.jenkins.io/download/https://mirrors.tuna.tsinghua.edu.cn/jenkins/g’ default.json &&
sed -i ‘s/http://www.google.com/https://www.baidu.com/g’ default.json
kubectl get pods #查看jenkins的pod
然后删除jenkins,让k8s重新拉起一个jenkins即可。
kubectl delete pod jenkins的pod id
安装Jenkins此项目需要的插件:Git Parameter/Git/Pipeline/Config File Provider/kubernetes/Extended Choice Parameter
6.3 生成kubeconfig文件(到部署k8s集群的master节点的TLS目录的k8s目录下执行)
vim admin-csr.json
{
“CN”: “admin”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “system:masters”,
“OU”: “System”
}
]
}
到部署k8s集群的master节点的TLS目录的k8s目录下执行
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
二、创建kubeconfig文件
1.1 # 设置集群参数
kubectl config set-cluster kubernetes
–server=https://192.168.175.58:6443
–certificate-authority=ca.pem
–embed-certs=true
–kubeconfig=config
1.2 # 设置上下文参数
kubectl config set-context default
–cluster=kubernetes
–user=cluster-admin
–kubeconfig=config
1.3 # 设置默认上下文
kubectl config use-context default --kubeconfig=config
1.4 # 设置客户端认证参数
kubectl config set-credentials cluster-admin
–certificate-authority=ca.pem
–embed-certs=true
–client-key=admin-key.pem
–client-certificate=admin.pem
–kubeconfig=config
三、 #搭建jenkins slave
1.1 下载这个安装包
jenkins-slave解压,替换slave.jar包为自己jenkins下载的包
http://192.168.175.58:30006/jnlpJars/slave.jar
jenkins-slave]$ ls -lrth
-rwxr-xr-x 1 weihu weihu 37M Nov 13 2019 helm
-rwxr-xr-x 1 weihu weihu 2.0K Nov 24 2019 jenkins-slave
-rwxr-xr-x 1 weihu weihu 45M Dec 26 2019 kubectl
-rw-r–r-- 1 weihu weihu 23M Jul 23 01:12 node-v12.18.3-linux-x64.tar.gz
-rw-r–r-- 1 weihu weihu 183M Sep 10 16:02 jdk1.8.0_191.tar.gz
-rw-r–r-- 1 weihu weihu 11K Sep 10 17:22 settings.xml
-rw-r–r-- 1 weihu weihu 9.1M Oct 10 14:32 apache-maven-3.6.3-bin.tar.gz
-rw-r–r-- 1 weihu weihu 9.1M Oct 10 15:29 apache-maven-3.6.3.tar.gz
-rw-r–r-- 1 weihu weihu 853 Oct 10 15:33 Dockerfile
-rw-r–r-- 1 root root 1.5M Nov 3 15:55 slave.jar
1.2 #添加kubernetes云
配置jenkins地址为service名字:http://jenkins,然后保存即可
1.3 #制作jenkins slave镜像Dockerfile
FROM centos:7
LABEL maintainer chenjike
RUN yum install -y java-1.8.0-openjdk maven curl git libtool-ltdl-devel && \
yum clean all &&
rm -rf /var/cache/yum/* &&
mkdir -p /usr/share/jenkins
COPY slave.jar /usr/share/jenkins/slave.jar
COPY jenkins-slave /usr/bin/jenkins-slave
COPY settings.xml /etc/maven/settings.xml
RUN chmod +x /usr/bin/jenkins-slave
COPY helm kubectl /usr/bin/
ENTRYPOINT [“jenkins-slave”]
注解:
settings.xml文件的mirror设置公司内的neux地址
启动的jenkins slave没有docker命令打包镜像,需要挂载宿主机的docker
创建secret认证用于外部链接到k8s
1.4 #在jenkins添加registry认证
在ms命名空间下创建
k8s拉取私库镜像创建的secret只能在相同namespace下使用该secret,所以修改一个命令
kubectl create secret docker-registry registry-pull-secret --docker-server=192.168.175.59 --docker-username=admin --docker-password=123456 -n sie
注解:这里使用的账号密码是harbor的登陆密码,-n sie 是这个secret只能在相同namespace下使用该secret。
在jenkins添加harbor凭据,然后copy生成的ID,推送镜像认证;
在jenkins添加git认证,凭据,然后copy生成的ID,推送镜像认证
把上面 “二、创建kubeconfig文件” 步骤生成的config文件内容拷贝到jenkins上,Jenkins–》Managed添加一个文件,type选择Custom file,然后复制ID到k8s_auth
四、Jenkins上创建job
1.1 创建一个流水线
1.2 填写描述这个job是哪个平台服务
1.3 构建保留天数及次数
1.4 填写流水线脚本
#!/usr/bin/env groovy
// 所需插件: Git Parameter/Git/Pipeline/Config File Provider/kubernetes/Extended Choice Parameter
// 公共
def registry = "192.168.175.59"
// 项目
def project = "test"
def git_url = "http://xx.git"
def gateway_domain_name = "gateway.dev.com"
def portal_domain_name = "portal.dev.com"
// 认证
def image_pull_secret = "registry-pull-secret"
def harbor_registry_auth = "ss3a73" //在Jenkins上添加的harbor凭据生成的ID
def git_auth = "9s-3ss3d2ss7010a9" //在Jenkins上添加的gitlab凭据生成的ID
// ConfigFileProvider ID
def k8s_auth = "6c318se745" //在Jenkins上添加的k8s的config配置文件生成的IDpipeline {agent {kubernetes {label "jenkins-slave"yaml """
kind: Pod
metadata:name: jenkins-slave
spec:containers:- name: jnlpimage: "${registry}/library/jenkins-slave-jdk-nodejs:1.8"imagePullPolicy: AlwaysvolumeMounts:- name: docker-cmdmountPath: /usr/bin/docker- name: docker-sockmountPath: /var/run/docker.sock- name: maven-cachemountPath: /root/.m2volumes:- name: docker-cmdhostPath:path: /usr/bin/docker- name: docker-sockhostPath:path: /var/run/docker.sock- name: maven-cachehostPath:path: /tmp/m2
"""}}parameters {gitParameter branch: '', branchFilter: '.*', defaultValue: '', description: '选择发布的分支', name: 'Branch', quickFilterEnabled: false, selectedValue: 'NONE', sortMode: 'NONE', tagFilter: '*', type: 'PT_BRANCH' extendedChoice defaultValue: 'none', description: '选择发布的微服务', \multiSelectDelimiter: ',', name: 'Service', type: 'PT_CHECKBOX', \value: '1002-sieiot-gateway:9020'choice (choices: ['ms', 'demo'], description: '部署模板', name: 'Template')choice (choices: ['1', '3', '5', '7'], description: '副本数', name: 'ReplicaCount')choice (choices: ['sie'], description: '命名空间', name: 'Namespace')}stages {stage('拉取代码'){steps {checkout([$class: 'GitSCM', branches: [[name: "${params.Branch}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])}}stage('代码编译') {// 编译指定服务steps {sh """mvn clean package -Dmaven.test.skip=true"""}}stage('构建镜像') {steps {withCredentials([usernamePassword(credentialsId: "${harbor_registry_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {sh """docker login -u ${username} -p '${password}' ${registry}for service in \$(echo ${Service} |sed 's/,/ /g'); doservice_name=\${service%:*}image_name=${registry}/${project}/\${service_name}:${BUILD_NUMBER}cd \${service_name}docker build -t \${image_name} .docker push \${image_name}cd ${WORKSPACE}done"""configFileProvider([configFile(fileId: "${k8s_auth}", targetLocation: "admin.kubeconfig")]){sh """# 添加镜像拉取认证kubectl create secret docker-registry ${image_pull_secret} --docker-username=${username} --docker-password=${password} --docker-server=${registry} -n ${Namespace} --kubeconfig admin.kubeconfig |true# 添加私有chart仓库helm repo add --username ${username} --password ${password} myrepo http://${registry}/chartrepo/${project}"""}}}}stage('Helm部署到K8S') {steps {sh """common_args="-n ${Namespace} --kubeconfig admin.kubeconfig"for service in \$(echo ${Service} |sed 's/,/ /g'); doservice_name=\${service%:*}service_port=\${service#*:}image=${registry}/${project}/\${service_name}tag=${BUILD_NUMBER}helm_args="\${service_name} --set image.repository=\${image} --set image.tag=\${tag} --set replicaCount=${replicaCount} --set imagePullSecrets[0].name=${image_pull_secret} --set service.port=\${service_port} --set service.type=NodePort --set service.nodePort=\${service_port} --set service.targetPort=\${service_port} myrepo/${Template}"# 判断是否为新部署if helm history \${service_name} \${common_args} &>/dev/null;thenaction=upgradeelseaction=installfi# 针对服务启用ingressif [ \${service_name} == "1002-sieiot-gateway" ]; thenhelm \${action} \${helm_args} \--set ingress.enabled=true \--set ingress.host=${gateway_domain_name} \\${common_args}elif [ \${service_name} == "portal-service" ]; thenhelm \${action} \${helm_args} \--set ingress.enabled=true \--set ingress.host=${portal_domain_name} \\${common_args}elsehelm \${action} \${helm_args} \${common_args}fidone# 查看Pod状态sleep 10kubectl get pods \${common_args}"""}}}
}
因为这里是使用helm的chart模板进行部署服务的,所以在构建前需要把模板push到harbor仓库中,此模板位于k8s-master01的/home/bak目录下。
helm push ms-0.1.0.tgz --username=admin --password=123456 http://192.168.175.59/chartrepo/dev-sie
1.5 然后执行构建
第一次执行会报错,因为这是还没有拉取git代码并且没有获取到分支列表。
如下是执行成功的界面
五、Jenkins上创建job(构建上传镜像并生成成品文件
创建工程,填写工程名字及选择流水线
填写流水线内容
上图中pipeline内容
`#!/usr/bin/env groovy
// 所需插件: Git Parameter/Git/Pipeline/Config File Provider/kubernetes/Extended Choice Parameter
// 公共
def registry = “192.168.1.195” //harbor项目地址
// 项目
def project = “uat-sie” //harbor项目名
def git_url = “xxxx.git” //项目gitlab地址
// 认证
def image_pull_secret = “registry-pull-secret”
def harbor_registry_auth = “8f3xxx3c92” //在Jenkins上添加的harbor凭据生成的ID
def git_auth = “c3b554b2-xxx” //在Jenkins上添加的gitlab凭据生成的ID
// ConfigFileProvider ID
def k8s_auth = “bxxcc89a” //在Jenkins上添加的k8s的config配置文件生成的ID
pipeline {
agent {
kubernetes {
label “jenkins-slave”
yaml “”"
kind: Pod
metadata:
name: jenkins-slave
spec:
containers:
- name: jnlp
image: “${registry}/library/jenkins-slave:v1”
imagePullPolicy: Always
volumeMounts:- name: docker-cmd
mountPath: /usr/bin/docker - name: docker-sock
mountPath: /var/run/docker.sock - name: maven-cache
mountPath: /root/.m2
volumes: - name: docker-cmd
hostPath:
path: /usr/bin/docker - name: docker-sock
hostPath:
path: /var/run/docker.sock - name: maven-cache
hostPath:
path: /tmp/m2
“”"
}
}
parameters {
gitParameter branch: ‘’, branchFilter: ‘.’, defaultValue: ‘’, description: ‘选择发布的分支’, name: ‘Branch’, quickFilterEnabled: false, selectedValue: ‘NONE’, sortMode: ‘NONE’, tagFilter: '’, type: ‘PT_BRANCH’
extendedChoice defaultValue: ‘none’, description: ‘选择发布的微服务’,
multiSelectDelimiter: ‘,’, name: ‘Service’, type: ‘PT_CHECKBOX’,
value: ‘1002-sieiot-gateway:9020’
choice (choices: [‘test’], description: ‘命名空间’, name: ‘Namespace’)
}
stages {
stage(‘拉取代码’){
steps {
checkout([class:′GitSCM′,branches:[[name:"class: 'GitSCM', branches: [[name: "class:′GitSCM′,branches:[[name:"{params.Branch}"]],
doGenerateSubmoduleConfigurations: false,
extensions: [], submoduleCfg: [],
userRemoteConfigs: [[credentialsId: “gitauth",url:"{git_auth}", url: "gitauth",url:"{git_url}”]]
])
}
}
stage(‘代码编译’) {
// 编译指定服务
steps {
sh “”"
for service in $(echo ${Service} |sed ‘s/,/ /g’); do
service_name=${service%:}
cd ${service_name}
mvn clean install -Dmaven.test.skip=true
done
“”"
}
}
stage(‘构建镜像’) {
steps {
withCredentials([usernamePassword(credentialsId: “${harbor_registry_auth}”, passwordVariable: ‘password’, usernameVariable: ‘username’)]) {
sh “”"
docker login -u username−p′{username} -p 'username−p′{password}’ ${registry}
for service in $(echo ${Service} |sed ‘s/,/ /g’); do
service_name=${service%:}
service_port=${service#:}
image_name=registry/{registry}/registry/{project}/${service_name}k8s+jenkins发布java服务相关推荐
- jenkins+kubernetes(k8s)发布Springboot项目
jenkins+kubernetes(k8s)发布Java项目 准备工作 机器列表 镜像列表 创建一个java项目 创建jenkins镜像 Jenkins服务配置 启动jenkins 访问jenkin ...
- Jenkins部署Java web应用极简指南
Jenkins快速尝鲜指南 安装Jenkins 配置Jenkins 配置访问路径和端口号 配置Jenkins用户 配置全局工具 配置插件 配置nginx转发 新建构建任务 参数化构建 使用参数 指定分 ...
- jenkins编译java_在Window上使用Jenkins自动发布Java工件
jenkins编译java 这篇文章将展示如何使用Jenkins Continuous Integration自动执行Java Web应用程序(使用MYSQL DB和基于Hibernate ORM在基 ...
- 在Window上使用Jenkins自动发布Java工件
这篇文章将展示如何使用Jenkins Continuous Integration自动执行Java Web应用程序(使用MYSQL DB和基于Hibernate ORM在基于REST的Jersey2 ...
- k8s jenkins pipeline 多分支发布_给 Jenkins 换一个新皮肤:BlueOcean
BlueOcean是什么 Jenkins是一款Java开发的跨平台持续集成和持续发布的开源项目,它具有如下特征: 安装及迁移方便:安装直接部署war包,迁移只需替换JENKINS_HOME目录. 配置 ...
- 基于k8s、docker、jenkins构建springboot服务
环境准备 server-1 k8s-master Centos7 ip地址10.12.5.110server-2 k8s-node Centos7 ip地址10.12.5.115 两台服务执行如下命令 ...
- Jenkins自动部署发布Java代码
一.需求: Jenkins大多数情况下都是用来部署Java项目,上一篇博客已经写了自动打包Java项目,但在现实应用中,Jenkins很强大的,可以做到自动打包发布Java项目.这篇文章,将引导大家完 ...
- django调用java_07.手把手教将深度学习利用Django将模型发布成服务供java调用
标题 问题 一.python发布成服务 1.先建立一个深度学习模型并训练好 2.建立一个预测方法去调用训练好的模型 3.建立一个Django工程 4.将python利用模型预测的代码放入Django项 ...
- Docker容器 - DockerFile发布Java微服务并部署到Docker容器
目录 通过idea新建一个普通微服务项目 一.新建项目 二.POM 三.YML 四.启动类 五.Controller类 启动 通过Dockerfile发布微服务部署到docker容器 一.通过idea ...
最新文章
- el-date-picker设置默认日期_ERP入门教程:快速掌握金蝶ERP的基础-物料批次管理的应用及设置...
- LeetCode算法题-K-diff Pairs in an Array(Java实现)
- Gym - 215177C 玩游戏
- 阿里云智能视频 AI 重装来袭
- 冯乐乐 unity_Unity常用矩阵运算的推导补遗——切线空间
- 解决MSChart底部横坐标显示不全的问题
- 数据结构与算法分析(十)——母牛的故事
- python上传excel文件_POST上传的excel(xls)文件,如何直接读进pandas,避免写入到磁盘?...
- 例3.2 简单计算器 - 九度教程第27题(栈的应用)
- verilog 3段式状态机
- S5P6818 芯片手册 System Control 章节 理论篇
- 删除文档中的中文字符---只保留英文字符
- Office2016下Excel饼图和Visio饼图绘制的几个小技巧(饼图分离、颜色逐块编辑、扇形区起始角度指定等)
- Kafka同步发送与异步发送消息
- 吉吉国王(树形dp)
- JavaScript中Object.entries(obj)
- [摘记]数值方法02——内插法和外推法
- 初学Java常用设计模式之——单例模式
- markdown之表格的使用
- unzip: cannot find or open Ubuntu系统下解压文件失败的解决办法
热门文章
- jenkins+kubernetes(k8s)发布Springboot项目
- name: docker-cmd