k8s+jenkins中使用自定义maven镜像

简述

在k8s中使用工具不能像传统方式那样，在宿主机yum或编译安装，然后再挂载到容器中使用了；因为pod运行的节点不是固定的，如果继续按照传统方式，需要在pod可能运行的每个节点上都安装工具，这无疑非常繁琐！
好在，现在的工具基本都支持docker部署，这样只需将工具的docker化添加到pod中，k8s就可以灵活使用了。

需求

k8s+jenkins中直接使用官方maven镜像虽然也可以打包，但是打包过程中下载存储在repository中依赖会随着容器的销毁而丢失，这样在下次打包时需要重新下载，严重影响CI/CD的效率。

另外由于项目的多样性，还可能使用maven artifactory私服、阿里镜像库、harbor仓库等，继续使用官方的maven镜像是无法满足项目需求的，还好官方提供的maven镜像只是一个基础镜像，此时我们可以按需自定义maven镜像，并将其集成内部的harbor或其他docker仓库中。

因此我们对maven的需求如下：

本地持久化存储repository
集成maven artifactory私服
集成harbor仓库

自定义maven镜像原理

1.持久化存储repository

docker-maven中Packaging a local repository with the image部分中介绍了以下几点：

默认的repository在/root/.m2容器目录中，容器销毁后，无法持久化存在；
settings-docker.xml作用是将本地化repository更改至/usr/share/maven/ref/repository；
/usr/share/maven/ref/下的内容在容器启动时全部copy到/root/.m2中，其中包括repository；

我们可以直接启动maven容器了解下：

# docker run -it  maven:3.6.3-jdk-8 /bin/bash
root@86af4d73fb83:/# ls /usr/share/maven/ref/
settings-docker.xml
root@86af4d73fb83:/# ls /root/.m2/
copy_reference_file.log  repository  settings-docker.xml
# copy过程的日志
root@86af4d73fb83:~/.m2# cat copy_reference_file.log
--- Copying all files to /root/.m2 at Fri Aug  7 06:54:56 UTC 2020
'./settings-docker.xml' -> '/root/.m2/./settings-docker.xml'

其实以上copy操作是通过容器的entrypoint /usr/local/bin/mvn-entrypoint.sh执行的，一旦容器启动此脚本就会执行：

root@86af4d73fb83:/# cat /usr/local/bin/mvn-entrypoint.sh
#! /bin/sh -eu# Copy files from /usr/share/maven/ref into ${MAVEN_CONFIG}
# So the initial ~/.m2 is set with expected content.
# Don't override, as this is just a reference setupcopy_reference_files() {local log="$MAVEN_CONFIG/copy_reference_file.log"local ref="/usr/share/maven/ref"if mkdir -p "${MAVEN_CONFIG}/repository" && touch "${log}" > /dev/null 2>&1 ; thencd "${ref}"local reflink=""if cp --help 2>&1 | grep -q reflink ; thenreflink="--reflink=auto"fiif [ -n "$(find "${MAVEN_CONFIG}/repository" -maxdepth 0 -type d -empty 2>/dev/null)" ] ; then# destination is empty...echo "--- Copying all files to ${MAVEN_CONFIG} at $(date)" >> "${log}"cp -rv ${reflink} . "${MAVEN_CONFIG}" >> "${log}"else# destination is non-empty, copy file-by-fileecho "--- Copying individual files to ${MAVEN_CONFIG} at $(date)" >> "${log}"find . -type f -exec sh -eu -c 'log="${1}"shiftreflink="${1}"shiftfor f in "$@" ; doif [ ! -e "${MAVEN_CONFIG}/${f}" ] || [ -e "${f}.override" ] ; thenmkdir -p "${MAVEN_CONFIG}/$(dirname "${f}")"cp -rv ${reflink} "${f}" "${MAVEN_CONFIG}/${f}" >> "${log}"fidone' _ "${log}" "${reflink}" {} +fiecho >> "${log}"elseecho "Can not write to ${log}. Wrong volume permissions? Carrying on ..."fi
}owd="$(pwd)"
copy_reference_files
unset MAVEN_CONFIGcd "${owd}"
unset owdexec "$@"

现在/root/.m2下的内容来源可解释如下：

copy_reference_file.log：/usr/local/bin/mvn-entrypoint.sh脚本生成的日志文件
settings-docker.xml：从/usr/share/maven/ref中复制到/root/.m2下
repository：自动创建，如果/usr/share/maven/ref中有repository存在会全部copy
既然/root/.m2下的文件会丢失，而这些文件可以/usr/share/maven/ref复制且该目录下的内容是在一直存在的，那么我们可以将存储挂载到/usr/share/maven/ref/repository实现本地持久化存储了。

2.集成私服、harbor

/usr/share/maven/ref目录下的只有settings-docker.xml，而要集成镜像库需要更改全局配置文件settings.xml，因此我们需要在镜像中新增settings.xml，前提是保证本地化repository为/usr/share/maven/ref/repository。

# 添加setttings.xml
# vim setttings.xml
# 1.添加localRepository
# 和settings-docker.xml中localRepository配置一致<localRepository>/usr/share/maven/ref/repository</localRepository>
# 2.添加mvn artifactory私服和harbor，请根据实际情况添加<server><id>central</id><username>readonly</username><password>{HMpWmDY+asd=}</password></server><server><id>snapshots</id><username>readonly</username><password>{HMpWmDY+asd=}</password></server><server><id>docker-harbor</id><username>admin</username><password>WnrCdA1NZLBfyfE121230</password><configuration><email>test@test.cn</email></configuration></server></servers>
# 添加私服密码加密文件settings-security.xml
# vim settings-security.xml
<settingsSecurity><master>{hSYsdfasUoHyhvNN3Lwxf1Mfh/TBHLOCw=}</master>
</settingsSecurity>

3.小结

我们在/usr/share/maven/ref中其实新增了以下内容：

setttings.xml 全局配置文件
settings-security.xml 私服密码加密文件
repository 持久化仓库，可通过在k8s内pv直接挂载到repository

创建自定义maven镜像

# 1.创建配置目录
# mkdir maven
# ls
Dockerfile  settings-security.xml  settings-security.xml
# 2.Dockerfile配置
# vim Dockerfile
# 基于maven:3.6.3-jdk-8构建公司内部可以使用maven私服、harbor的镜像
From maven:3.6.3-jdk-8
MAINTAINER test test@test.cnCOPY settings.xml /usr/share/maven/ref/
COPY settings-security.xml /usr/share/maven/ref/# 3.构建镜像并推送到harbor
docker build --tag tools/maven:v1 .
docker tag tools/maven:v1 harbor.test.cn/tools/maven:v1
docker push harbor.test.cn/tools/maven:v1

jenkins设置

本文基于使用Jenkins master位于k8s集群外，实现jenkins slave的动态构建提供的基础环境。

1.添加新的container template

maven 和 jenkins-slave在同一个pod中

名称：pod中maven容器名称
Docker镜像：存放在harbor中自定义maven镜像
工作目录：默认工作目录，不是关键配置，可更换；
运行的命令：即容器的entrypoint，必须为空，如果添加会覆盖容器默认的/usr/local/bin/mvn-entrypoint.sh，导致/usr/share/maven/ref下的内容无法copy到/root/.m2;
命令参数：可有可无；

2.挂载卷

默认情况下，maven容器没有有效存储挂载，为实现repository的本地持久化存储，我们将在NFS主目录下创建repository子目录并挂载到/usr/share/maven/ref/repository下，maven容器启动将会copy到默认的/root/.m2中。

3.流水线

pipeline {agent {label 'jenkins-slave-k8s'}stages {stage('test') {steps{git credentialsId: 'git-auth', url: 'http://x.x.x.x/source/test.git'}}stage('maven') {steps {container('maven') {sh """mvn clean install #mvn clean package docker:build -DdockerImageTags=v3 -DpushImageTag"""}}}}
}

如图，我们使用maven artifactory私服打包成功，只有在第一次打包时由于下载依赖jar会比较慢，后续通过本地持久化repository，无须再次下载jar包，因此会更快些。

如果使用maven工具build、push镜像到harbor中，还需在jenkins中做如下设置，否则会报错：

总结

在k8s+jenkins中使用自定义maven镜像时，忽略了entrypoint重写问题，导致容器启动/usr/local/bin/mvn-entrypoint.sh没有运行，/usr/share/maven/ref下的内容没有复制到/root/.m2中，浪费了比较多的时间，希望引起大家注意。