OpenShift4.5.x离线环境OperatorHub和ImageStream配置实战技巧

1 . 前言

在离线环境使用UPI(UserProvisioned Infrastructure)方式安装OpenShift，相对于在联网环境采用IPI(Installer Provisioned Infrastructure)完全自动安装方式OpenShift，的确要相对复杂的多，比如要设置离线镜像仓库、将需要的镜像上传到离线镜像仓库、定制CoreOS的点火文件等。

本文的目的不是描述OpenShift 4.5.x的完整离线安装过程，如果要了解OpenShift 4.5.x的完整离线安装过程，可以参考OpenShift的官方安装手册，或者本文附录中的参考文档。

在标准离线环境的OpenShift安装完成后，系统是没有OperatorHub的，同时，系统自带的ImageStream也下载不了公网环境的镜像。这个时候，你既不能创建Operator，也不能采用服务模板(Catalog)方式部署应用。因此，希望能够通过本文对离线Operator安装配置和ImageSteam的配置工作的描述，能够帮助我们解决上面提到的两个问题。

2我们从哪儿开始

我们的后安装配置工作起始于一个安装已经成功的OpenShift的集群。如果你在运行命令openshift-install wait-for install-complete 看到如下输出，恭喜你！您的OpenShift集群已经安装完毕，我们可以开始我们下一步的工作了。

[root@helper install]# openshift-install wait-forinstall-complete

INFO Waiting up to 30m0s for the cluster athttps://api.ocp4.example.com:6443 to initialize...

INFO Waiting up to 10m0s for the openshift-consoleroute to be created...

INFO Install complete!

INFO To access the cluster as the system:admin userwhen using 'oc', run 'export KUBECONFIG=/root/ocp4/install/auth/kubeconfig'

INFO Access the OpenShift web-console here:https://console-openshift-console.apps.ocp4.example.com

INFO Login to the console with user:"kubeadmin", and password: "xMS9Y-KLmda-nxa6i-IniEB"

当然，为了确保一切正常，你可以使用oc命令或者web控制台查看该集群是否一切正常。下面是用oc 命令查询集群的一个操作：

在正式配置OperatorHub和服务模板需要的ImageStream之前，我们首先做一些基本的设置。

2.1创建用户

安装程序默认创建了一个kubeadmin的用户，这个用户的密码是超长。一般情况下，从安全考虑出发，我们建议创建新的管理员用户，并且在新的管理员用户创建后，将kubeadmin删除。

除了支持本地认证，OpenShift也可以支持跟企业的LDAP服务器对接，具体用户相关的认证操作过程请参见产品文档了解OpenShift认证配置。

下面的脚本我们使用HTPasswd方式创建了2个用户，其中用户admin是系统管理用户，可以管理整个集群；而用户user1只是一个普通用户。

## 使用命令行工具htpasswd在本地文件users.htpasswd创建两个用户

htpasswd -c -B -b users.htpasswd admin passw0rd

htpasswd -b users.htpasswd user1 passw0rd

## 将users.htpasswd的内容导入一个secrt

oc create secret generic htpass-secret--from-file=htpasswd=./users.htpasswd -n openshift-config

## 创建一个认证提供器，其认证内容指向刚刚创建的secret

cat << EOF > htpass.yaml

apiVersion: config.openshift.io/v1

kind: OAuth

metadata:

name:cluster

spec:

identityProviders:

- name: my_htpasswd_provider

mappingMethod: claim

type:HTPasswd

htpasswd:

fileData:

name:htpass-secret

EOF

oc apply -f htpass.yaml

## 给用户admin赋予集群管理员权限

oc adm policy add-cluster-role-to-usercluster-admin admin

现在你可以用创建的用户登录Web控制台或者oc命令行工具了。

2.2加入离线镜像仓库的CA证书

我们在安装离线OpenShift的时候已经设置了一个离线的镜像仓库，因此，在安装OperatorHub和服务模板的时候，我们也希望把下载的镜像上传到该离线仓库。如果该离线镜像仓库的证书是采用自签名的证书，我们需要让OpenShift信任该证书。因此，我们需要将该离线仓库的CA证书加入OpenShift的信任证书列表里面去。

OpenShift里面存储镜像仓库相关配置信息的是在一个叫做image.config.openshift.io/cluster的客户定义资源(CustomerResource)里面，我们需要在这个CR里面加载相关证书，具体的操作如下：

## 创建一个configmap以存放证书

## 下面的registry.ocp4.example.com是内部离线仓库的域名，5443是端口后，需要根据情况替换

## /etc/crts/ocp4.example.com.crt是证书文件名，需要根据实际情况替换

oc create configmap registry-cas -nopenshift-config \

--from-file=registry.ocp4.example.com..5443=/etc/crts/ocp4.example.com.crt

## 修改image.config.openshift.io/cluster以引用证书

oc patch image.config.openshift.io/cluster--patch'{"spec":{"additionalTrustedCA":{"name":"registry-cas"}}}'--type=merge

到现在为止，你已经可以在OpenShift上用内部的镜像仓库里面的镜像来部署应用了。

注意：我在某一个4.5.x小版本中发现，尽快经过上述配置，但镜像仓库的证书还是不能被OpenShift信任。如果你在配置过程中发现上述问题，可以简单通过增加一个非安全镜像仓库方式绕过该问题，具体操作如下：

## 创建一个非安全镜像仓库

oc patch image.config.openshift.io/cluster -p'{"spec":{"registrySources":{"insecureRegistries":["registry.ocp4.example.com:5443"]}}}'  --type=merge

3. OperatorHub的安装

我们知道，OpenShift 4.5.x默认有4类的Operator：分别是：

类  别

描    述

Red Hat Operators

由红帽公司分发并提供技术支持的Operator。

Certified Operators

由领先的独立软件开发商开发的并经过红帽认证的Operator，技术支持由独立开发商提供。

Community Operators

开源社区提供的Operator，没有技术支持。

Marketplace Operators

可以在红帽软件商店网站(Red Hat Marketplace)购买的Operator。

当然，如果客户需要加入自己的Operator，那么就会有第5个种类：客户自己定制类。

为了安装OperatorHub，首先要把上面4类的目录镜像安装上，然后再将每一类目录镜像中引用到的Operator中的镜像同步进离线仓库。

在刚安装好的OpenShift集群中，OpenShift默认是向一个公网的URL获取OperatorHub信息，由于我们的集群是在离线环境中，这个操作当然不能成功。我们需要执行下面的命令来禁止这个默认行为。

## Disable the default OperatorSources

oc patch OperatorHub cluster --type json \

-p '[{"op":"add", "path": "/spec/disableAllDefaultSources","value": true}]'

## Review OperatorHub configuration

oc get OperatorHub cluster -o yaml

为了同步Operators的镜像，我们需要有一台RHEL服务器能够连接到Internet，我们将会在该服务器下载镜像。

podman login registry.redhat.io

## is your hostname

podman login :

3.1 红帽提供Operator的安装

3.1.1安装Red Hat Operators目录镜像

为了安装Red Hat Operators目录镜像，我们需要将该镜像下载到本地的一个目录并打包成一个tar文件。在外网服务器执行以下命令：

## create a catalog image for redhat operators

## To a local folder

oc adm catalog build \

--appregistry-org redhat-operators \

--from=registry.redhat.io/openshift4/ose-operator-registry:v4.5 \

--filter-by-os="linux/amd64" \

--to=file://offline/redhat-operators:4.5 \

--insecure

## Save the operator image

tar cvf rh-operator.tar v2

将该tar文件复制到可以访问内部离线镜像仓库的服务器上，解压文件，采用下列命令同步进离线镜像仓库。其中，registry.ocp4.example.com:5443是内部离线镜像仓库的URL(下同，不再重复说明)。

## 复制文件到内网

## Load the catalog image

##

oc image mirrorfile://offline/redhat-operators:4.5registry.ocp4.example.com:5443/offline/redhat-operators:4.5

## Verify whether theoperator catalog image is uploaded

curl -u dummy:dummy https://registry.ocp4.example.com:5443/v2/catalog/redhat-operators/tags/list

## sample successful result: {"name":"catalog/redhat-operators","tags":["4.5.2-20200726"]}

然后我们创建一个CatalogSource：

cat < redhat-operator-catalog.yaml

apiVersion: operators.coreos.com/v1alpha1

kind: CatalogSource

metadata:

name:redhat-operator-catalog

namespace:openshift-marketplace

spec:

displayName: Red Hat Operators

sourceType:grpc

image:registry.ocp4.example.com:5443/offline/redhat-operators:4.5

publisher:Red Hat

EOF

oc create -f redhat-operator-catalog.yaml

## check the result

oc get pods -n openshift-marketplace

oc get catalogsource -n openshift-marketplace

oc get packagemanifest -n openshift-marketplace

如果现在你登录OperatorHub， 你应该能过看到Red Hat Operators已经成功显示出来了，但是，到现在为止，如果你尝试安装一个Operator, 安装会失败。那是因为我们只安装了一个Operator目录镜像，而这个目录中引用的真正Operator进行还没有被导入，接下来我们来做这一部分工作。

3.1.2同步Red Hat 提供Operators中引用到的镜像

在能够访问内部离线仓库的服务器上面，我们通过执行下面的这个命令，来获取需要同步的镜像列表：

oc adm catalog mirror \

registry.ocp4.example.com:5443/offline/redhat-operators:4.5 \

registry.ocp4.example.com:5443 \

--insecure \

--filter-by-os="linux/amd64" \

--manifests-only

执行完该命令后，当前目录下会创建一个redhat-operators-manifests的子目录，子目录下面有2个文件：

mapping.txt – 用来同步镜像的文件

imageContentSourcePolicy.yaml –用来进行镜像重定向的文件

首先，我们来看一下mapping.txt的文件内容(以下为文件片段)：

registry.redhat.io/openshift-service-mesh/prometheus-rhel8@sha256:68d47c477bb9b1a4cae6432361326efd0f75146ecf104c84b9c23afb09e77f09

=registry.ocp4.example.com:5443/openshift-service-mesh/prometheus-rhel8:27f4a38e

registry.redhat.io/container-native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3=registry.ocp4.example.com:5443/container-

native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3

文件内容是以“SoureImage=DestinationImage”，表示将镜像从前面的原地址同步到后面的目的地址。因此，我们注意到，文件中的每一行内容都是可以作为参数直接传递给oc image mirror进行同步的。但是，在当前的网络配置下，由于Internet和内部的镜像仓库不联通，我们不能直接用oc image mirror进行同步，因此，需要引入一个中转站。鉴于现在已经有了一个公网的服务器，因此，我们可以考虑将该服务器的本地目录作为一个中转站。其思路是：我们首先将镜像下载到公网服务器的本地目录；然后本地目录打包通过U盘或移动硬盘复制到内部服务器，从内部服务器在同步到内部离线仓库。

第一步：同步镜像到公网服务器的本地目录。

观察mapping.txt，将目的地址改为本地目录：

registry.redhat.io/openshift-service-mesh/prometheus-rhel8@sha256:68d47c477bb9b1a4cae6432361326efd0f75146ecf104c84b9c23afb09e77f09

=file://offline/openshift-service-mesh/prometheus-rhel8:27f4a38e

registry.redhat.io/container-native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3=file://offline/container-

native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3

我们可以通过执行以下命令进行同步：

## 创建downloading.txt

sed 's/registry.ocp4.example.com:5443/file:\/\/offline/g'mapping.txt > downloading.txt

## 创建下载的shell文件

cat << EOF >download-rh-op.sh

#!/usr/bin/env bash

STAGEING_FOLDER="localrep"

IMAGE_LIST="downloading.txt"

x=0

echo  `date` "- Starting to download image tolocal directory : " $STAGEING_FOLDER

echo  `date` "- The image list name is :" $IMAGE_LIST

cat $IMAGE_LIST | whileread line; do

x=$(( x+1 ))

echo"--------------------------------------------- No ${x} Started...---------------------------------------------"

echo `date` $TIMESTAMP "- The image to be loaded is :"

echo $line

oc image mirror $line  --dir=$STAGEING_FOLDER --filter-by-os=.*

echo `date` $TIMESTAMP "- The imageloading is completed."

echo"--------------------------------------------- No ${x} Completed ---------------------------------------------"

echo

done

echo  `date` "- All images are downloaded intothe local folder! Please check the local directory:" $STAGEING_FOLDER

EOF

chmod u+xdownload-rh-op.sh

nohup ./download-rh-op.sh  >> download-rh-operators.out2>&1 &

第二步：将目录localrep打包压缩复制到内网服务器

第三步：从本地目录同步镜像到内部离线镜像仓库。

再次观察mapping.txt，将原地址改为本地目录：

file://offline/openshift-service-mesh/prometheus-rhel8@sha256:68d47c477bb9b1a4cae6432361326efd0f75146ecf104c84b9c23afb09e77f09

=registry.ocp4.example.com:5443/openshift-service-mesh/prometheus-rhel8:27f4a38e

file://offline/container-native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3=registry.ocp4.example.com:5443/container-

native-virtualization/kubevirt-kvm-info-nfd-plugin:v2.2.0-3

我们可以通过执行以下命令进行同步：

## 创建uploading.txt

sed's/registry.redhat.io/file:\/\/offline/g' mapping.txt > uploading-all.txt

## 创建上传的shell文件

cat << EOF >upload-rh-op.sh

#!/usr/bin/env bash

STAGEING_FOLDER="localrep"

IMAGE_LIST="uploading.txt"

x=0

echo  `date` "- Starting to mirror image tolocal image repository from local directory: " $STAGEING_FOLDER

echo  `date` "- The image list name is :" $IMAGE_LIST

cat $IMAGE_LIST | whileread line; do

x=$(( x+1 ))

echo"--------------------------------------------- No ${x} Started...---------------------------------------------"

echo `date` $TIMESTAMP "- The image to be loaded is :"

echo $line

echo "oc image mirror" $line"--dir="$STAGEING_FOLDER "--filter-by-os=.*"

oc image mirror $line  --dir=$STAGEING_FOLDER --filter-by-os=.*

# sleep 1

echo `date` $TIMESTAMP "- The imageloading is completed."

echo "---------------------------------------------No ${x} Completed ---------------------------------------------"

echo

done

echo  `date` "- All images are pushed to thelocal image repository! "

EOF

chmod u+xupload-rh-op.sh

nohup ./upload-rh-op.sh  >> upload-rh-operators.out 2>&1&

到这一步为止，Red Hat Operators目录镜像引用到的镜像都已经成功同步进本地镜像仓库了，你可以创建需要的operator了。比如，现在你就可以利用Operator创建OpenShift的日志组件了。

3.2其他类Operators的安装

3.2.1安装其他类Operators目录镜像

安装其他Operators的目录镜像与3.1.1节非常类似，唯一的区别是Operator目录镜像名称不一致。

以下是创建红帽认证Operators的步骤：

## create a catalogimage for certificated operators

## To a local folder

oc adm catalog build \

--appregistry-org certified-operators \

--from=registry.redhat.io/openshift4/ose-operator-registry:v4.5 \

--filter-by-os="linux/amd64" \

--to=file://offline/certified-operators:4.5\

--insecure

# Save the operatorimage

tar cvf rh-operator.tarv2

# 复制文件到内网

# Load the catalog image

oc image mirrorfile://offline/certified-operators:4.5registry.ocp4.example.com:5443/offline/certified-operators:4.5

## create aCatalogSource

cat <certified-operator-catalog.yaml

apiVersion:operators.coreos.com/v1alpha1

kind: CatalogSource

metadata:

name: certified-operator-catalog

namespace: openshift-marketplace

spec:

displayName: Certified Operators

sourceType: grpc

image:registry.ocp4.example.com:5443/offline/certified-operators:4.5

publisher: Red Hat

EOF

oc create -f certified-operator-catalog.yaml

以下是创建红帽认证Operators的步骤：

## create a catalogimage for certificated operators

## To a local folder

oc adm catalog build \

--appregistry-org certified-operators \

--from=registry.redhat.io/openshift4/ose-operator-registry:v4.5 \

--filter-by-os="linux/amd64" \

--to=file://offline/certified-operators:4.5\

--insecure

# Save the operatorimage

tar cvfcertified-operator.tar v2

## 复制文件到内网

# Load the catalog image

oc image mirrorfile://offline/certified-operators:4.5registry.ocp4.example.com:5443/offline/certified-operators:4.5

## create aCatalogSource

cat <certified-operator-catalog.yaml

apiVersion: operators.coreos.com/v1alpha1

kind: CatalogSource

metadata:

name: certified-operator-catalog

namespace: openshift-marketplace

spec:

displayName: Certified Operators

sourceType: grpc

image:registry.ocp4.example.com:5443/offline/certified-operators:4.5

publisher: Red Hat

EOF

oc create -f certified-operator-catalog.yaml

以下是创建社区Operators的步骤：

## create a catalogimage for community operators

## To a local folder

oc adm catalog build \

--appregistry-org community-operators \

--from=registry.redhat.io/openshift4/ose-operator-registry:v4.5\

--filter-by-os="linux/amd64" \

--to=file://offline/community-operators:4.5\

--insecure

# Save the operatorimage

tar cvfcommunity-operator.tar v2

## 复制文件到内网

# Load the catalog image

oc image mirrorfile://offline/community-operators:4.5registry.ocp4.example.com:5443/offline/community-operators:4.5

## create aCatalogSource

cat <community-operator-catalog.yaml

apiVersion:operators.coreos.com/v1alpha1

kind: CatalogSource

metadata:

name: community-operator-catalog

namespace: openshift-marketplace

spec:

displayName: Community Operators

sourceType: grpc

image:registry.ocp4.example.com:5443/offline/community-operators:4.5

publisher: Red Hat

EOF

oc create -f community-operator-catalog.yaml

以下是创建红帽Market Place Operators的步骤：

## create a catalogimage for redhat-marketplace operators

## To a local folder

oc adm catalog build \

--appregistry-org redhat-marketplace \

--from=registry.redhat.io/openshift4/ose-operator-registry:v4.5 \

--filter-by-os="linux/amd64" \

--to=file://offline/redhat-marketplace:4.5\

--insecure

#

# Save the operatorimage

tar cvfredhat-marketplace.tar v2

## 复制文件到内网

# Load the catalog image

oc image mirrorfile://offline/redhat-marketplace:4.5registry.ocp4.example.com:5443/offline/redhat-marketplace:4.5

## create aCatalogSource

cat <redhat-marketplace-catalog.yaml

apiVersion: operators.coreos.com/v1alpha1

kind: CatalogSource

metadata:

name: redhat-marketplace-catalog

namespace: openshift-marketplace

spec:

displayName: Marketplace

sourceType: grpc

image:registry.ocp4.example.com:5443/offline/community-operators:4.5

publisher: Red Hat

EOF

oc create -f redhat-marketplace-catalog.yaml

4.导入ImageStram

OpenShift 4.5.x中的绝大多数ImageSteam都是通过Sample Operator管理的，因此，我们需要通过管理SampleOperator来导入ImageStream

4.1 同步镜像

首先，我们需要知道ImageStream到底使用了哪些镜像。我们可以通过执行下列脚本获取：

oc get is -o json -nopenshift | jq '.items[].spec.tags[] |select(.from.kind=="DockerImage").from.name'  | sed 's/\"//g' | grepregistry.redhat.io  > is-images.list

## 如果镜像不包含tag，加上一个默认的latest tag

sed  '/:/! s/$/:latest/g' is-images.list >my-is-images.list

## 构建SourceImage=DestinationImage格式的文件

cat my-is-images.list  | awk -F '=' '{print$0"=file://offline/TAG"$1}' | sed 's/TAGregistry.redhat.io\///g' >download-sample-images.list

到这一步，你如果看文件download-sample-images.list，格式如下：

$ catdownload-sample-images.list

registry.redhat.io/3scale-amp21/apicast-gateway:1.4-2=file://offline/3scale-amp21/apicast-gateway:1.4-2

registry.redhat.io/3scale-amp22/apicast-gateway:1.8=file://offline/3scale-amp22/apicast-gateway:1.8

registry.redhat.io/3scale-amp23/apicast-gateway:latest=file://offline/3scale-amp23/apicast-gateway:latest

registry.redhat.io/3scale-amp24/apicast-gateway:latest=file://offline/3scale-amp24/apicast-gateway:latest

registry.redhat.io/3scale-amp25/apicast-gateway:latest=file://offline/3scale-amp25/apicast-gateway:latest

registry.redhat.io/3scale-amp26/apicast-gateway:latest=file://offline/3scale-amp26/apicast-gateway:latest

registry.redhat.io/3scale-amp2/apicast-gateway-rhel7:3scale2.7=file://offline/3scale-amp2/apicast-gateway-rhel7:3scale2.7

registry.redhat.io/fuse7/fuse-apicurito:1.2=file://offline/fuse7/fuse-apicurito:1.2

看起来是不是很熟悉？的确，这个文件格式就是刚才我们导入离线Operator镜像的格式，采用类似的方法，我们可以把这些镜像下载到公网服务器的本地目录；然后打包复制到内网服务器的本地目录，最后再用类似的方法上传到内部的离线仓库，这里面就不重复描述

4.2修改Sample Operator指向内部仓库

修改Sample Operator的配置资源，将镜像仓库指向内部的离线镜像仓库

ocpatch configs.samples.operator.openshift.io/cluster -p'{"spec":{"samplesRegistry":"registry.ocp4.example.com:5443"}}'--type=merge

在修改之后，Sample Operator会修改ImageStream的定义，ImageStream将会自动从内部离线仓库下载镜像。如果此时再管理界面切换成开发人员视图，就可以发现Catalog服务目录现在已经可以显示了，我们现在可以利用服务模板创建应用。

参考文献：

openshift4.3 静态IP离线 baremetal 安装，包含operatorhub

OCP 4 Helper Node

OpenShift4.1 Bare Metal Install Quickstart

OCP4.5 - Installing a cluster on bare metal in a restricted network