使用gatekeeper限制kubernetes创建特定类型的资源

正常情况下用户要登录k8s创建某资源比如pod时，首先apiserver会检测
1.通过token或者证书认证此用户是否能够登录k8s
2.会检测此用户是否具备足够的权限
在k8s默认的情况下，如果用户能登录且具备权限的话，是可以正确的创建资源的。但是我们可以通过准入控制器（admission control）或者动态准入控制器（Dynamic Admission Control）定制一系列的规则，进一步限制所要创建的pod是否合规。

OPA（全称是Open Policy Agent ）是CNCF孵化出来的一个项目，是一种开源的策略引擎，可以用于为docker、envoy、ssh、kubernetes等应用定制策略。

而gatekeeper是基于OPA为kubernetes定制的一个项目，可以实现各种策略。这些策略是通过准入控制器作用到kubernetes上的。

安装gatekeeper

先到下面的地址下载最新的manifest文件
https://github.com/open-policy-agent/gatekeeper/tree/master/deploy
然后在master上执行下面的命令安装gatekeeper。

root@vms61:~/demo4# kubectl apply -f gatekeeper.yaml
namespace/gatekeeper-system created
...输出...
poddisruptionbudget.policy/gatekeeper-controller-manager created
validatingwebhookconfiguration.admissionregistration.k8s.io/gatekeeper-validating-webhook-configuration created
root@vms61:~/demo4#

安装之后，会自动创建一个名字为gatekeeper-system的命名空间，在此命名空间里会创建一系列的pod，确认这些pod的状态都是运行的。

root@vms61:~/demo4# kubectl get pods -n gatekeeper-system
NAME                                                                                READY   STATUS    RESTARTS   AGE
gatekeeper-audit-7b67879df4-sm4fw               1/1    Running    0  30s
gatekeeper-controller-manager-6cb56f759f-96jmn  1/1     Running   0  30s
gatekeeper-controller-manager-6cb56f759f-hnxc4  1/1     Running   0   30s
gatekeeper-controller-manager-6cb56f759f-sv5zp  1/1     Running   0   30s
root@vms61:~/demo4#

gatekeeper会创建一系列的资源类型。

root@vms61:~/demo4# kubectl get crd | grep gatekeep
configs.config.gatekeeper.sh                          2022-05-09T11:51:01Z
constraintpodstatuses.status.gatekeeper.sh            2022-05-09T11:51:01Z
constrainttemplatepodstatuses.status.gatekeeper.sh    2022-05-09T11:51:01Z
constrainttemplates.templates.gatekeeper.sh           2022-05-09T11:51:01Z
providers.externaldata.gatekeeper.sh                  2022-05-09T11:51:01Z
root@vms61:~/demo4#

创建测试用的镜像
在所有节点把nginx镜像重新打标签为hub.c.163.com/library/nginx

root@vms6X:~# nerdctl tag nginx hub.c.163.com/library/nginx
root@vms6X:~#

现在对于使用哪个镜像是没有任何限制的，所以如果使用镜像nginx hub.c.163.com/library/nginx创建pod也是能创建出来的。
创建pod1.yaml内容如下。

root@vms61:~/demo4# cat pod1.yaml
apiVersion: v1
kind: Pod
metadata:creationTimestamp: nulllabels:run: pod1name: pod1
spec:terminationGracePeriodSeconds: 0containers:- image: hub.c.163.com/library/nginximagePullPolicy: IfNotPresentname: pod1resources: {}dnsPolicy: ClusterFirstrestartPolicy: Always
status: {}root@vms61:~/demo4#

开始创建pod。

root@vms61:~/demo4# kubectl apply -f pod1.yaml
pod/pod1 created
root@vms61:~/demo4# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
pod1   1/1     Running   0          3s
root@vms61:~/demo4#

从这里可以看到pod能创建出来，也就是现在是可以正常使用hub.c.163.com/library/nginx这个镜像的。下面把这个pod删除。

root@vms61:~/demo4# kubectl delete  pod pod1
pod "pod1" deleted
root@vms61:~/demo4#

禁止使用特定的镜像

我们先自定义一个类型为blacklistimages的CRD资源类型，用于禁止以hub.c.163.com开头的镜像。
注：如同有了pod这种资源类型，我们才能创建pod1、pod2、pod3等这些pod资源。我们要先创建一种资源类型才能创建具体的资源。
先查看是否存在blacklistimages类型的资源。

root@vms61:~/demo4# kubectl get blacklistimages
error: the server doesn't have a resource type "blacklistimages"
root@vms61:~/demo4#

这里提示不存在blacklistimages这种资源类型，所以先通过CRD创建出来这种类型。下面创建gatekeeper-blk-type.yaml内容如下。

root@vms61:~/demo4# cat gatekeeper-blk-type.yaml
apiVersion: templates.gatekeeper.sh/v1beta1
kind: ConstraintTemplate
metadata:name: blacklistimages
spec:crd:spec:names:kind: BlacklistImagestargets:- rego: |package k8strustedimagesimages {image := input.review.object.spec.containers[_].imagenot startswith(image, "hub.c.163.com/")}violation[{"msg": msg}] {not imagesmsg := "不可用的镜像!"}target: admission.k8s.gatekeeper.sh
root@vms61:~/demo4#

这里指定如果使用了hub.c.163.com开头的镜像的话，那么则提示“不可用的镜像！”。
创建此资源。

root@vms61:~/demo4# kubectl apply -f gatekeeper-blk-type.yaml
constrainttemplate.templates.gatekeeper.sh/blacklistimages created
root@vms61:~/demo4#
root@vms61:~/demo4# kubectl get blacklistimages
No resources found
root@vms61:~/demo4#

这里提示"No resources found"，说明已经存在资源类型blacklistimages了，只是这个类型下面还没创建任何资源。
下面创建一个名字为pod-blk-img的BlacklistImages。

root@vms61:~/demo4#  cat gatekeeper-blacklist.yaml
apiVersion: constraints.gatekeeper.sh/v1beta1
kind: BlacklistImages
metadata:generation: 1managedFields:name: pod-blk-imgresourceVersion: "14449"
spec:match:kinds:- apiGroups:- ""kinds:- Pod
root@vms61:~/demo4#

这里定义的pod-blk-img将用于pod的创建，先把名字叫做pod-blk-img 的blacklistimages创建出来。

root@vms61:~/demo4# kubectl apply -f gatekeeper-blacklist.yaml
blacklistimages.constraints.gatekeeper.sh/pod-blk-img  created
root@vms61:~/demo4#root@vms61:~/demo4# kubectl get blacklistimages
NAME              AGE
pod-blk-img       74s
root@vms61:~/demo4#

下面再次创建pod1。

root@vms61:~/demo4# kubectl apply -f pod1.yaml
Error from server ([pod-blk-img] 不可用的镜像!): error when creating "pod1.yaml": admission webhook "validation.gatekeeper.sh" denied the request: [pod-blk-img] 不可用的镜像!
root@vms61:~/demo4#

这里pod创建失败，说明现在已经不能使用hub.c.163.com的镜像了。

删除pod-blk-img。

root@vms61:~/demo4# kubectl delete -f gatekeeper-blacklist.yaml
blacklistimages.constraints.gatekeeper.sh "pod-blk-img" deleted
root@vms61:~/demo4#

删除blacklistimages这个资源类型。

root@vms61:~/demo4# kubectl delete -f gatekeeper-blk-type.yaml
constrainttemplate.templates.gatekeeper.sh "blacklistimages" deleted
root@vms61:~/demo4#

禁止创建LB类型的svc

下面再来一个练习，用于禁止创建LoadBalancer类型的service。
先把pod1创建出来。

root@vms61:~/demo4# kubectl apply -f pod1.yaml
pod/pod1 created
root@vms61:~/demo4# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
pod1   1/1     Running   0          2s
root@vms61:~/demo4#

在没有任何限制的情况下，先创建一个LoadBalancer类型的service。

root@vms61:~/demo4# kubectl expose --name=svc1 pod pod1 --port=80 --type=LoadBalancer
service/svc1 exposed
root@vms61:~/demo4# kubectl get svc svc1
NAME   TYPE          CLUSTER-IP       EXTERNAL-IP      PORT(S)       AGE
svc1   LoadBalancer  10.110.158.128   192.168.26.240   80:32109/TCP   5s
root@vms61:~/demo4#

可以此时是可以创建出来类型为LoadBalancer的service的，下面把此service删除。

root@vms61:~/demo4# kubectl delete svc svc1
service "svc1" deleted
root@vms61:~/demo4#

下面准备创建一个CRD的资源类型lbtypesvcnotallowed，先判断是否存在这种资源类型。

root@vms61:~/demo4# kubectl get lbtypesvcnotallowed
error: the server doesn't have a resource type "lbtypesvcnotallowed"
root@vms61:~/demo4#

报错，说明现在还不存在 lbtypesvcnotallowed这种资源类型。

首先创建资源类型lbtypesvcnotallowed，编写aa-tmp.yaml内容如下。

root@vms61:~/demo4# cat aa-tmp.yaml
apiVersion: templates.gatekeeper.sh/v1beta1
kind: ConstraintTemplate
metadata:name: lbtypesvcnotallowed
spec:crd:spec:names:kind: LBTypeSvcNotAllowedtargets:- target: admission.k8s.gatekeeper.shrego: |package kubernetes.admissionviolation[{"msg": msg}] {input.review.kind.kind = "Service"input.review.operation = "CREATE"input.review.object.spec.type = "LoadBalancer"msg := "不允许创建LB类型的service!"}
root@vms61:~/demo4#

这里创建了一个名字为lbtypesvcnotallowed的资源类型，禁止创建LB类型的service，如果创建的话，则会有"不允许创建LB类型的service!" 报错。
下面创建资源类型。

root@vms61:~/demo4# kubectl apply -f aa-tmp.yaml
constrainttemplate.templates.gatekeeper.sh/lbtypesvcnotallowed created
root@vms61:~/demo4#
root@vms61:~/demo4# kubectl get lbtypesvcnotallowed
No resources found
root@vms61:~/demo4#

现在已经存在 lbtypesvcnotallowed这种资源类型了，只是下面还没有任何的资源。
下面创建名字为deny-create-lb-type-svc的lbtypesvcnotallowed，编写bb-contraint.yaml内容如下。

root@vms61:~/demo4# cat bb-contraint.yaml
apiVersion: constraints.gatekeeper.sh/v1beta1
kind: LBTypeSvcNotAllowed
metadata:name: deny-create-lb-type-svc
spec:match:kinds:- apiGroups: [""]kinds: ["Service"]namespaces:- "default"
root@vms61:~/demo4#

创建此资源。

root@vms61:~/demo4# kubectl apply -f bb-contraint.yaml
lbtypesvcnotallowed.constraints.gatekeeper.sh/deny-create-lb-type-svc created
root@vms61:~/demo4#
root@vms61:~/demo4# kubectl get lbtypesvcnotallowed
NAME                      AGE
deny-create-lb-type-svc   4s
root@vms61:~/demo4#

再次创建LoadBalancer的service。

root@vms61:~/demo4# kubectl expose --name=svc1 pod pod1 --port=80 --type=LoadBalancer
Error from server ([deny-create-lb-type-svc] 不允许创建LB类型的service!): admission webhook "validation.gatekeeper.sh" denied the request: [deny-create-lb-type-svc] 不允许创建LB类型的service!
root@vms61:~/demo4#

这里可以看到已经不允许创建了。
删除lbtypesvcnotallowed，则下面的资源会一起删除掉。

root@vms61:~/demo4# kubectl delete -f aa-tmp.yaml
constrainttemplate.templates.gatekeeper.sh "lbtypesvcnotallowed" deleted
root@vms61:~/demo4#