一：部署harbor镜像仓库

Docker容器应用的开发和运行离不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry
也是非常必要的。之前介绍了Docker私有仓库Registry，这里介绍另一款企业级Docker镜像仓库Harbor的部署和使用，在Kubernetes集群中，推荐使用Harbor仓库环境。

一、Harbor仓库介绍

我们在日常Docker容器使用和管理过程中，渐渐发现部署企业私有仓库往往是很有必要的, 它可以帮助你管理企业的一些敏感镜像, 同时由于Docker Hub的下载速度和GFW的原因, 往往需要将一些无法直接下载的镜像导入本地私有仓库. 而Harbor就是部署企业私有仓库的一个不二之选。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，Harbor主要提供Dcoker Registry管理UI，提供的功能包括：基于角色访问的控制权限管理(RBAC)、AD/LDAP集成、日志审核、管理界面、自我注册、镜像复制和中文支持等。Harbor的目标是帮助用户迅速搭建一个企业级的Docker registry服务。它以Docker公司开源的registry为基础，额外提供了如下功能:

-> 基于角色的访问控制(Role Based Access Control)
-> 基于策略的镜像复制(Policy based image replication)
-> 镜像的漏洞扫描(Vulnerability Scanning)
-> AD/LDAP集成(LDAP/AD support)
-> 镜像的删除和空间清理(Image deletion & garbage collection)
-> 友好的管理UI(Graphical user portal)
-> 审计日志(Audit logging)
-> RESTful API
-> 部署简单(Easy deployment)

Harbor的所有组件都在Dcoker中部署，所以Harbor可使用Docker Compose快速部署。需要特别注意：由于Harbor是基于Docker Registry V2版本，所以docker必须大于等于1.10.0版本，docker-compose必须要大于1.6.0版本！

二、Harbor仓库结构

Harbor的每个组件都是以Docker容器的形式构建的，可以使用Docker Compose来进行部署。如果环境中使用了kubernetes，Harbor也提供了kubernetes的配置文件。Harbor大概需要以下几个容器组成：ui(Harbor的核心服务)、log(运行着rsyslog的容器，进行日志收集)、mysql(由官方mysql镜像构成的数据库容器)、Nginx(使用Nginx做反向代理)、registry(官方的Docker registry)、adminserver(Harbor的配置数据管理器)、jobservice(Harbor的任务管理服务)、redis(用于存储session)。

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，整体架构还是很清晰的。下面借用了网上的架构图:

Harbor依赖的外部组件
-> Nginx(即Proxy代理层): Nginx前端代理，主要用于分发前端页面ui访问和镜像上传和下载流量; Harbor的registry,UI,token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
-> Registry v2: 镜像仓库，负责存储镜像文件; Docker官方镜像仓库, 负责储存Docker镜像，并处理docker push/pull命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token进行解密验证。
-> Database(MySQL或Postgresql)：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。

Harbor自有组件
-> Core services(Admin Server): 这是Harbor的核心功能，主要提供以下服务：
-> UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
-> webhook：为了及时获取registry 上image状态变化的情况，在Registry上配置webhook，把状态变化传递给UI模块。
-> Auth服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
-> API: 提供Harbor RESTful API
-> Replication Job Service：提供多个 Harbor 实例之间的镜像同步功能。
-> Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。

再来仔细看下Harbor主要组件和数据流走向：

-> proxy，它是一个nginx前端代理，主要是分发前端页面ui访问和镜像上传和下载流量，上图中通过深蓝色先标识；
-> ui提供了一个web管理页面，当然还包括了一个前端页面和后端API，底层使用mysql数据库；
-> registry是镜像仓库，负责存储镜像文件，当镜像上传完毕后通过hook通知ui创建repository，上图通过红色线标识，当然registry的token认证也是通过ui组件完成；
-> adminserver是系统的配置管理中心附带检查存储用量，ui和jobserver启动时候回需要加载adminserver的配置，通过灰色线标识；
-> jobsevice是负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log，上图通过紫色线标识；
-> log是日志汇总组件，通过docker的log-driver把日志汇总到一起，通过浅蓝色线条标识。

Harbor的误区
误区一: Harbor是负责存储容器镜像的 (Harbor是镜像仓库，那么它就应当是存储镜像的)
其实关于镜像的存储，Harbor使用的是官方的docker registry服务去完成，至于registry是用本地存储或者s3都是可以的，Harbor的功能是在此之上提供用户权限管理、镜像复制等功能，提高使用的registry的效率。

误区二：Harbor镜像复制是存储直接复制 (镜像的复制，很多人以为应该是镜像分层文件的直接拷贝)
其实Harbor镜像复制采用了一个更加通用、高屋建瓴的做法，通过docker registry 的API去拷贝，这不是省事，这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有docker registry功能不必重复造轮子，而且可以解决冲突和一致性的问题。

Harbor的部署
这里不建议使用kubernetes来部署, 原因是镜像仓库非常重要, 尽量保证部署和维护的简洁性, 因此这里直接使用compose的方式进行部署。官方提供3种部署Harbor的方式:
1）在线安装: 从Docker Hub下载Harbor的镜像来安装, 由于Docker Hub比较慢, 建议Docker配置好加速器。
2）离线安装: 这种方式应对与部署主机没联网的情况使用。需要提前下载离线安装包: harbor-offline-installer-.tgz 到本地
3）OVA安装: 这个主要用vCentor环境是使用

三、安装Harbor

安装系统工具插件

yum -y install yum-utils device-mapper-persistent-data lvm2

安装docker-compose

curl -L https://github.com/docker/compose/releases/download/1.25.0-rc4/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composels -l  /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
#查看版本
docker-compose -v

下载harbor

wget https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-offline-installer-v1.7.4.tgztar zxvf harbor-offline-installer-v1.7.4.tgzcd harbor

修改配置文件

vim harbor.cfg
hostname=#修改为自己的IP

启动运行

 ./install.sh        #执行安装脚本[Step 4]: starting Harbor ...
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating registryctl        ... done
Creating harbor-adminserver ... done
Creating registry           ... done
Creating harbor-db          ... done
Creating redis              ... done
Creating harbor-core        ... done
Creating harbor-portal      ... done
Creating harbor-jobservice  ... done
Creating nginx              ... done✔ ----Harbor has been installed and started successfully.----
#等待安装完成后访问配置文件中输入的hostname对应的IP或域名
#默认用户名：admin，密码：Harbor12345

harbor的启动，停止

启动停止
[root@k8s-node01 harbor]# docker-compose stop
Stopping nginx              ... done
Stopping harbor-portal      ... done
Stopping harbor-jobservice  ... done
Stopping harbor-core        ... done
Stopping redis              ... done
Stopping harbor-db          ... done
Stopping harbor-adminserver ... done
Stopping registry           ... done
Stopping registryctl        ... done
Stopping harbor-log         ... done

使用harbor镜像仓库

在另外一台docker 上添加不安全的镜像仓库

[root@k8s-node02 ~]# vim /etc/docker/daemon.json
[root@k8s-node02 ~]# cat /etc/docker/daemon.json{"insecure-registries": ["http://192.168.10.101:80"]  #修改192.168.10.101为自己的ip}

重启docker

systemctl daemon-reload
systemctl restart docker

登录并上传镜像

在Harbor管理页面创建一个项目

[root@k8s-master ~]# docker login -u admin --password Harbor12345 http://192.168.10.101
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-storeLogin Succeeded
#此时已经登录成功，进行上传镜像
#步骤一：进行tag的更改
语法格式：docker tag SOURCE_IMAGE[:TAG] 192.168.10.101:80/test-k8s/IMAGE[:TAG]#其中SOURCE_IMAGE[:TAG]为需要更改tag的源镜像#192.168.10.101:80为harbor服务器地址,不添加端口号默认为https访问#test-k8s：为horbor服务器中的项目名称#IMAGE[:TAG] 为生成的镜像名称及tag[root@k8s-master ~]# docker tag nginx:1.7.9  192.168.10.101:80/test-k8s/nginx:1.7.9[root@k8s-master ~]# docker images | grep test-k8s
192.168.10.101:80/test-k8s/nginx                                                 1.7.9                 84581e99d807   6 years ago     91.7MB
[root@k8s-master ~]# docker push 192.168.10.101:80/test-k8s/nginx:1.7.9
5f70bf18a086: Pushed
4b26ab29a475: Pushed
ccb1d68e3fb7: Pushed
e387107e2065: Pushed
63bf84221cce: Pushed
e02dce553481: Pushed
dea2e4984e29: Pushed
1.7.9: digest: sha256:b1f5935eb2e9e2ae89c0b3e2e148c19068d91ca502e857052f14db230443e4c2 size: 3012

上传完成后前往horbor确认

此时镜像已经上传完成

K8s 访问私有仓库

默认是可以拉取公开仓库的镜像，但如果是私有仓库就需要进行认证
测试私有仓库

#登录harbor仓库
[root@k8s-master ~]# docker login -u admin --password Harbor12345 http://192.168.10.101
#登录后会在当前家目录生成.docker/config.json，此文件为docker认证文件
[root@k8s-master ~]# cat .docker/config.json
{"auths": {"47.100.126.187:80": {"auth": "YWRtaW46YXB0ZWNoMSE="}}
使用此文件进行创建secret
[root@k8s-master ~]# kubectl create secret docker-registry docker-login --docker-username=admin --docker-password=Harbor12345  --docker-server=192.168.10.101:80#docker-logi为secret名称#--docker-username=  为habor的用户#--docker-password=  为habor的用户密码#--docker-server=   为harbor服务器ip及端口
[root@k8s-master ~]# kubectl get secrets | grep docker
docker-login          kubernetes.io/dockerconfigjson        1      25m

测试拉取镜像
vim test.yaml

apiVersion: apps/v1
kind: Deployment
metadata:labels:app: testname: testnamespace: default
spec:replicas: 1revisionHistoryLimit: 10selector:matchLabels:app: teststrategy:rollingUpdate:maxSurge: 25%maxUnavailable: 25%type: RollingUpdatetemplate:metadata:labels:app: testspec:containers:- image: 47.100.126.187:80/test-k8s/nginx:1.7.9 #私有仓库镜像imagePullPolicy: IfNotPresentname: nginximagePullSecrets:   #使用secrets - name: docker-login    #验证镜像拉取
[root@k8s-master ~]# kubectl apply -f  test.yaml[root@k8s-master ~]# kubectl describe pod test-c8db9dffd-9r9k5
Events:Type    Reason     Age    From               Message----    ------     ----   ----               -------Normal  Scheduled  8m32s  default-scheduler  Successfully assigned default/test-c8db9dffd-9r9k5 to minikubeNormal  Pulled     8m31s  kubelet            Container image "192.168.10.101:80/test-k8s/nginx:1.7.9" already present on machineNormal  Created    8m31s  kubelet            Created container nginxNormal  Started    8m31s  kubelet            Started container nginx
[root@k8s-master ~]# kubectl get pod | grep test
test-c8db9dffd-9r9k5            1/1     Running   0          9m40s
#此时pod已经正常运行了