K8s & K3s 集群中 Hlem 化部署 Harbor

Harbor 简介

Harbor是VMware公司开源的企业级DockerRegistry项目，其目标是帮助用户迅速搭建一个企业级的Dockerregistry服务。
它以Docker公司开源的registry为基础，提供了管理UI，基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。

架构及组件

image

• 主要组件包括proxy，他是一个nginx前端代理，主要是分发前端页面ui访问和镜像上传和下载流量，上图通过深蓝色线标志；
• ui提供了一个web管理页面，当然还包括了一个前端页面和后端API，底层使用mysql数据库；
• registry是镜像仓库，负责存储镜像文件，当镜像上传完毕后通过hook通知ui创建repositry，上图通过红色线标志，当然registry的token认证也是通过ui组件完成；
• adminserver是系统的配置管理中心附带检查存储用量，ui个jobservice启动时候需要加载adminserver的配置，通过灰色线标志；
• jobservice是负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log，上图通过紫色线标志；log是日志汇总组件，通过docker的log-dirver把日志汇总到一起，通过蓝色线条标志。

依赖 & 部署

• 底座环境: K8s/K3s
• 软件依赖: Helm3 & Git
• 存储依赖: Rook Ceph

# 配置 helm 源
helm repo add harbor https://helm.goharbor.io
helm repo update
helm pull harbor/harbor
tar xf harbor-x.x.x.tgz

• 配置 PV & PVC

云原生的存储类可以有多种选择，nfs 或者 ceph 等多种类型的存储，本文选择 rook 已经在集群中配置好的存储类进行服务访问，查看本地可用的 sc ：

kubectl get sc

image image

• 部署检查

# 0 部署
helm install harbor harbor
# 1 查看 pv & pvc
kubectl get pv -A | grep harbor
kubectl get pvc -A | grep harbor 
# 2 查看 pod
kubectl get pod -A | grep harbor 
# 3 查看 svc
kubectl get svc -A | grep harbor 
# 4 查看 ingress
kubectl get ingress -A | grep harbor 

image

• Ingress 配置
  备注：helm 部署 harbor 以后，默认的 Ingress 是不可用的，需要结合实际情况进行配置，比如需要考虑到的问题有 Ingress-nginx 还是 treafik 的控制器控制的服务访问，正如我的集群环境使用到的正是基于 K3s 集群的 treafik 负载均衡器，所以配置方式如下:

kubectl get ingress -n default     harbor-harbor-ingress -oyaml > harbor-core-ingress.yaml
kubectl get ingress -n default     harbor-harbor-ingress-notary -oyaml > harbor-harbor-notary-ingress.yaml

编辑 ingress 的负载映射如下:

image

kubectl apply -f harbor-core-ingress.yaml
kubectl apply -f harbor-harbor-notary-ingress.yaml

image

强调说明: 删除无用信息，增加控制器字段，不要名称冲突即可。

• 浏览器访问

配置访问主机hosts:

image image image

插件 & 使用

• docker添加harbor证书

对于需要使用harbor仓库的节点，都要添加harbor证书：

kubectl get secrets  harbor-harbor-ingress  -o jsonpath="{.data.ca\.crt}" | base64 --decode 

image

在边缘节点添加证书，进行登录验证:

# 添加证书验证路径
mkdir -p /etc/docker/certs.d/core.harbor.domain
# 追加上文证书到证书文件中
vi /etc/docker/certs.d/core.harbor.domain/ca.crt
# 追加域名到 /etc/hosts
vi /etc/hosts

image

[root@vm3290 tmp]# docker login core.harbor.domain -u admin                    
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

• push插件

[root@vm3290 tmp]# helm plugin install https://github.com/chartmuseum/helm-push
Downloading and installing helm-push v0.9.0 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.9.0/helm-push_0.9.0_linux_amd64.tar.gz
Installed plugin: push
[root@vm3290 tmp]# helm plugin ls
W0215 05:21:14.927672    4760 loader.go:223] Config not found: /etc/rancher/k3s/k3s.yaml
NAME    VERSION DESCRIPTION                      
push    0.9.0   Push chart package to ChartMuseum

image

拓展阅读

• harbor 进行 helm 管理：

$helm plugin install https://github.com/chartmuseum/helm-push
$helm  repo add  mylibrary  http://core.harbor.domain/chartrepo/library --ca-file /etc/docker/certs.d/core.harbor.domain/ca.crt
$helm repo list
NAME    URL                                                   
stable  https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
local   http://127.0.0.1:8879/charts                          
mylibrary   http://xxxx/chartrepo/library               
bitnami https://charts.bitnami.com  

image

• harbor 上传 charts (helm3 不一定可行，需要结合不同的 helm 版本进行分析)：

helm fetch stable/redis-ha   #下载charts
helm push redis-ha-2.0.1.tgz  mylibrary   #上传到私有仓库