aws-eks-rancher v2.9.0-部署笔记

0x00 Target

基于AWS EKS 集群，部署目前最新版(v2.9.0)Rancher 。
使用从阿里云购买的SSL证书。
主要参考: https://purushothamkdr453.medium.com/installing-rancher-on-aws-eks-cluster-ec6199e297e4

Rancher K8s 支持矩阵: https://www.suse.com/suse-rancher/support-matrix/all-supported-versions/rancher-v2-8-5/

0x01 Create A New Cluster

• create a 3 nodes cluster with low spec.

eksctl create cluster \
--name rancher \
--version=1.28 \
--region us-west-2 \
--nodegroup-name rancher-nodegroup \
--node-type t2.medium \
--nodes 3 \
--nodes-min 1 \
--nodes-max 5 \
--managed

This step will take 20 mins

• update kubeconfig

aws eks --region us-west-2 update-kubeconfig --name rancher

0x02 Deploy Nginx Controller

# config helm 
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
# install 
helm upgrade --install ingress-nginx ingress-nginx/ingress-nginx \
--namespace ingress-nginx --set controller.service.type=LoadBalancer  \
--create-namespace

• check svc

kubectl get svc -A

0x03 Install SSL Cert

• 从阿里云SSL证书中心下载nginx 证书，包含两个文件： a.key, a.pem
• 先把.key 转成 .pem

openssl rsa -in a.key -text > key.pem

• 导入 ssl证书

kubectl create ns cattle-system
kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=a.pem --key=key.pem

上述SSL证书，会在后面的ingress配置中使用。

0x04 Deploy Rancher

helm repo add rancher-latest https://releases.rancher.com/server-charts/latest
helm repo update
# install
helm install rancher rancher-latest/rancher \
  --namespace cattle-system \
  --set hostname=${you-domain} \
  --set ingress.tls.source=secret \
  --set ingress.ingressClassName=nginx

0x05 Update DNS config

• get svc public lb endpoint

kubectl get svc -A

• update your dns config

然后正常情况下，已经可以正常访问Rancher UI了。

0x06 安全配置＆SSL更新

• 默认情况下，eks 和 lb 都是面向公网访问的，生产环境下，你需要进行白名单IP配置。

• SSL证书更新：
  参考：https://ranchermanager.docs.rancher.com/zh/v2.9/getting-started/installation-and-upgrade/resources/update-rancher-certificate

kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=new.pem\
  --key=newkey.pem \
  --dry-run --save-config -o yaml | kubectl apply -f -

然后，重启 rancher deployment

kubectl rollout restart deploy/rancher -n cattle-system

0x07 Q&A

• 如果发现 rancher pod实例启动失败时，需要导入下面的权限补丁:

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  annotations:
    meta.helm.sh/release-name: rancher
    meta.helm.sh/release-namespace: cattle-system
  finalizers:
    - wrangler.cattle.io/auth-prov-v2-crb
  labels:
    app: rancher
    app.kubernetes.io/managed-by: Helm
    chart: rancher-2.9.0
    heritage: Helm
    release: rancher
  name: rancher
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
  - kind: ServiceAccount
    name: rancher
    namespace: cattle-system

• 重置 Rancher Amdin 密码
  万一哪天 rancher admin 密码忘记了，可以通过 kubectl 进行重置。

kubectl -n cattle-system exec $(kubectl  -n cattle-system get pods -l app=rancher | grep '1/1' | head -1 | awk '{ print $1 }') -- reset-password

• rancher 卸载
  官方提供了卸载工具：　https://github.com/rancher/rancher-cleanup

• rancher agent 问题
  level=error msg="unable to read CA file from /etc/kubernetes/ssl/certs/serverca: open /etc/kubernetes/ssl/certs/serverca: no such file or directory"
  在Rancher设置那边切换 agent 端的证书验证方式： SystemStore
  

  image.png

• K8s 版本
  EKS 升级至 1.30 版本亲测可用

0x08 ArgoCD 部署

参考：https://argo-cd.readthedocs.io/en/stable/getting_started/

kubectl create namespace argocd
kubectl apply -n argocd -f https://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yaml

0x09 ArgoCD SSL配置

参考：https://argo-cd.readthedocs.io/en/stable/operator-manual/tls/

kubectl edit cm argocd-cmd-params-cm -n argocd

增加

data:
  server.insecure: "true"

重启 server:

kubectl rollout restart deploy argocd-server -n argocd

0x0A ArgoCD Ingress配置

复用上面rancher 生成的 elb , 我们新建一个域名绑定: argocd.domain.
由于 rancher 和 argocd 在不同的 namespace下面，所以手动复制一下 rancher 下面的 ssl 证书 secret 至 argocd namespace.
然后，执行下面的 yaml, 相当于在nginx 配置一个外部ssl访问，内部使用 80 端口转发流量

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/backend-protocol: HTTP
    nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
  labels:
    app: argocd-server
  name: argocd-server
  namespace: argocd
spec:
  ingressClassName: nginx
  rules:
  - host: {argocd.domain}
    http:
      paths:
      - backend:
          service:
            name: argocd-server
            port:
              name: http
        path: /
        pathType: ImplementationSpecific
  tls:
  - hosts:
    - {argocd.domain}
    secretName: tls-rancher-ingress
status:
  loadBalancer:
    ingress:
    - hostname: {rancher-elb}.us-west-2.elb.amazonaws.com

0x0B ArgoCD 登录

argocd 默认的 admin 密码存储在 argocd namespace 下面的 secret 中
可以这样直接获取，查完后安全起见应该立刻删掉。

kubectl get secret -n argocd argocd-initial-admin-secret -o json  | jq -r .data.password | base64 -d

argocd

备忘：

https://docs.aws.amazon.com/zh_cn/codecommit/latest/userguide/customer-managed-policies.html#:~:text=You%20can%20create%20a%20Deny,is%20within%20a%20specific%20block.