Kyverno故障排查

Kyverno 的故障排查和恢复流程。

虽然 Kyverno 的目标是让策略变得简单，但有时麻烦还是会来袭。以下部分可用于在出现问题时帮助进行故障排查和恢复。

API Server阻塞

症状：Kyverno Pods 不是 Running 状态，API Server 由于 webhook 超时而超时。这种情况通常是在 Kyverno Pods 没有优雅终止，或集群中断而策略配置为 fail-closed 时出现。

解决方案：删除 Kyverno 验证和变更 webhook 配置，然后重新启动 Kyverno。

1. 删除指示 API 服务器将请求转发到 Kyverno 的验证和变更 webhook 配置：

   kubectl delete validatingwebhookconfiguration kyverno-resource-validating-webhook-cfg
   kubectl delete  mutatingwebhookconfiguration kyverno-resource-mutating-webhook-cfg
   

   请注意，这两个 webhook 配置用于资源。其他 Kyverno webhook 用于内部操作，通常不需要删除。

2. 重启 Kyverno

   要么删除 Kyverno Pod，要么将部署规模缩小到零，然后再扩大。例如，对于在默认命名空间中具有三个副本的安装，请使用：

   kubectl scale deploy kyverno -n kyverno --replicas 0
   kubectl scale deploy kyverno -n kyverno --replicas 3
   

3. 考虑排除命名空间

   使用 Namespace 选择器过滤对于系统 Namespace 的请求。请注意，此配置会绕过对选定命名空间的所有策略检查，可能违反安全最佳实践。排除命名空间时，用户有责任确保配置其他控件，例如 Kubernetes RBAC，因为 Kyverno 无法将任何策略应用于其中的对象。更多信息，请参阅安全性与可操作性章节。默认情况下，在 Helm chart 2.5.0 版本中，排除了 Kyverno 命名空间。

策略未应用

症状：我的策略已创建，但当我创建应该触发它们的资源时似乎没有任何反应。

解决方案：需要检查一些活动部件，以确保 Kyverno 正在从 Kubernetes 接收信息并且健康状况良好。

1. 检查并确认 Kyverno Pod(s) 正在运行。假设 Kyverno 安装在默认的 kyverno 命名空间中，使用命令 kubectl -n kyverno get po 检查其状态。Pod 的状态应该始终是 Running。

2. Kyverno 在 Kubernetes 中注册为两种类型的 webhook。检查已注册 webhook 的状态，以确保 Kyverno 在其中。

   $ kubectl get validatingwebhookconfigurations,mutatingwebhookconfigurations
    NAME                                                                                                  WEBHOOKS   AGE
    validatingwebhookconfiguration.admissionregistration.k8s.io/kyverno-policy-validating-webhook-cfg     1          46m
    validatingwebhookconfiguration.admissionregistration.k8s.io/kyverno-resource-validating-webhook-cfg   1          46m
   
    NAME                                                                                              WEBHOOKS   AGE
    mutatingwebhookconfiguration.admissionregistration.k8s.io/kyverno-policy-mutating-webhook-cfg     1          46m
    mutatingwebhookconfiguration.admissionregistration.k8s.io/kyverno-resource-mutating-webhook-cfg   1          46m
    mutatingwebhookconfiguration.admissionregistration.k8s.io/kyverno-verify-mutating-webhook-cfg     1          46m
   

   年龄应与当前运行的 Kyverno Pod 的年龄一致。如果这些 webhook 的年龄早了几秒，可能会导致 Kyverno 注册到 Kubernetes 存在异常。

3. 通过启动一个简单的 busybox Pod 并尝试连接到Kyverno，测试名称解析和与Kyverno 服务的连接是否正常。输入如下的 wget 命令。如果响应不是“remote file exists”，说明集群内的网络连接或 DNS 存在问题。如果你的集群是由kubespray提供的，看看下面的命令是否能帮到你：

   $ kubectl run busybox --rm -ti --image=busybox -- /bin/sh
   If you don't see a command prompt, try pressing enter.
   / # wget --no-check-certificate --spider --timeout=1 https://kyverno-svc.kyverno.svc:443/health/liveness
   Connecting to kyverno-svc.kyverno.svc:443 (100.67.141.176:443)
   remote file exists
   / # exit
   Session ended, resume using 'kubectl attach busybox -c busybox -i -t' command when the pod is running
   pod "busybox" deleted
   

4. 对于 validate 策略，如果你期望阻塞对应资源，需要把 validationFailureAction 设置为 enforce。示例库中的大多数策略都被有意设置为 audit 模式，因此它们不会对新用户产生任何意外后果。audit 模式是如果前面的步骤检查成功，Kyverno 工作正常，您的策略不会立即阻止资源。

5. 检查并确保您没有创建 Kyverno 默认排除的资源，或者没有在被排除的命名空间中创建资源。Kyverno 使用存在于其默认命名空间中的名为 kyverno 的 ConfigMap 来实现资源过滤。字段名称是 resourceFilters，更多信息请参考这里。

Kyverno消耗大量资源

症状：Kyverno 正在使用过多的内存或 CPU。我怎么能知道是什么原因造成的？

解决方案：按照 Kyverno wiki 上的步骤启用内存和 CPU 分析。此外，通过运行以下命令来收集集群中存在多少 ConfigMap 和 Secret 资源：

kubectl get cm,secret -A | wc -l

收集此信息后，在 Kyverno GitHub 仓库中创建一个问题并引用它。

策略部分生效

症状：Kyverno 正在为一些策略生效，而另一些策略不生效。我怎样才能看到发生了什么？

解决方案：首先是检查来自 Kyverno Pod 的日志，看看它是否描述了策略或规则不起作用的原因。

1. 检查 Kyverno Pod 日志。假设 Kyverno 被安装在 kyverno 命名空间，使用 kubectl -n kyverno logs <kyverno_pod_name> 命令查看日志。要实时观看日志，请为“follow”选项添加 -f 开关。

2. 如果默认日志记录级别没有显示任何有用的信息，请通过编辑 Kyverno Deployment 来增加详细级别。假设 Kyverno 被安装在 kyverno 命名空间，要编辑 Deployment，请使用 kubectl -n kyverno edit deploy kyverno命令。找到 kyverno 容器的 args 配置，添加 -v 开关，并将日志调整到较高级别，-v=6 是最高的日志级别。完成故障排查后，请注意恢复此更改。

Kyverno退出

症状：我有一个包含许多对象和许多 Kyverno 策略的大型集群。 Kyverno 有时会崩溃。

解决方案：在非常大规模的情况下，可能需要增加 Kyverno Pod 的内存限制，以便它可以跟踪这些对象。

1. 使用 kubectl -n kyverno edit deploy kyverno 命令编辑 Kyverno Deployment，并增加 kyverno 容器的内存限制。将 resources.limits.memory 字段改成更大的值。通过 Kubernetes metrics-server 等工具持续监控资源使用情况。