K8s - ResourceQuota

一，ResourceQuota（资源配额）

1，简介：

当多个用户或团队共享具有固定节点数目的集群时，人们会担心有人使用超过其基于公平原则所分配到的资源量
resourcequota是帮助管理员解决这一问题的工具
资源配额是通过ResourceQuota对象来定义，对每个名称空间的资源消耗总量来提供限制，他可以限制某个namespace中的某种类型的对象总数目的上限，也可以限制namespace中pod可以使用的计算资源的总上限。

2，启用资源配额

资源配额的支持在很多 Kubernetes 版本中是默认启用的。当api服务器的命令行标志 --enable-admission-plugins=` 中包含 `ResourceQuota` 时， 资源配额会被启用。
如果没有开启在/etc/kubernetes/manifests/kube-apiserver.yaml 文件中添加  - --enable-admission-plugins=ResourceQuota 进行开启
当命名空间中存在一个 ResourceQuota 对象时，对于该命名空间而言，资源配额就是开启的

二，资源配额的选型

1，计算资源配额

资源名称              描述
limits.cpu          所有非终止状态的 Pod，其 CPU 限额总量不能超过该值。
limits.memory       所有非终止状态的 Pod，其内存限额总量不能超过该值。
requests.cpu        所有非终止状态的 Pod，其 CPU 需求总量不能超过该值。
requests.memory     所有非终止状态的 Pod，其内存需求总量不能超过该值。
hugepages-<size>    对于所有非终止状态的 Pod，针对指定尺寸的巨页请求总数不能超过此值。
cpu                 与 requests.cpu 相同。
memory              与 requests.memory 相同。

2，存储资源配额选型

资源名称                      描述 
requests.storage              所有 PVC，存储资源的需求总量不能超过该值。 
persistentvolumeclaims        在该命名空间中所允许PVC总量。
<storage-class-name>.storageclass.storage.k8s.io/requests.storage   在所有与 <storage-class-name> 相关的持久卷申领中，存储请求的总和不能超过该值。
<storage-class-name>.storageclass.storage.k8s.io/persistentvolumeclaims在与 storage-class-name 相关的所有持久卷申领中，命名空间中可以存在的持久卷申领总数。 

例如，如果一个操作人员针对 `gold` 存储类型与 `bronze` 存储类型设置配额， 操作人员可以定义如下配额：

*   `gold.storageclass.storage.k8s.io/requests.storage: 500Gi`
*   `bronze.storageclass.storage.k8s.io/requests.storage: 100Gi`
在 Kubernetes 1.8 版本中，本地临时存储的配额支持已经是 Alpha 功能：

requests.ephemeral-storage    在命名空间的所有 Pod 中，本地临时存储请求的总和不能超过此值。 
limits.ephemeral-storage      在命名空间的所有 Pod 中，本地临时存储限制值的总和不能超过此值。
ephemeral-storage             与 requests.ephemeral-storage相同。 

4，对象资源数量配额

资源名称                      描述
Configmaps                   在该命名空间中，能存在的 ConfigMap 的总数上限。
Persistentvolumeclaims       在该命名空间中，能存在的持久卷的总数上限。
Pods                         在该命名空间中，能存在的非终止状态的 Pod 的总数上限。Pod 终止状态等价于 Pod 的 status.phase 状态值为 Failed 或者 Succeed is true。
Replicationcontrollers       在该命名空间中，能存在的 RC 的总数上限。
Resourcequotas               在该命名空间中，能存在的资源配额项（ResourceQuota）的总数上限。
Services                     在该命名空间中，能存在的 service 的总数上限。
services.loadbalancers       在该命名空间中，能存在的负载均衡（LoadBalancer）的总数上限。
services.nodeports           在该命名空间中，能存在的 NodePort 的总数上限。
Secrets                      在该命名空间中，能存在的 Secret 的总数上限。

三，定义 ResourceQuota

1,对pod，cpu，memory的限制

apiVersion: v1
kind: ResourceQuota
metadata: 
  name: resource-quota
spec:
  hard:
    pods: 4
    requests.cpu: 1000m
    requests.memory: 2Gi
    limits.cpu: 2000m
    limits.memory: 4Gi

[root@k8s-master resourcequota]# kubectl apply -f test-resourcequota.yaml 

[root@k8s-master resourcequota]# kubectl get quota
NAME             AGE   REQUEST                                                LIMIT
resource-quota   26s   pods: 0/4, requests.cpu: 0/1, requests.memory: 0/2Gi   limits.cpu: 0/2, limits.memory: 0/4Gi
[root@k8s-master resourcequota]# kubectl describe quota
Name:            resource-quota
Namespace:       default
Resource         Used  Hard
--------         ----  ----
limits.cpu       0     2
limits.memory    0     4Gi
pods             0     4
requests.cpu     0     1

2,对资源对象的限制

apiVersion: v1
kind: ResourceQuota
metadata: 
  name: object-count
spec:
  hard:
    configmaps: 5
    persistentvolumeclaims: 4
    replicationcontrollers: 10
    secrets: 5
    services: 5

[root@k8s-master resourcequota]# kubectl apply -f object-count.yaml 
resourcequota/object-count created
[root@k8s-master resourcequota]# kubectl get quota 
object-count    resource-quota  
[root@k8s-master resourcequota]# kubectl get quota object-count 
NAME           AGE   REQUEST                                                                                                   LIMIT
object-count   30s   configmaps: 0/5, persistentvolumeclaims: 0/4, replicationcontrollers: 0/10, secrets: 1/5, services: 2/5   
[root@k8s-master resourcequota]# kubectl describe quota object-count 
Name:                   object-count
Namespace:              default
Resource                Used  Hard
--------                ----  ----
configmaps              0     5
persistentvolumeclaims  0     4
replicationcontrollers  0     10
secrets                 1     5
services                2     5

3，对pod限制测试

apiVersion: apps/v1
kind: Deployment
metadata: 
  name: myapp 
  namespace: test
spec: 
  replicas: 5
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels: 
        app: myapp
    spec:
      containers:
      - name: myapp
        image: ikubernetes/myapp:v1
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort: 80

[root@k8s-master resourcequota]# kubectl apply -f pod.yaml 
deployment.apps/myapp created
[root@k8s-master resourcequota]# kubectl get deployments.apps -n test 
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
myapp   4/5     4            4           4m10s
[root@k8s-master resourcequota]# kubectl get quota -n test resource-quota 
NAME             AGE     REQUEST                                                       LIMIT
resource-quota   5m27s   pods: 4/4, requests.cpu: 800m/1, requests.memory: 400Mi/2Gi   limits.cpu: 800m/2, limits.memory: 600Mi/4Gi