在企业实践中，通常会部署多个OpenShift集群：开发测试、生产等。每个集群都是独立的，通过物理资源进行隔离。这种方式管理简单，易于理解，但是消耗的资源更多，每个集群都需要额外的控制节点及运维节点。有没有办法，使不同环境运行在同一个集群上，并且它们之间实现隔离呢？答案是可以的。
对于不同的环境，做好资源隔离，我们需要对计算资源——宿主机做好规划，同时还需要对网络做好规划。宿主机的隔离，可以通过给主机添加label的方法，规划pod的调度。本篇中，我们只针对网络Route部分做好开发测试环境与生产环境的隔离。

OpenShift集群Route分片机制

大家都知道OpenShift管理南北流量是通过Route来实现的，所谓的Route本质就是一个Haproxy/Nginx服务，与K8S中的Ingress类似。
默认情况下，OpenShift集群的Router是全局共用的，也就是说，在创建新的Route资源、Pod更新或者证书更新时，所有的OpenShift Router Pod都会更新Haproxy/Nginx的配置，并重新加载。所有的Route后台应用可以通过任一Router服务访问。通过创建多个Router服务，并使用Route分片机制，将不同的应用配置到不同的Router上，实现应用Router服务的隔离。下图为多Router节点分片的架构图。

多Router节点分片

该架构图中，并没有考虑将节点隔离，只是通过适当的路由来做流量划分。

1. 流量入口为集群外部的负载均衡器。我们只考虑*.apps-prod.example.com与*.apps-dev.example.com域名访问情况。
   *.apps-prod.example.com域名的后端服务为router-prod
   *.apps-dev.example.com域名的后端服务为router-dev
2. 每个router都强制设置Route的域名subdomain格式【可选】
   router-prod路由设置的subdomain为：${name}-${namespace}.apps-prod.example.com
   router-dev路由设置的subdomain为：${name}-${namespace}.apps-dev.example.com

$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com'
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com'

对于已完成部署的Router服务可以使用如下命令设置

$ oc adm router router-prod  --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --dry-run -o yaml | oc apply -f -

此时新建的所有Route的host将无法自定义设置，而会被将被强制设置为两个，其格式为：${name}-${namespace}.apps-prod.example.com 与${name}-${namespace}.apps-dev.example.com。

3. 接下来是最重要的一步，为每个Router应用设置Project过滤器，只有带有指定Label的Project下的Route资源才能在该Router下创建配置。
   router-pod路由设置过滤器为：router=prod
   router-dev路由设置过滤器为：router=dev

$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"

请确保带有Labelrouter=prod的Router应用部署在带有Labelrouter=prod的Infra节点上，同样带有Labelrouter=dev的Router应用部署在带有Labelrouter=dev的Infra节点上。该创建步骤合在一起的脚本如下，即在创建的时候指定Node，及环境变量

$ # prod router节点
$ oc label node infra1 "router=prod"
$ oc label node infra2 "router=prod"
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --selector=router=prod
$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"

$ # dev router节点
$ oc label node infra3 "router=dev"
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com' --selector=router=dev
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"

4. 设置对应Label的Project，将会自动匹配该Project下的Route资源与Router服务
   创建新的project，添加Labelrouter=prod，将会把该Project下的Route资源配置在prod Router服务中，同理Labelrouter=dev下的Route资源配置将会在dev Router服务中配置。

$ # 创建project project-prod-1设置Label router=prod
$ oc new-project project-prod-1
$ oc label namespace project-prod-1 router=prod

$ # 创建project project-dev-1设置Label router=dev
$ oc new-project project-dev-1
$ oc label namespace project-dev-1 router=dev

5. 此时创建的应用，将会自动进行Router选择配置。Projectrouter=prod下创建的Route将会自动在Routerrouter=prod下配置，同时它的域名格式为：
   ${name}-${namespace}.apps-prod.example.com。
   同样的Projectrouter=dev下创建的Route将会自动在Routerrouter=dev下配置，同时它的域名格式为：
   ${name}-${namespace}.apps-dev.example.com。

总结

• 企业级容器云平台建设之资源管理一文中，总结了资源管理分为四部分：计算、网络、存储、镜像仓库。真正实现不同环境的隔离，这四个方面都需要考虑。本文的主要内容说明了网络部分南北流量的隔离。
• 通过Route流量分片机制，将不同环境下的应用部署在同一个OpenShift集群中，在满足网络南北流量隔离的情况下，减少了集群的数量，节约管理及硬件成本。
• 要实现集群网络中东西流量的隔离，可以在不同环境下的宿主机之间建立防火墙来实现，同时也可以使用OpenShift的ovs-multitenant或者ovs-networkpolicy网络策略来实现。可阅读之前写的文章：Openshift的网络策略networkpolicy
• 计算隔离必须保证不同环境下的应用不会运行在同一台宿主机下，以避免它们之间相互影响，抢占资源。这就需要使用OpenShift的调度策略来实现。可阅读之前写的文章：玩转Openshift中Pod调度
• 存储隔离。可以通过创建不同的storageclass为不同的环境提供服务。
• 镜像仓库隔离。可以创建多个镜像仓库，同时也可以使用一套镜像仓库，而使用不同的project来作镜像间的逻辑隔离。

参考文章

OpenShift Router Sharding for Production and Development Traffic
OpenShift Route配置加载的机制可以参考文章：OpenShift Router配置重新加载机制