我们有一个给设备做TCP直连的netty服务，这个服务要支持大量设备的直接连接，并且支持双向通信（服务端要能够向指定的设备发送消息，设备也要能向服务端发消息）
这样的服务多实例部署的时候，就需要做TCP负载均衡。
示意图
要实现的目标是：
1、TCP负载均衡，客户端向一个ip和端口发起连接，均衡负载到不同的netty服务上。
2、Netty服务动态伸缩的时候，负载均衡要能够感知
3、其他服务要能调用Netty服务向指定的设备发送消息，这就需要设备连接成功后，Netty服务要记录该设备所在服务的ip地址。其他服务请求时将请求路由到指定设备连接的Netty服务上。
服务部署到k8s集群上。然鹅在腾讯云服务器上构建出来的k8s集群不支持LoadBalancer（如果可以，还请各位指点）。
虽然腾讯云有支持tcp负载均衡的产品，不过那个只是在服务器之间的四层负载均衡，如果要部署到k8s里面，需要pod之间的负载均衡。
最新发现这个项目《https://github.com/danderson/metallb》可以实现自建集群支持四层负载均衡
方案一：
Netty服务通过HostPort暴露端口，通过Nginx做upstream（或者通过腾讯云的负载均衡），配置多个k8s主机节点的ip和端口做TCP负载均衡。
upstream nettymq1{
server 192.168.3.62:28866 weight=1;
server 192.168.3.63:28866 weight=1;
server 192.168.3.64:28866 weight=1;
server 192.168.3.65:28866 weight=1;
}
server{
listen 28866;
proxy_pass nettymq1;
}
缺陷：HostPort方式暴露端口，会占用主机端口，一台主机就只能部署一个服务，同一台主机上调度两个就会出现端口冲突。
并且netty服务不支持扩展到多于集群主机的个数。
方案二：
通过k8s的statefulset方式部署，可以给pod产生规则的域名。这样在Nginx upstream中配置主机节点的ip就变成了配置pod的规则域名的方式。
upstream nettymq1{
server nettymq-0:28866 weight=1;
server nettymq-1:28866 weight=1;
server nettymq-2:28866 weight=1;
server nettymq-3:28866 weight=1;
}
这样可以解决方案一中，占用主机端口，一台主机只能部署一个的问题。
缺陷：由于upstream中配置的是域名，如果是开源版的nginx没法动态解析域名，域名指向的ip改变之后，nginx无法解析到新ip上。需要nginx-plus版的resolve指令动态更新域名。
并且还是无法动态想扩展多少个就扩展多少个，受限于upstream中配置server个数。
友情提示：openresty 的 ngx_http_dyups_module 模块只支持http下的upstream更新，不支持stream下的upstream更新。o(╥﹏╥)o
方案三：
这个方案要用到一个开源项目：
kubernetes-ingerss：GitHub - nginxinc/kubernetes-ingress: NGINX and NGINX Plus Ingress Controllers for Kubernetes
这个 kubernetes-ingerss 跟 Kubernetes 自带的 NGINX Ingress Controller不是同一个东西。
它的 example/tcp-udp 下就有关于tcp负载均衡的介绍，可以通过configMap动态注册服务下的pod的ip到nginx的upstream上。看起来可以完美解决动态扩容缩容的问题。
第一步：先要安装 kubernetes-ingerss
1、将源码中deployments目录复制到可以执行kubectl命令的主机上，进入该目录
2、根据 https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md 的步骤执行命令即可
Create a Namespace, a SA, the Default Secret and the Customization Config Map
kubectl apply -f common/ns-and-sa.yaml
kubectl apply -f common/default-server-secret.yaml
kubectl apply -f common/nginx-config.yaml
Configure RBAC
kubectl apply -f rbac/rbac.yaml
然后创建负载均衡服务，以下两种方式选择一种即可，两种方式各有优势，自行选择即可
Service with the Type LoadBalancer
1.Create a Deployment：只部署一个服务，然后转发到不同的netty服务
kubectl apply -f deployment/nginx-ingress.yaml
2.Create a DaemonSet：每个主机一个服务
kubectl apply -f daemon-set/nginx-ingress.yaml
以上两种方式任选其一即可，不要同时安装两个
Service with the Type NodePort 选择NodePort方式配置负载均衡（这里要根据自己的服务配置需要暴露哪些端口）
kubectl create -f service/nodeport.yaml
上面是两种负载均衡同时安装的效果，大家只要安装其中一种即可，两个同时存在会出问题
3、配置Netty服务的负载均衡
kubectl apply nginx-netty-config.yaml
nginx-netty-config.yaml 文件如下
kind: ConfigMap
apiVersion: v1
metadata:
name: nginx-config
namespace: nginx-ingress
data:
stream-snippets: |
upstream netty-mq-tcp {
server netty-mq:28866; # netty-mq为k8s中部署的netty服务名称
}
server {
listen 30001;
proxy_pass netty-mq-tcp;
}
4、验证
将netty-mq服务修改为多个pod部署，
然后让多个设备连接 nginx-ingress 暴露的30001端口，即可发现多个设备的连接负载均衡到不同的pod上了。
网友评论