Docker Swarm ：gRPC 基于 DNS 的负载均衡

背景

后端两个服务 ServiceA、ServiceB，ServiceA 通过 gRPC 远程调用 ServiceB。在 Docker Swarm 集群下每个服务部署多个副本，假设部署两个副本，即 ServiceA 的实例为 A1 和 A2，ServiceB 的实例为 B1 和 B2。Swarm 集群内部通过 Overlay 网络实现容器间通信，ServiceA 访问 ServiceB 通过服务名称来连接，即 A1 调用 ServiceB 时，会随机调用到 B1 或者 B2；同理，A2 也是如此。

上述流程，看似合理且正常，然而实际效果是：假设 A1 连通 B1，A2 连通 B1，那么 ServiceA 的请求会一直被 B1 接收并处理，直至 TCP 连接超时，或者 B1 服务终止。gRPC 的核心概念中有 Channel ，描述 Client 与 Server 之间的连接，即 A1 与 B1 建立连接之后， Channel 会被复用。

面对这种负载不均衡的场景，我们希望 ServiceA 的每个请求能被均衡到 ServiceB 的每个实例去处理。

GRPC 负载均衡

官方资料 Load Balancing in gRPC

工作流程

• 1、Client 请求解析 server name，获取一个或多个实际 IP 地址，例如 ServiceB 解析为 10.0.0.10、10.0.0.11
• 2、Client 实例化负载均衡策略，可选策略为 round_robin 和 grpclb。注意：如果解析程序返回的地址是均衡器地址，无论 Client 配置什么负载均衡策略，都将使用 grpclb 策略。否则，会使用 Client 配置的负载均衡策略。如果未配置，则 Client 将默认选用第一个可用服务器地址的策略
• 3、负载均衡衡策略为每个服务器地址创建一个子通道
• 4、对于每个 RPC 请求，负载均衡策略决定应将 RPC 请求发送到哪个子通道（即哪个服务器）

针对上述场景，在 Swarm 集群中，我们应该选择 dnsrr 模式，并且 gRPC 客户端配置负载均衡策略为 round_robin（轮训）即可。

配置 Load Balance Policy

不同语言配置方式不同，以下列举常用语言：

grpc-java 配置

ManagedChannel channel = ManagedChannelBuilder.forAddress(server.getHost(), server.getPort())
                                              .defaultLoadBalancingPolicy("round_robin")
                                              .usePlaintext().build();

其他语言

有待完善。。。

配置 Docker Swarm dnsrr

Docker Swarm 默认的模式是 vip，使用 dnsrr 只需将 endpoint_mode 设置为 dnsrr 即可，相关资料：

• https://docs.docker.com/compose/compose-file/
• Docker Swarm 服务发现和负载均衡原理

示例：

version: '3.7'
services:
  server:
    image: "server:latest"
    stop_grace_period: 20s
    networks:
      - idp_network
    deploy:
      replicas: 2
      endpoint_mode: vip
networks:
  idp_network:
    external: true

Spring Boot gRPC Load Balance 案例

1、获取案例源码

git clone https://github.com/ChinaSilence/spring-boot-starter-grpc.git

2、Install 相关包

• https://github.com/ChinaSilence/spring-boot-starter-grpc/tree/master/spring-boot-starter-grpc
• https://github.com/ChinaSilence/spring-boot-starter-grpc/tree/master/samples-facade

3、构建相关镜像

• server: https://github.com/ChinaSilence/spring-boot-starter-grpc/tree/master/samples-server
• client: https://github.com/ChinaSilence/spring-boot-starter-grpc/tree/master/samples-client

4、初始化 Swarm 集群

docker swarm init

5、添加 Overlay 网络

docker network create -d overlay --attachable idp_network

6、部署 gRPC server 和 client

docker stack deploy -c stack.yml grpc

在 stack.yml 文件所在路径下执行

7、查看 server 端日志

docker service logs -f grpc_server

8、持续通过 client 发送请求，并观察日志信息

curl http://localhost:8081/v1/user/list

日志输出

从日志中可以看出，server 能均衡处理 client 的请求。