Spring Cloud on ECS

背景

如果只是在一台主机或者虚拟机上面运行一个容器，那么Docker命令行就足够了，e.g: docker run xxximage。 但是如果需要管理一个100X的容器集群，就比较有挑战了。
在AWS众多服务中，就有提供集群资源管理和服务调度的服务，比如EKS和ECS, 由于EKS还没有进入中国区，本篇博客重点介绍在ECS上面运行基于Spring Cloud全家桶的微服务架构。

ECS的工作原理

ECS-picture.png

我们将基于上面的ECS架构图，简单介绍下ECS的一些重要组件和工作原理。

• ECS agent, 在每一个实例，它都有一个运行的docker进程，它就是ECS agent, 其主要负责接收ECS的命令，并且将这些命令转化为docker对应的命令；所以它能够控制EC2实例，什么时候启动、停止容器并且监控已经使用的和空闲的资源情况。
• ECS pause, 第一启动的容器，协调以后容器进行协议的分配，防止冲突。
• Cluster mangement Engine负责协调整个集群的实例，它可以被认为是虚拟的资源池，比如内存、存储、CPU、网络等；所以通过它，能够知道整个集群的资源现状。
• Scheduler负责调度容器或者tasks的执行；它能知道每个task的运行状态，是否是alive或者dead，是否需要rescheduled等。
• Kev-Value Store, 负责整个集群状态的管理。
• API, ECS另一个比较独特的地方，在于它将容器的调度从集群管理中解耦出来，并且提供一些的API，以供使用者使用。

演示介绍

基于Spring Cloud全家桶的微服务架构，如何运行在ECS容器云平台上面，本文准备了三个服务，用于演示：

• 服务一： simple-application, 使用https://start.spring.io/进行创建，主要用于从配置服务器获取动态配置。
• 服务二： simple-config-server, 主要用于配置服务器，进行微服务配置的管理。
• 服务三： simple-eureka, 主要用于服务注册与发现。

每个服务基于docker，需要通过./mvn clean package的方式，进行打包和构建新的docker镜像，然后通过下面类似的命令，将最新的镜像发布到ECR镜像注册服务器上面。

• 在ECR创建对应的镜像库。

$(aws ecr get-login --no-include-email --region ap-southeast-1)
aws ecr create-repository --repository-name simple-cluster/simple-application

• 将最新的镜像，发布到ECR对应的镜像库。

docker tag simple-cluster/simple-application:latest 613175009525.[dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest](http://dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest)

docker push 613175009525.[dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest](http://dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest)

• 发布成功之后，更新Cloudformation对应的镜像仓库地址：

 Sample:
      cpu: 512
      mem: 1024
      javaopt: "-Xms512m -Xmx1024m -Xss512k"
      port: 3000
      hostport: 9050
      name: simple-sample
      context: /simple-application
      taskcount: 1
      minhealthcount: 50
      maxhealthcount: 200
      HealthCheckGracePeriodSeconds: 300
      logPrefix: simple-application
      image: '613175009525.dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest'
      HealthCheckIntervalSeconds: 30
      HealthCheckPath: /simple-application/actuator/info
      HealthCheckPort: traffic-port
      HealthCheckProtocol: HTTP
      HealthCheckTimeoutSeconds: 5
      HealthyThresholdCount: 5

ECS集群：

可以通过命令行工具ecs-cli up进行创建，或者使用Cloudformation进行创建，本文演示基于Cloudformation的创建方式。

$ aws cloudformation create-stack --stack-name simple-ecs-cluster-cf-template --template-body file://simple-ecs-cluster-cf.yaml --region ap-southeast-1 --parameters ParameterKey=EcsInstanceType,ParameterValue=t2.medium,ParameterKey=KeyName,ParameterValue=aws-singapore-key,ParameterKey=VpcId,ParameterValue=vpc-0cbbd87895dbbfc5b
{
    "StackId": "arn:aws:cloudformation:ap-southeast-1:613175009525:stack/simple-ecs-cluster-cf-template/008ff110-2685-11e9-94ea-064b1a6199c8"
}

创建成功界面如下：

image.png

请指定正确的VPC，Subnet，SG和指定EC2的类型，数量，AMI，EBS和key pair，之后ECS会自动创建EC2，并且为其配置如下信息：

 "#!/bin/bash\n","echo ECS_CLUSTER=",!Ref EcsClusterName," >> /etc/ecs/ecs.config\n" 

创建公共的ALB, 并且根据path进行微服务的分发，对外提供接口。

image.png

部分相关Cloudformation配置：

###############   ALB Default Target-Group ####################
  DefaultALBListener:
    Type: AWS::ElasticLoadBalancingV2::Listener
    Condition: CreateSpringCloud
    Properties:
      DefaultActions:
      - Type: forward
        TargetGroupArn: !Ref DefaultTargetGroup
      LoadBalancerArn: !Ref PublicApplicationLoadBalancer
      Port: 80
      Protocol: HTTP

  DefaultTargetGroup:
    Type: AWS::ElasticLoadBalancingV2::TargetGroup
    Condition: CreateSpringCloud
    DependsOn: PublicApplicationLoadBalancer
    Properties:
      HealthCheckIntervalSeconds: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckIntervalSeconds ]
      HealthCheckPath: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckPath ]
      HealthCheckPort: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckPort ]
      HealthCheckProtocol: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckProtocol ]
      HealthCheckTimeoutSeconds: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckTimeoutSeconds ]
      HealthyThresholdCount: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthyThresholdCount ]
      Matcher:
        HttpCode: 200
      Name: default-target-group
      Port: 80
      Protocol: HTTP
      TargetGroupAttributes:
        -
          Key: deregistration_delay.timeout_seconds
          Value: 300
        -
          Key: slow_start.duration_seconds
          Value: 0
        -
          Key: stickiness.enabled
          Value: false
      VpcId: !Ref VpcId

##############   Spring Cloud Sample Resources start ####################
  SpringCloudSampleECSALBListenerRule:
    Type: AWS::ElasticLoadBalancingV2::ListenerRule
    Condition: CreateSampleTask
    DependsOn: DefaultALBListener
    Properties:
      Actions:
      - Type: forward
        TargetGroupArn: !Ref SpringCloudSampleTargetGroup
      Conditions:
      - Field: path-pattern
        Values: [/simple-application*]
      ListenerArn: !Ref DefaultALBListener
      Priority: 3

指定服务运行环境：

方法一： 通过ECS task配置环境变量

environment": [
        {
          "name": "JAVA_OPTS",
          "value": "-Dspring.profiles.active=aws"
        }
      ]

方法二： 通过Cloudformation配置环境变量

 Environment:
            -
              Name: JAVA_OPTS
              Value: !FindInMap [ SpringCloudMiddlewares, ConfigServer, javaopt ]
            -
              Name: EUREKA_URL
              Value: !Join [ "" , [ "http://", !GetAtt PublicApplicationLoadBalancer.DNSName, "/simple-eureka/eureka"]]
            -
              Name: SPRING_PROFILES_ACTIVE
              Value: aws

确保端口动态绑定(非静态绑定)，防止端口冲突问题：

方法一： ECS的task配置，hostPost设置为0.

"portMappings": [
        {
          "hostPort": 0,
          "protocol": "tcp",
          "containerPort": 8080
        }
      ]

方法二： 通过Cloudformation配置动态端口绑定

 -
   ContainerPort: !FindInMap [ SpringCloudMiddlewares, ConfigServer, port ]
   HostPort: 0

确保SG安全组，允许在动态端口范围内的访问：

image.png

创建Task的时候，确保每个task里面都开启了日志记录：

"logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "simple-ecs-cluster-log",
          "awslogs-region": "cn-northwest-1",
          "awslogs-stream-prefix": "simple-application"
        }
      }

###############  CloudWatchLog  start ####################
  ECSCloudWatchLogGroup:
    Type: AWS::Logs::LogGroup
    Properties:
      LogGroupName: !Join [ "-" , [ !Ref EcsClusterName, !Ref ECSCloudWatchLogGroupName]]
      RetentionInDays: !Ref ECSCloudWatchLogGroupRetentionInDays
###############  CloudWatchLog  end ####################

创建Task的时候，确保每个task里面都拥有足够多的访问权限，比如你的服务需要访问SQS，Redis，S3等。

集群部署
部署成功后，可通过下面Eureka界面，查看注册成功的服务：

ecs-demo-dashbroad.png
查看ECS集群运行状态：
ecs-cluster.png

时区的一致性：

• EC2上面的时区一致性：

for ec2 in 10.208.195.1xx 10.208.194.xx 10.208.194.1xx 
do
echo $ec2;
ssh -i ~/.ssh/yourkey.pem ec2-user@$ec2  << sshoff
    sudo yum -y erase 'ntp*'
    sudo yum -y install chrony
    sudo service chronyd start
    sudo chkconfig chronyd on
    sudo sed -i 's/ZONE=\"UTC/ZONE=\"Asia\/Shanghai/g' /etc/sysconfig/clock
    sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
    exit
sshoff
done

• RDS上面的时区一致性：

  设置Parameter Group，并且重启实例。

• Docker上面的时区一致性：

  重新构建满足条件的base镜像，并更新响应的配置文件pom.xml或者dockerfile

• 编码上，保证时区的方法：

System.setProperty("user.timezone","Asia/Shanghai");

• 通过传递参数的方式，保证时区的方法：

-Duser.timezone=GMT+8 

源代码：

• https://github.com/qinnnyul/simple-application
• https://github.com/qinnnyul/simple-config-server
• https://github.com/qinnnyul/simple-eureka
• https://github.com/qinnnyul/simple-ecs-cluster-cf-template