Spring Cloud DevOps之旅（二）Jenkins+

作者: show1987 | 来源:发表于2018-08-16 19:16 被阅读14次

本篇内容

Spring Cloud 项目结构概览
Dockerfile文件准备
Jenkins参数设置
Jenkins中创建流水线脚本
详细Groovy Pipeline脚本
Docker Compose安装
WebHook触发构建
Git多分支环境下构建
Spring Cloud 项目部署Docker中的坑

Spring Cloud 项目结构概览

我以目前我们公司项目为例，我将Spring Cloud项目分成了如下几块

image.png

eureka：服务发现，端口8761
config：配置中心，端口9118
basic：基础服务，提供与业务没有关系的通用service，端口9102
pms：酒店PMS数据回调service，端口9103
host：后台基础信息service，端口9100
business：业务系统service，端口9101
gateway：网关，对外暴露端口为443和8088

maven项目模块化
考虑到项目中的DTO、VO、通用类等在多个service中会使用到，且serivce之间互相调用使用了Fegin,所以，service中项目结构会是这样，以host-service为例：

image.png

host中pom.xml分了3个模块

image.png

模块之间互相引用需要如下几步

mvn -Dmaven.test.skip=true -U clean install 构建jar包并安装到本地
mvn install:install-file 使用install-file命令将jar包上传到本地仓库
在pom中添加依赖包，会从本地仓库获取指定的包

image.png

关于详细的模块化步骤，请看此文使用Maven构建多模块项目

Dockerfile文件准备

image.png

创建两个文件夹，docker-test，docker-prod
docker-test为测试环境
docker-prod为正式环境

以测试环境为例，在docker-test中创建Dockerfile

image.png

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show

ADD /target/futurekey-host.jar app.jar

ENTRYPOINT ["java","-jar","/app.jar"]

target下存放的是编译后的项目jar包

Jenkins参数设置

为了WebHook能够将请求push到Jenkins,需要如下设置

image.png

取消防跨站点请求伪造和允许匿名访问读取

image.png

Jenkins中创建流水线脚本

创建流水线脚本

image.png

勾选触发远程构建，身份令牌随便填，触发的url为JENKINS_URL/job/eureka/build?token=TOKEN

image.png

JENKINS_URL：jenkins的访问地址
eureka：此处为脚本的名称
TOKEN：输入身份验证令牌

Gitlab项目的Webhook输入jenkins的地址，点击Add webhook

image.png

测试推送

image.png

显示201则为成功

image.png

Groovy流水线脚本格式

image.png

基本格式为

#!groovy
pipeline {
    agent any
    environment {
        ENV="test"
    }

    stages {
        stage('test') {
            steps {
                echo "${ENV}"
            }
        }
    }
}

environment: 环境变量，使用时为${xx}格式，xx为变量名
stages: 所有流水线的阶段，stages中包含多个stage
steps: 脚本执行步骤

流水线语法

image.png

提供了多个步骤的选择

image.png

我现在需要生成获取git clone的脚本

image.png

点击生成

image.png

生成的脚本复制到文本，后面会使用到。

大致的脚本执行步骤

我的项目前端网页框架用的是VUE Element UI,所以分了两个git项目，每次发布时，只需要将vue编译后的文件夹copy到网关的static文件夹下，然后重写static/index.html为首页即可。

@Configuration
public class DefaultViewConfig implements WebMvcConfigurer {

    @Override
    public void addViewControllers(ViewControllerRegistry registry) {
        registry.addViewController("/").setViewName("forward:/index.html");
        registry.setOrder(Ordered.HIGHEST_PRECEDENCE);
    }
}

image.png

脚本步骤如下

#!groovy
pipeline {
    agent any
    
    environment {
        REPOSITORY="https://gitee.com/lanzhima-show/project.git"
        WEB_REPOSITORY="https://gitee.com/lanzhima-show/web.git"
        JENKINSDIR="/var/lib/jenkins/workspace/"
        PORJECTDIR="eureka/"
        ENV="test"
        FILEDIR="shell/"
    }

    stages {
        stage('获取网页代码') {
            steps {

            }
        }

        stage('获取代码') {
            steps {

            }
        }

        stage('提升shell文件执行权限') {
            steps {

            }
        }

        stage('生成maven jar包') {
            steps {

            }
        }

        stage('编译项目') {
            steps {

            }
        }

        stage('构建docker镜像') {
            steps {

            }
        }

        stage('docker发布') {
            steps {

            }
        }
    }
}

详细Groovy Pipeline脚本

获取网页代码

stage('获取网页代码') {
  echo "start fech code form git:${WEB_REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${WEB_REPOSITORY}"
                sh '''
                    cd ${JENKINSDIR}
                    rm -rf pages
                    mkdir pages
                    cp -rf ${JENKINSDIR}${PORJECTDIR}dist/. ${JENKINSDIR}pages
                '''
}

删除原来的文件夹

从Git克隆代码

创建一个pages的文件夹

将VUE编译好的dist文件夹下的所有内容，复制到pages文件夹中

获取代码

stage('获取代码') {
          steps {
                echo "start fech code form git:${REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${REPOSITORY}"
                sh '''
                    mv -f ${JENKINSDIR}pages/* ${JENKINSDIR}${PORJECTDIR}project-gateway/src/main/resources/static/
                '''
            }
        }

删除原来的文件夹

从Git克隆代码

将pages文件夹下内容移动到gateway的static下

提升shell文件执行权限

stage('提升shell文件执行权限') {
            steps {
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}${FILEDIR}
                    chmod 755 mvn-build.sh
                    chmod 755 packages-build.sh
                    cd ${JENKINSDIR}${PORJECTDIR}
                    chmod +x docker-compose.yml
                '''
            }
        }

为了能够执行shell脚本，需要赋予权限

maven编译的shell脚本,主要作用是编译可执行jar包，将jar包复制到Dockerfile文件夹中，便于后续docker生成镜像
mvn-build.sh

#!/bin/bash -ilex

PROJECTDIR=$1
MODULEDIR=$2
ENV=$3
JARNAME=$4
cd ${PROJECTDIR}${MODULEDIR}
mvn -Dmaven.test.skip=true -U clean install
mkdir ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target 
cp -f ${PROJECTDIR}${MODULEDIR}target/${JARNAME} ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target/${JARNAME}

生成jar包

创建target文件夹

复制jar包到target文件夹下

打包jar包前，需要对各项目中的模块先进行maven打包,可根据自己的项目进行实际修改
package-build.sh

image.png

Docker Compose编排脚本
经过我测试，如果将所有的容器服务全部放入一个docker-compose.yml中后，由于无法指定启动的先后顺序，并且几个service必须依赖于eureka和config后才能启动，会导致service找不到eureka和config。
所以，我的做法是将整个spring cloud的服务编排做成两个编排脚本

第一个docker-compose.yml负责启动eureka和config
docker-compose.yml

version: "3"
services:
  eureka:
    container_name: eureka
    image: demo/eureka:latest
    ports:
      - "8761:8761"
  
  config:
    image: demo/config:latest
    ports:
      - "9118:9118"
    links:
      - "eureka"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.profiles.active=test

指定eureka的container_name为eureka后，就可以通过容器名称找到eureka服务，所以需要修改环境变量eureka.client.service-url.defaultZone=http://eureka:8761/eureka/

第二个docker-compose.yml负责把service和gateway拉起
docker-compose-service-test.yml

version: "3"
services:
  basic:
    image: demo/basic:latest
    ports:
      - "9102:9102"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test
  
  pms:
    image: demo/pms:latest
    ports:
      - "9103:9103"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  host:
    image: demo/host:latest
    ports:
      - "9100:9100"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  business:
    image: demo/business:latest
    ports:
      - "9101:9101"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  gateway:
    image: demo/gateway:latest
    ports:
      - "443:443"
      - "8088:8088"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

生成maven jar包

stage('生成maven jar包') {
            steps {
                echo "start build maven package"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}packages-build.sh ${JENKINSDIR}${PORJECTDIR}"
            }
        }

编译项目

steps {
                echo "start compile eureka"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-eureka/ ${ENV} demo-eureka.jar"
                echo "start compile config"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-config/ ${ENV} demo-config.jar"
                echo "start compile basic"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-basic/web/ ${ENV} demo-basic.jar"
                echo "start compile pms"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-pms/web/ ${ENV} demo-pms.jar"
                echo "start compile host"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-host/web/ ${ENV} demo-host.jar"
                echo "start compile business"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-business/web/ ${ENV} demo-business.jar"
                echo "start compile gateway"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-gateway/ ${ENV} demo-gateway.jar"
            }

构建docker镜像

steps {
                echo "start build docker images"
                echo "start build eureka image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-eureka/docker-${ENV}
                    docker build -t demo/eureka --rm .
                '''
                echo "start build config image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-config/docker-${ENV}
                    docker build -t demo/config --rm .
                '''
                echo "start build basic image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-basic/web/docker-${ENV}
                    docker build -t demo/basic --rm .
                '''
                echo "start build pms image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-pms/web/docker-${ENV}
                    docker build -t demo/pms --rm .
                '''
                echo "start build host image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-host/web/docker-${ENV}
                    docker build -t demo/host --rm .
                '''
                echo "start build business image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-business/web/docker-${ENV}
                    docker build -t demo/business --rm .
                '''
                echo "start build gateway image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-gateway/docker-${ENV}
                    docker build -t demo/gateway --rm .
                '''
            }

docker发布

steps {
                echo "start deploy"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}
                    docker-compose down --remove-orphans
                    docker-compose -f docker-compose-service-test.yml down
                    docker-compose up -d
                    sleep 45s
                    docker-compose -f docker-compose-service-test.yml up -d
                    docker images|grep none|awk '{print $3}'|xargs docker rmi
                '''
            }

坑1：目前我没有找到让多个docker-compose.yml顺序执行的方法，所以我设置了sleep时间等待，45秒足够让eureka和config启动了。

坑2：在docker-compose down --remove-orphans中，如果不加--remove-orphans,则无法删除依赖的网络，导致后续命令执行时报错，从而发布会中断。

坑3：我使用docker-compose down后，会产品none的镜像，所以我最后会删除none镜像,docker images|grep none|awk '{print $3}'|xargs docker rmi,不知道有没有大佬能够指出我的问题。

Docker Compose安装

安装命令

pip install docker-compose

查看版本

docker-compose -version

重启jenkins

systemctl restart jenkins

WebHook触发构建

我使用的是免费版的gitee，gitee也支持webhook，在gitee中设置

image.png

当每次提交之后，都会触发构建。

image.png

Git多分支环境下构建

现在我们每次push代码都会触发构建，但是一般我们会使用GitFlow管理各分支，这时，自动构建就需要区分是哪个分支的了，一般公司都会按照分支构建开发环境、测试环境、生成环境。
我们可以按照GitFlow工作流，将develop指定为测试环境，master指定为正式环境。

安装Generic Webhook Trigger插件

在Jenkins的插件中心搜索webhook，安装Generic Webhook Trigger插件

image.png

安装成功后，在编辑脚本中，可以看到新增的Generic Webhook Trigger

image.png

定义两个参数，ref为提交的分支名称，project.git_ssh_url为项目的ssh地址

image.png

添加验证表达式

image.png

webhook地址

webhook地址为http://JENKINS_URL/generic-webhook-trigger/invoke

image.png

添加token参数作为验证

image.png

设置新的webhook地址

image.png

构建成功后，能看到各步骤花费了多少时间

image.png

Spring Cloud 项目部署Docker中的坑

内存问题：centos中JVM默认给一个java进程分配的最大内存空间是在JAVA_OPTS中设置的，如果不手动调整，内存小一点的主机会马上内存吃紧。而spring cloud中明显有多个java项目要执行，所以必须手动调整。
解决方法：在Dockerfile中添加-Xmx128m的参数，设置最大内存为128mb，你可以根据自己实际的配置进行调整。

2.时区问题：docker中的默认时区是GMT，与当前时间会相差8小时。
解决方法：在Dockerfile中添加-Duser.timezone=GMT+8

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show 

ADD /target/host.jar app.jar

ENTRYPOINT ["java","-Xmx128m","-Duser.timezone=GMT+8","-jar","/app.jar"]

Spring Cloud DevOps之旅（二）Jenkins+

本篇内容

Spring Cloud 项目结构概览

Dockerfile文件准备

Jenkins参数设置

Jenkins中创建流水线脚本

详细Groovy Pipeline脚本

Docker Compose安装

WebHook触发构建

Git多分支环境下构建

Spring Cloud 项目部署Docker中的坑

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

我爱编程

微服务核心玩法