美文网首页
用Jenkins来完成Python程序自动部署

用Jenkins来完成Python程序自动部署

作者: 七玄之主 | 来源:发表于2021-04-20 12:51 被阅读0次

    Java环境及Jenkins安装

    • 确认Linux系统版本
      执行uname -a命令确认系统版本。

      Linux system03 4.18.0-193.el8.x86_64 #1 SMP Fri May 8 10:59:10 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

    • 配置代理
      后续安装需要使用yum包管理器和wget下载工具，如果是企业内网环境需要配置代理。

      • 执行vi /etc/yum.conf,添加代理配置
      proxy=proxy_host:port
      • 执行vi /etc/wgetrc,添加代理配置
      https_proxy=proxy_host:port
http_proxy=proxy_host:port

    • 安装Jdk
      执行yum search openjdk*，列出有效的Jdk安装文件

        java-1.8.0-openjdk.x86_64 : OpenJDK 8 Runtime Environment
  java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
  java-1.8.0-openjdk-demo.x86_64 : OpenJDK 8 Demos
  java-1.8.0-openjdk-devel.x86_64 : OpenJDK 8 Development Environment
  java-1.8.0-openjdk-headless.x86_64 : OpenJDK 8 Headless Runtime Environment
  java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
  java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed in a single archive
  java-1.8.0-openjdk-src.x86_64 : OpenJDK 8 Source Bundle
  java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
  java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
  java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
  java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
  java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
  java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in a single archive
  java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
  java-11-openjdk-static-libs.x86_64 : OpenJDK libraries for static linking 11

      这里选择最新版的java-1.8.0-openjdk-devel.x86_64开发环境安装。
      执行命令yum install -y java-1.8.0-openjdk-devel.x86_64进行安装，安装完成以后执行java -version确认。

      openjdk version "1.8.0_282"
OpenJDK Runtime Environment (build 1.8.0_282-b08)
OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)

      到此Jdk安装成功。

    • 安装Jenkins

      由于yum的repos中默认是没有Jenkins，需要先将Jenkins存储库添加到yum的repos。

      这里选择Jenkins的LTS版进行安装，执行以下命令

        wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
  rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key

      接着，执行安装命令yum install jenkins
      以上步骤完成以后，可以适当修改Jenkins相关配置，满足各自需求。
      vi /etc/sysconfig/jenkins
      最后执行service jenkins start启动服务后，执行service jenkins status查看状态，如果一切安装无误，会出现如下信息

      jenkins.service - LSB: Jenkins Automation Server
Loaded: loaded (/etc/rc.d/init.d/jenkins; generated)
Active: active (running) since Tue 2021-04-13 11:25:53 JST; 6 days ago

    • Jenkins解锁

      • 打开http://host_ip:port，按照下图提示输入cat /var/lib/jenkins/secrets/initialAdminPassword

        查看管理者密码后，复制粘贴到文本框完成解锁。
      • 接着安装默认插件，企业内网环境在此处需要输入代理服务器相关信息。
      • 创建管理员
      • 登录进入Jenkins管理页面

    创建Item

    • 点击New Item，输入item name，选中Freestyle project，点击OK即可。

    • 在设定页面，首先选中This project is parameterized，添加env参数，用于区分stging/production部署环境。

    • Source Code Management中，选择Git后，输入对应的仓库地址及相关认证，默认指定master分支

    • Build栏，点击Add build step选中Execute shell，此处需要定义每次Jenkins完成代码合并后所需要执行的shell脚本。
      先填入如下所示的测试脚本

      #!/bin/bash

echo "部署环境：$env"

    • Build Triggers栏，有2种方式出发下面的Build。

      • 选择Poll SCM，可以根据指定的周期轮询仓库，发现有新版本时自动触发Build，此为被动触发
      • 主动触发需要自己编写本地仓库下./git/hooks下的钩子脚本

    • 完成项目创建后，点击Build with Parameters，测试Build。
      成功后，输出如下所示

      Started by user admin
Running as SYSTEM
Building in workspace /home/root/workspace/test
The recommended git tool is: git
using credential 仓库认证
Cloning the remote Git repository
Cloning repository 远程仓库地址
> git init /home/root/workspace/test # timeout=10
Fetching upstream changes from 远程仓库地址
> git --version # timeout=10
> git --version # 'git version 2.16.5'
using GIT_ASKPASS to set credentials 
Setting http proxy: 10.3.32.201:8080
> git fetch --tags --progress -- 远程仓库地址 +refs/heads/*:refs/remotes/origin/* # timeout=10
> git config remote.origin.url 远程仓库地址 # timeout=10
> git config --add remote.origin.fetch +refs/heads/*:refs/remotes/origin/* # timeout=10
Avoid second fetch
> git rev-parse refs/remotes/origin/master^{commit} # timeout=10
Checking out Revision d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 (refs/remotes/origin/master)
> git config core.sparsecheckout # timeout=10
> git checkout -f d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 # timeout=10
Commit message: "format"
First time build. Skipping changelog.
[test] $ /bin/bash /tmp/jenkins5715523532502007103.sh
部署环境：stg
Finished: SUCCESS

    脚本编写

    • 由于自定义执行的shell是在Jenkins编译完成以后，根据初次编译的log可以很清晰的看出Jenkins的编译过程，通过在本地保持副本，每次Build时会拉取仓库最新的HEAD标签，本地通过checkout命令指向最新标签完成合并。由此为了获取本地和仓库变更文件列表，可以使用change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)实现
    • 将变更代码替换程序部署目录时，使用cp --path -a -v $change_files $app_folder命令，cp --path命令会自动创建相应子目录，然后把文件复制到对应的子目录下。
    • 使用以下函数完成变更文件类型检测 
      #参数1-检测文件列表，参数2-文件后缀名
is_assign_file() {
    for file in $1; do
        if [ "${file##*.}" = "$2" ]; then
            return 0
        fi
    done
    return 1
}
      实际调用is_assign_file "$change_files" "py"，如此可检测是否包含python文件来决定是否重启应用程序。
    • 使用scp传递文件到其他服务器，使用ssh命令完成在此服务器上执行命令。
    • 最后附上一份自己使用的脚本 
      #!/bin/bash

#判断是否包含某类型文件
is_assign_file() {
    for file in $1; do
        if [ "${file##*.}" = "$2" ]; then
            return 0
        fi
    done
    return 1
}

#递归获取指定文件夹下所有文件名
ergodic() {
    for file in $(ls $1); do
        if [ -d $1"/"$file ]; then
            ergodic $1"/"$file
        else
            #local path=$1"/"$file
            local name=$file
            #local size=`du --max-depth=1 $path|awk '{print $1}'`
            echo $name
        fi
    done
}


base_folder=/home/work
project="test"

target_folder=${base_folder}/app
app_folder=$target_folder"/${project}"
tmp_folder=$target_folder"/tmp/${project}"

if [ $env == "stg" ]; then
    change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)
    cp --path -a -v $change_files $app_folder
    cp --path -a -v $change_files $tmp_folder

    is_assign_file "$change_files" "py"
    if [ "$?" == 0 ]; then
        cd $target_folder
        echo "此处执行程序重新构建脚本"
    fi
elif [ $env == "prod" ]; then
    prod_host=产品环境
    prod_folder=/home/work
    prod_app_folder=$prod_folder"/app/${project}"
    prod_release_folder=${prod_folder}/app/release

    if [ -n "$(ls -A $tmp_folder 2>/dev/null)" ]; then
        timestamp=$(date +"%Y%m%d%H%M%S")
        scp -i /root/.ssh/id_rsa -r -p $tmp_folder root@$prod_host:$prod_release_folder

        ssh root@$prod_host "cd ${prod_folder}/app; tar -cf ${project}_bak.tar ${project}; 
                        cp -a -r -v release/${project}/* ${project}; 
                        mv -f -v release/${project}/ release/${project}_${timestamp}"

        change_files=$(ergodic $tmp_folder)
        is_assign_file "$change_files" "py"
        if [ "$?" == 0 ]; then
            echo "此处执行程序重新构建脚本"
        fi

        rm -rfv $tmp_folder/*
    else
        echo "没有变更文件。"
    fi
else
    echo "环境参数错误"
fi

    相关文章

      网友评论

          本文标题：用Jenkins来完成Python程序自动部署

          本文链接：https://www.haomeiwen.com/subject/kcpglltx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|用Jenkins来完成Python程序自动部署|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！