Jenkins pipeline控制并行执行job个数

pipeline中，可以通过parallel，并行跑多个job。但是如果想限制并行跑的job个数，应该如何做呢?

比如说有10个job，要并行跑，但是目前资源有限，只允许最多3个同时跑，那这种情况下，应该如何修改Jenkinsfile，来满足这个需求？

通过自己的摸索，发现用以下方法，可以实现。

下图有6个job，test1-test6，这6个job，是希望并行跑的，但是在一个时刻，最多只有2个job能够并行跑。

image.png

直接上Jenkinsfile代码：

pipeline {
    agent any
    stages {
        stage("parallel test") {
            steps {
                script {
                    def branches = [:]
                    MAX_CONCURRENT = 2
                    //创建fifo
                    latch = new java.util.concurrent.LinkedBlockingDeque(MAX_CONCURRENT)
                     
                    //往fifo中，填入最大个数元素
                    for(int i=0; i<MAX_CONCURRENT; i++)
                        latch.offer("$i")
                     
                    def job_list = [
                        "test1",
                        "test2",
                        "test3",
                        "test4",
                        "test5",
                        "test6"
                    ]
                     
                    for(int i=0; i<job_list.size(); i++) {
                        def name = job_list[i]
                        branches[name] = {
                            def thing = null
                            waitUntil {
                                //获取一个资源
                                thing = latch.pollFirst();
                                return thing != null;
                            }
                            try {
                                //执行job
                                build(job: name, propagate: false)
                            }
                            finally {
                                //释放一个资源
                                latch.offer(thing)
                            }        
                        }
                    }
                    timestamps {
                        parallel branches
                    }
                }
            }
        }
    }
}

本质上，利用了java的LinkedBlockingDeque这个类，以下网站是介绍这个类：

http://tool.oschina.net/uploads/apidocs/jdk-zh/java/util/concurrent/LinkedBlockingDeque.html

将以上代码，写入到pipeline job配置的pipeline选项框中，注意，不能勾选Use Groovy Sandbox。

当然也可以把代码，写入到Jenkinsfile文件中，然后执行job需要执行的Jenkinsfile即可。

image.png

执行log如下，test1和test2首先执行，能够获取到资源，得到执行，之后的job，获取不到资源，然后被阻塞。

image.png
test1和test2执行完毕后，会释放资源，test3和test4获取到资源，然后开始执行。
image.png

执行完后，blueocean显示如下：

image.png
从blueocean看出，test1和test6是并行执行的，但是在真实环境中，他们并不是同时执行的。

转载地址