SLURM队列系统创建平行阵列任务

#!/bin/bash
#SBATCH --job-name=work_array_1
#SBATCH --output=work_array_1_%a.log
#SBATCH --error=work_array_1_%a.log
#SBATCH --partition=basic
#SBATCH --array=1-851%30 # 动态设置作业范围(示例总计 851 个脚本)，限制每次并行 30 个任务, 需要手动指定任务总数
#SBATCH --cpus-per-task=1
#SBATCH --mem=5G

source ${HOME}/anaconda3/bin/activate ldsc


# 获取脚本总数
input_file="part_*.txt"
script_count=$(wc -l < ${input_file})

# 获取当前任务的脚本路径
script=$(sed -n "${SLURM_ARRAY_TASK_ID}p" ${input_file})

# 运行脚本
script_tag=$(basename ${script} .sh)
srun bash -e ${script}


# 提交以及查询任务：
sbatch submit_task.sh
squeue -u ${USER}

Reference

Basic Slurm Commands :: High Performance Computing