美文网首页linux生物信息学
linux下任务提交以及如何后台运行任务

linux下任务提交以及如何后台运行任务

作者: Amy_Cui | 来源:发表于2019-04-11 20:55 被阅读150次

有时候 我讲解后台提交任务,一般都要讲半个小时,有时候讲一百遍也不能要求所有人记住每个字眼,因此我写下来这篇博文,希望更多的同行者可以复习并也可以通过博文来理解并解决你的困扰!

登录你的服务器或mac的终端

任务投递步骤

  1. 核查软件是否安装,能否--help
  2. 参数用法是否正确,查询一下参数的具体含义,根据--help翻译英文
  3. 检查输入文件路径
  4. 核查输出文件路径
  5. 提交任务,如有有报错,解决报错在投递任务
  6. 查看任务是否已经在进程上运行着
  7. 查看结果路径,是否运行出内容。有的命令不会那么快运行出结果
    备注:很多事情,这个只是用来排除疑难杂症的问题的,因为你有经验了后,就能看懂很多报错,就能一下子想到出错地方,但是如果你初学的话,尤其第一次投递一个软件的任务时,可以试试这种方法,他能帮你排除掉90%的报错问题~

任务直接提交

  • 这里不再赘述,conda安装软件sra-tools,请查看我的博文,故直接提交命令
  • 对于初学者,一般是这样提交的,直接在登录节点投递任务;
  • 但是对于一个集群,我们是不会在登录节点投递任务的,因为我们有很多专门跑任务的节点。
  • 那么如果你只能直接投递任务了,下面就是一个简单的例子
source activate rna
prefetch SRR1039510 -O ~

2019-04-11T04:31:32 prefetch.2.9.1: 1) Downloading 'SRR1039510'...
2019-04-11T04:31:32 prefetch.2.9.1:  Downloading via fasp...
SRR1039510                                      
2019-04-11T04:42:43 prefetch.2.9.1:  fasp download succeed
2019-04-11T04:42:43 prefetch.2.9.1: 1) 'SRR1039510' was downloaded successfully

ls -lh  ~/*sra
-rw-r--r-- 1 qmcui qmcui 1.6G Nov 27  2013 /home/qmcui/SRR1039510.sra

任务的下载还是很快,11分钟下载结束,但是这十一分钟内你什么事情都做不了。得重新开一个窗口。
运行过程如图:


下载过程
下载结果

任务提交后,只能等待任务的结束,你才能输入命令,否则提交的任务还在运行的时候,你发现你输入什么都没反应。

重点是,这种情况下运行的任务会因为你网络掉线、服务器掉线、xshell/终端关闭、电脑关闭等突发情况而任务被终止

因此我们希望任务运行时被投递出去,被投递到后台运行,然后很开心的关电脑去睡觉

任务后台提交

后台任务通常用nohup ... &

source activate rna

nohup prefetch  SRR1039511 -O ~ &
# 按enter
# 后台提交任务后,命令行就被立刻返回了
# 可以再做别的事情~

ps -ef|grep qmcui|grep prefetch
# 查看qmcui用户提交的所有任务是ps -ef|grep qmcui

cat nohup.out 
后台提交prefetch

后台任务必须保存日志信息

但你把任务提交到后台后,运行的提示信息,如果你没有保存、重定向的话,自然也就没有啦。那么如果提交到后台的任务报错了,你就需要报错信息,所以必须看到这样的报错原因,才能准确定向,到底哪里出问题啦,对吧!
因此捕获报错信息很重要!!!我们需要将后台运行任务的正确提示还是报错信息都要保存起来

所以上面的任务就会变形为:

prefetch  SRR1039510 -O ~ 1>SRR1039510.download.log 2>&1 &
prefetch  SRR1039511 -O ~ 1>SRR1039511.download.log 2>&1 &
prefetch  SRR1039512 -O ~ 1>SRR1039512.download.log 2>&1 &
prefetch  SRR1039513 -O ~ 1>SRR1039513.download.log 2>&1 &
prefetch  SRR1039514 -O ~ 1>SRR1039514.download.log 2>&1 &

大家尝试运行,并查看任务是否投递成功,别忘了ps -ef|grep qmuci;匹配自己的用户名即可哦!学习:https://www.jianshu.com/p/dee6db5afeff

循环提交任务

如果将任务循环起来呢,再来点难度!这里先准备循环前的使用文件,这个文件的怎么准备,是源于循环里你需要用什么数据,文件里就准备什么数据,然后用管道符|传递给循环的代码

# 生成一个如下的SRR_list.txt文件
echo SRR10395{10..14}|sed 's/ /\n/g' >SRR_Acc_List.txt

cat SRR_Acc_List.txt
SRR1039510
SRR1039511
SRR1039512
SRR1039513
SRR1039514

运行示例:


# 理解循环结构
# 这里我没投递,先写了echo "即将投递到服务器上的命令"
cat SRR_Acc_List.txt |while read id;do echo "prefetch  $id -O ~ 1>$id.download.log 2>&1";done
prefetch  SRR1039510 -O ~ 1>SRR1039510.download.log 2>&1
prefetch  SRR1039511 -O ~ 1>SRR1039511.download.log 2>&1
prefetch  SRR1039512 -O ~ 1>SRR1039512.download.log 2>&1
prefetch  SRR1039513 -O ~ 1>SRR1039513.download.log 2>&1
prefetch  SRR1039514 -O ~ 1>SRR1039514.download.log 2>&1
# 查看这些内容是不是你要投递的

# 循环投递任务:
cat SRR_Acc_List.txt |while read id;do prefetch  $id -O ~ 1>$id.download.log 2>&1;done

循环后台提交任务

尝试了前面循环提交任务,那循环的任务怎么投递后台?

# 通过测试cat SRR_Acc_List.txt |while read id;do prefetch  $id -O ~ 1>$id.download.log 2>&1;done循环语句没错
然后写进去一个.sh文本

cat >prefetch.sh
cat SRR_Acc_List.txt |while read id;do prefetch  $id -O ~ 1>$id.download.log 2>&1;done

nohup bash prefetch.sh &
# 即把任务循环投递到后台~

写在最后

虽然第一次学起来有点难度,其实每个人但凡需要学linux投递任务的,这个知识点都是不可避免的,慢慢理解,反正不能躲避,就正面迎击吧

敲重点

  • 其实把任务放在后台最重要的符号是&。
  • 不要再循环的do代码的后面里放入&,你会死很惨,慢慢你就理解啦。
  • 任务投递出去,千万不要以为就万事大吉了,因为还有查看任务是不是真的投递上了。
  • 等你学会后台提交任务,你就可以学习怎么写流程了。
  • 1> 1.log 捕获一种输出,2> 2.log有捕获一种输出。如果想理解清楚,运行下面代码
find / -name '*gz'

find / -name '*gz' 2>~/error.txt

find / -name '*gz' 1>~/result.txt

相关文章

  • linux下任务提交以及如何后台运行任务

    有时候 我讲解后台提交任务,一般都要讲半个小时,有时候讲一百遍也不能要求所有人记住每个字眼,因此我写下来这篇博文,...

  • Linux后台运行任务

    nohup (no hang up)命令 用途:不挂断地运行命令。 语法:nohup Command [ Arg ...

  • 转录组分析 上游分析2

    小知识 ctrl +z:任务停止并提交到后台bg:使任务在后台运行fg:使任务在前台运行jobs:查看当前正在执行...

  • linux中的&&和&,|和||

    在linux中,&和&&,|和||介绍如下: & 表示任务在后台执行,如要在后台运行redis-server,则有...

  • linux

    在linux中,&和&&,|和||介绍如下: & 表示任务在后台执行,如要在后台运行redis-server,则有...

  • linux后台运行和关闭、查看后台任务

    linux后台运行和关闭、查看后台任务 fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令 一...

  • JUC-(4)线程池(下)

    之前介绍了如何创建线程池以及创建线程池时各参数的意义.现在将如果提交任务到线程池中去执行. 提交任务 提交任务到线...

  • Linux学习--No.4父子shell与后台模式

    理解Linux父子shell间的关系以及后台运行模式可以让我们更高效地完成一些任务。 要点1:父子shell 父s...

  • ios 后台运行任务

    iOS系统的后台机制 我们都知道,苹果对APP占用硬件资源管的很严,更不要说应用后台时候的资源占用了。正常情况下,...

  • RStudio后台运行任务

    RStudio 的1.1.463 是支持32位Windows系统的最后一个版本,在升级到1.2版本之后,除了只能在...

网友评论

    本文标题:linux下任务提交以及如何后台运行任务

    本文链接:https://www.haomeiwen.com/subject/hkqtwqtx.html