有时候 我讲解后台提交任务,一般都要讲半个小时,有时候讲一百遍也不能要求所有人记住每个字眼,因此我写下来这篇博文,希望更多的同行者可以复习并也可以通过博文来理解并解决你的困扰!

登录你的服务器或mac的终端

任务投递步骤

核查软件是否安装,能否--help

参数用法是否正确,查询一下参数的具体含义,根据--help翻译英文

检查输入文件路径

核查输出文件路径

提交任务,如有有报错,解决报错在投递任务

查看任务是否已经在进程上运行着

查看结果路径,是否运行出内容。有的命令不会那么快运行出结果

备注:很多事情,这个只是用来排除疑难杂症的问题的,因为你有经验了后,就能看懂很多报错,就能一下子想到出错地方,但是如果你初学的话,尤其第一次投递一个软件的任务时,可以试试这种方法,他能帮你排除掉90%的报错问题~

任务直接提交

这里不再赘述,conda安装软件sra-tools,请查看我的博文,故直接提交命令

对于初学者,一般是这样提交的,直接在登录节点投递任务;

但是对于一个集群,我们是不会在登录节点投递任务的,因为我们有很多专门跑任务的节点。

那么如果你只能直接投递任务了,下面就是一个简单的例子

source activate rna

prefetch SRR1039510 -O ~

2019-04-11T04:31:32 prefetch.2.9.1: 1) Downloading 'SRR1039510'...

2019-04-11T04:31:32 prefetch.2.9.1: Downloading via fasp...

SRR1039510

2019-04-11T04:42:43 prefetch.2.9.1: fasp download succeed

2019-04-11T04:42:43 prefetch.2.9.1: 1) 'SRR1039510' was downloaded successfully

ls -lh ~/*sra

-rw-r--r-- 1 qmcui qmcui 1.6G Nov 27 2013 /home/qmcui/SRR1039510.sra

任务的下载还是很快,11分钟下载结束,但是这十一分钟内你什么事情都做不了。得重新开一个窗口。

运行过程如图:

下载过程

下载结果

任务提交后,只能等待任务的结束,你才能输入命令,否则提交的任务还在运行的时候,你发现你输入什么都没反应。

重点是,这种情况下运行的任务会因为你网络掉线、服务器掉线、xshell/终端关闭、电脑关闭等突发情况而任务被终止

因此我们希望任务运行时被投递出去,被投递到后台运行,然后很开心的关电脑去睡觉

任务后台提交

后台任务通常用nohup ... &

source activate rna

nohup prefetch SRR1039511 -O ~ &

# 按enter

# 后台提交任务后,命令行就被立刻返回了

# 可以再做别的事情~

ps -ef|grep qmcui|grep prefetch

# 查看qmcui用户提交的所有任务是ps -ef|grep qmcui

cat nohup.out

后台提交prefetch

后台任务必须保存日志信息

但你把任务提交到后台后,运行的提示信息,如果你没有保存、重定向的话,自然也就没有啦。那么如果提交到后台的任务报错了,你就需要报错信息,所以必须看到这样的报错原因,才能准确定向,到底哪里出问题啦,对吧!

因此捕获报错信息很重要!!!我们需要将后台运行任务的正确提示还是报错信息都要保存起来

所以上面的任务就会变形为:

prefetch SRR1039510 -O ~ 1>SRR1039510.download.log 2>&1 &

prefetch SRR1039511 -O ~ 1>SRR1039511.download.log 2>&1 &

prefetch SRR1039512 -O ~ 1>SRR1039512.download.log 2>&1 &

prefetch SRR1039513 -O ~ 1>SRR1039513.download.log 2>&1 &

prefetch SRR1039514 -O ~ 1>SRR1039514.download.log 2>&1 &

大家尝试运行,并查看任务是否投递成功,别忘了ps -ef|grep qmuci;匹配自己的用户名即可哦!学习:https://www.jianshu.com/p/dee6db5afeff

循环提交任务

如果将任务循环起来呢,再来点难度!这里先准备循环前的使用文件,这个文件的怎么准备,是源于循环里你需要用什么数据,文件里就准备什么数据,然后用管道符|传递给循环的代码

# 生成一个如下的SRR_list.txt文件

echo SRR10395{10..14}|sed 's/ /\n/g' >SRR_Acc_List.txt

cat SRR_Acc_List.txt

SRR1039510

SRR1039511

SRR1039512

SRR1039513

SRR1039514

运行示例:

# 理解循环结构

# 这里我没投递,先写了echo "即将投递到服务器上的命令"

cat SRR_Acc_List.txt |while read id;do echo "prefetch $id -O ~ 1>$id.download.log 2>&1";done

prefetch SRR1039510 -O ~ 1>SRR1039510.download.log 2>&1

prefetch SRR1039511 -O ~ 1>SRR1039511.download.log 2>&1

prefetch SRR1039512 -O ~ 1>SRR1039512.download.log 2>&1

prefetch SRR1039513 -O ~ 1>SRR1039513.download.log 2>&1

prefetch SRR1039514 -O ~ 1>SRR1039514.download.log 2>&1

# 查看这些内容是不是你要投递的

# 循环投递任务:

cat SRR_Acc_List.txt |while read id;do prefetch $id -O ~ 1>$id.download.log 2>&1;done

循环后台提交任务

尝试了前面循环提交任务,那循环的任务怎么投递后台?

# 通过测试cat SRR_Acc_List.txt |while read id;do prefetch $id -O ~ 1>$id.download.log 2>&1;done循环语句没错

然后写进去一个.sh文本

cat >prefetch.sh

cat SRR_Acc_List.txt |while read id;do prefetch $id -O ~ 1>$id.download.log 2>&1;done

nohup bash prefetch.sh &

# 即把任务循环投递到后台~

写在最后

虽然第一次学起来有点难度,其实每个人但凡需要学linux投递任务的,这个知识点都是不可避免的,慢慢理解,反正不能躲避,就正面迎击吧

敲重点

其实把任务放在后台最重要的符号是&。

不要再循环的do代码的后面里放入&,你会死很惨,慢慢你就理解啦。

任务投递出去,千万不要以为就万事大吉了,因为还有查看任务是不是真的投递上了。

等你学会后台提交任务,你就可以学习怎么写流程了。

1> 1.log 捕获一种输出,2> 2.log有捕获一种输出。如果想理解清楚,运行下面代码

find / -name '*gz'

find / -name '*gz' 2>~/error.txt

find / -name '*gz' 1>~/result.txt

服务器提交任务和直接运行,linux下任务提交以及如何后台运行任务相关推荐

  1. Linux下优雅的让程序后台运行

    Linux下优雅的让程序后台运行 假设在终端上启动运行了一个程序,跑了几天,如果不小心把terminal关了,那么程序就会终止,这是SIGHUP信号的原因,即使通过bg置为后台运行同样会如此,应该让程 ...

  2. linux下如何让脚本在后台运行

    在服务器中我们经常需要将一些脚本挂在后台继续运行,而不是随着我们切断一段会话就结束了运行,常见的作法有如下几种,下面就进行简单的总结: 0. bg\fg 在 Windows 上面,要么让一个程序作为服 ...

  3. linux下设置程序后台运行,linux中如何让进程在后台运行

    一. nohup / setsid / & 使用场景: 如果只是临时有一个命令需要长时间运行,什么方法能最简便的保证它在后台稳定运行呢? 我们的解决办法就有两种途径:要么让进程忽略 HUP 信 ...

  4. linux 后台运行jar包命令,Linux 运行jar包命令(Cent OS 7后台运行jar包)

    Linux 运行jar包命令如下: 方式一 特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出 那如何让窗口不锁定? 方式二 java -jar shareniu. ...

  5. (转)linux下oracle instant client安装和运行

    1.首先要知道什么是ORACLE的客户端: Oracle Instant client 是oracle提供的简便客户端, 支持多种平台. 可从oracle网站下载, 下载地址为 http://www. ...

  6. linux 邮件服务器 并给外网发送邮件,Linux下判断公网IP是否改变,并发送邮件通知...

    考虑到大家都是在自己家里架设服务器,IP是动态的,随时可能改变.为保证IP改变的时候能及时更新域名指向地址,在服务器上挂一个脚本判断IP是否已经改变,并主动发送邮件通知--这显得非常重要. 实现方法有 ...

  7. linux版gaussian运行,linux下运行高斯比windows的优势

    转引自GaussianFAQ第一章第四节 (1.4) 难道非要用Linux算高斯吗?Windows算高斯的缺陷是什么? 后续问题:听说Linux很难的.我是电脑小白,在Windows上都不太懂,只会最 ...

  8. linux下程序如何实现单实例运行

    1.技术原理 无论是windows还是linux下,程序设计者都会遇到一个问题,那就是如何实现程序的单实例运行.比如,Windows自带的播放软件Windows Medea Player只能启动一个实 ...

  9. drcom linux怎么运行,linux下使用drcom登录认证

    下载 首先感谢开发者: https://github.com/drcoms/drcom-generic 这个项目基于python实现了d,p,x版drcom认证,请到上述链接查看相关信息, 项目的wi ...

  10. linux 下进程和线程指定CPU运行

    大概的介绍一下linux 的指定CPU运行,包括进程和线程,这个只是最基本的方法,看一下基本就会了,至于其他的进程间通信和线程同步的话,这里暂不做任何介绍. 算了,还是比较整体的介绍一下如何去学习这个 ...

最新文章

  1. 学习网页制作中如何在正确选取和使用 CSS 单位
  2. Android 中View的绘制机制源代码分析 三
  3. 定义一个有参宏SWAP(t,x,y),用以交换t类型的两个参数的值
  4. 2017全球中国锂电池市场趋势概述
  5. 计算机网络本地连接被禁用说明什么,win10系统网络被禁用重新启用本地连接的设置技巧...
  6. 如何授予邮箱的代理发送权限
  7. 【Python教程】读写ini配置文件的详细操作
  8. Tools_将Python脚本封装成exe可执行文件
  9. hdu 2160 母猪的故事(睡前随机水一发)(斐波那契数列)
  10. python图片保存_python读取和保存图片5种方法对比
  11. python删除列表空元素_Python 如何删除列表中的空值
  12. 世界上最贵的车是直通车吗?
  13. linux自动更新漏洞,Linux爆本地提权漏洞 请立即更新udev程序
  14. SPF邮件伪造漏洞测试脚本
  15. Paper再现:MD+AI自动编码机探测蛋白变构(一):文章分析
  16. android textview 文字倒影,textview 倒影
  17. 申论公文题-总结类-1
  18. 云计算1+X之openstack篇
  19. mysql经典45道题_MySQL查询 45道练习题
  20. 安全帽识别的系统应用

热门文章

  1. 四位共阳极数码管显示函数_求各位大神指正,四位一体共阳极数码管数字钟程序,仿真能运行,实物就只显8个8,不动...
  2. 在这个薄情的世界里深情的活这
  3. php培训班学多久,学php最快要多久? 学习路线?要不要报培训班?
  4. MySQL压缩包下载及解压安装
  5. 华三交换机snmp配置
  6. Inception-V3论文翻译——中文版
  7. 失眠的岁月,我们都交了哪些科技智商税?
  8. 个人公众号成长记 - 你为什么要做公众号呢?
  9. Python生成彩色字符画
  10. winpython, anaconda 哪个更好?