上一次,小编把常用的Linux命令做了分享。但是,在我们进行生物信息学分析时,往往需要在高性能服务器集群上投递任务。这就需要我们掌握基本的集群操作方法。

我们使用高性能服务器集群时,需要通过ssh远程连接,在Windows下有很多软件可以通过ssh连接Linux主机,如Xshell、putty等等……在这里小编推荐Xshell,大家可以使用学校邮箱在官网申请使用教育版。

申请地址:

https://www.netsarang.com/zh/free-for-home-school/

填好信息以后,邮箱会收到一封邮件,点击链接下载Xshell和Xftp,安装软件就行啦!

安装好以后打开软件,点击“新建”,创建一个新的会话。

在“主机”处输入服务器的IP地址。

点击“用户身份验证”,输入用户名和密码,就可以登录服务器啦!

需要注意的是,我们是远程连接服务器,如果你的连接断掉的话,在Xshell里执行的命令是会终止的!!!

为了避免我们执行的命令由于连接断开而终止,我们在执行命令时可以使用“nohup ”命令。

## 输入命令
nohup command &
## 退出终端
exit

这样,我们就把任务提交到了后台,重新登录服务器以后,就会看到提交命令的目录下多了一个"nohup.out"文件,运行日志都记录在里面。点击“Xftp”的图标,就可以把输出文件下载到我们的电脑里。

但我们使用的服务器集群大都由登录节点和计算节点组成。登录节点用来执行简单的Linux命令,不能执行消耗资源大的任务,这时我们就需要将任务由登录节点投递至计算节点。在这里,小编教大家如何使用集群管理系统SGE(Sun Grid Engine)投递任务。

(注意:不同单位的服务器集群管理系统可能不同!系统不同命令也不同!具体可咨询服务器管理员!)

我们首先使用SGE在登录节点投递任务,SGE接收到任务后会将任务储存至一个指定区域,随后将任务投递至一个计算节点运行,运行结束后将结果返回。这样我们我们在登录节点投递任务后,就可以关掉电脑做其他事,SGE会把我们的任务安排在计算节点里执行。

## 投递任务
qsub -cwd -l vf=*G,p=n,h=node -q queue *.sh

-cwd:在当前目录下执行任务,同时,SGE的运行日志也会输出在当前目录

-l:申请所需的资源。vf=*G设置任务预计使用的内存大小(一般设置的值要稍微大一些,负责容易让节点挂掉),p=n设置所需的CPU数,h=node设置任务指定投递的节点名称。日常使用时,并不是每次都要设置这三个参数,大家可以根据自己的需要自行删减。

-q:指定任务要投递到队列名称。

*.sh:需要投递的任务,建议在脚本前加上完整路径。

输入这条命令,我们的任务就投递到服务器上啦!

任务投递成功后,我们可以使用"qstat "查询任务的状态。

## 查看任务状态
qstat
## 查看指定任务状态
qstat -j job-ID
## 删除任务
qdel job-ID
## 查看计算节点资源状况信息
qhost

job-ID:任务号

state:任务状态。一般会有以下情况,"qw"代表任务在等待执行状态,"r"代表任务正在执行,"s"代表任务暂时挂起,"dr"代表任务所在的计算节点挂了,需要联系管理员重启节点。任务还有其他状态,大家具体遇到时可以查询一下。

queue:任务所在的队列及计算节点。如图所示,代表任务被投递在了"rna"队列的“cu-0029"队列上。

最后再教给大家一个命令"qhost ",使用该命令可以查看计算节点的资源状况,方便我们选择任务投递的队列和节点。

SGE还有非常多的指令,具体需要时,大家可以在网上查询。

参考资料:

SUN Grid Engine

https://www.jianshu.com/p/b7b540a3c015

xshell用无线网远程连接linux失败_Linux基础入门 | 服务器集群使用指南相关推荐

  1. xshell用无线网远程连接linux失败_vnc远程控制软件怎么用,3个步骤教你vnc远程控制软件怎么用...

    我是在服务器上添加了分帐户,然后使用vnc连接,遇到了vnc连不上的问题 有好几个问题导致这个原因,这里说两个我遇到的: 解决问题使用工具:IIS7服务器管理软件 IIS7服务器管理工具里面的VNC功 ...

  2. 【Linux】——在Xshell输入ssh root@公网ip进行远程连接Linux失败,显示(port 22): Connection failed的完美解决方法

    这里写目录标题 Connection failed-连接失败 解决方案(逐步解决1-2-3-4) 方法一: 方法二: 方法三: 方法四: Connection failed-连接失败 作为一位Linu ...

  3. xshell远程连接linux失败_问题1-xshell远程连接不上linux主机

    在其他主机上搭建linux系统,我们一般通过xshell工具去远程访问该主机,这样不仅可以方便我们的对系统或者集群进行管理也方便了我们的操作,但是在搭建好环境的时候遇到如下问题: 解决方案:1.关闭目 ...

  4. VSCode/VS ssh远程连接Linux失败原因

    VSCode: 错误:过程试图写入的管道不存在 VS: 错误:主机名和端口号标红 先win + R打开cmd 输入ping + 虚拟机的ip地址(注:此时虚拟机处于打开状态) 结果如下图所示,表示pi ...

  5. 如何取消linux响铃_linux初学者入门:VIM编辑简易指南(常用操作)

    在linux低下最常用的文本编辑器为vim,如何进入编辑模式 i,I,a,A (i,在光标当前位置插入,a在当前位置追加),o,O在一个新的一行输入新字符,r,R为取代原来的字符以上输入都在一般模式当 ...

  6. Xshell远程连接linux系统失败

    昨天学习了如何给linux系统配置固定的网络地址,今天学习了Xshell远程连接linux系统.输入我昨天配置的ip,就是连不上,一直显示有问题. 网上找了很多,但是都没有用. 重新看报错信息,就觉得 ...

  7. 使用xshell SSH远程连接 linux

    为什么要设置免密登录? 通过它可以实现不用输入密码就可以远程连接linux 确保网卡已配置 1.ping通外网,如果不能ping通,说明需要配置网卡. 2.查看你的网卡名,输入命令ip addr,我的 ...

  8. 1.9 使用PuTTY远程连接Linux 1.10 使用xshell连接Linux 1.11 PuTTY密钥认证 1.12 xshell密钥认证...

    1.9 使用PuTTY远程连接Linux 先下载putty 地址百度搜,进官网下载https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.h ...

  9. putty xshell远程连接Linux及密钥认证

    putty远程连接Linux 及密钥认证 1.下载putty(百度-putty下载)下载32位安装包即可:如图所示 2.运行putty 创建session(通常配置项) 3.在点击"open ...

最新文章

  1. nssl1270-创世纪【树形dp,基环树】
  2. 【转】解决WCF大数据量传输 ,System.Net.Sockets.SocketException: 远程主机强迫关闭了一个现有的连接...
  3. 开发 自我介绍_对于开发者来说,自我是敌人
  4. exchange功能在线测试
  5. 一周总结汇总_2016-09-25
  6. Yolo训练自己的数据集,将json格式转换成txt文件格式
  7. 【技术邻】FloEFD热仿真分析之结果处理
  8. H5手写签名,适用于手机网页、电脑网页(IE9+)
  9. 查错集|No.1解决Undefined symbol xxx (referred from xxx.o)问题
  10. SuperMap知识总结
  11. 【软件测试】资深测试聊一聊,测试架构师是怎么样的,做一名成功的测试工程师......
  12. iOS基础:新浪微博授权机制、 版本新特性
  13. empty 和 isset 的区别
  14. 【LeetCode第59题】长舒一口气,终于学会了这苦涩难懂的 螺旋矩阵II
  15. yun2win即时通讯云-最安全的即时通讯云服务
  16. 手把手带你做强化学习实验--敲级详细
  17. 通过木块砌墙题目体会动态规划算法
  18. 浮动布局解决文字环绕图片问题
  19. python怎么导入库-python导入库的具体方法
  20. 向Spotify学习如何设计产品(转)

热门文章

  1. OpenWrt路由器安装Seafile私有云存储系统
  2. 跌跌不休的中概股:泡沫终将逝去,核心价值长存
  3. 安溪工业机器人_安溪茶校工业机器人专业招生
  4. 棋盘覆盖问题[Java]
  5. 动力电池相关安全性测试标准
  6. 如何掌握二维码的扫描数据?
  7. 基于深度学习的时间序列预测方法
  8. PLC上升沿与下降沿的特点
  9. 【2020·iSQE】峰会倒计时,日程抢先看!
  10. FPGA千兆网络摄像头