集群调度LSF-学习笔记

集群-------多台设备
HPC集群----多台用于计算的设备

集群调度-LSF：LSF 是一种强大的工作负载管理平台，提供基于各种策略的智能调度功能，利用分布式的基础架构资源来提高整体的系统性能。用户通过 LSF可以实现集群间的负载均衡，扩展集群构架和资源，最大限度的提高集群的使用效率。

主要命令：

bsub 命令提交
bqueues 队列查看
bhosts 节点查看
bjobs 作业查看

运行bqueues：

QUEUE_NAME：队列名称

PRIO：优先级

NJOBS：几个作业在并行

PEND：阻塞的作业数量

RUN：正在运行的作业数量

SUSP：挂起的作业数量

提交作业：bsub < demo.sh

demo.sh:

#BSUB -J testJob
#BSUB -n 28
#BSUB -o %J.out
#BSUB -e %J.err
#BSUB -q normalecho "111"

-J 作业名称

-n 作业至少需要的CPU核数（28的倍数），也可以是范围（表示方法如[28,56]）

-o 标准输出文件

-i 标准输入文件

-e 标准错误输出文件

-q 作业所提交队列名

-o -i -e 三个参数的文件名中可以包含%J用于表示JOBID；如果没有指定标准输出文件，那么系统会自动设定为 output_%J；如不想要输出文件请设置 -o /dev/null。

执行 bsub < demo.sh 后，成功加入队列将显示：

Job <175039> is submitted to queue <normal>.

查看作业运行情况：bjobs

查看作业详情：bjobs -l 作业号

终止指定的作业：bkill 作业号

查看任务日志，显示处于运行时作业的标准输出和标准错误输出信息：

bpeek -f 作业号

显示节点当前负载：lsload

module av 查看可用软件

module load xxx 加载所需软件

lsload -gpuload 查看gpu各个卡的信息

集群调度LSF-学习笔记相关推荐

调度框架学习笔记（3）—— 集群调度框架的架构演进过程
本章是 The evolution of cluster scheduler architectures 文章的学习笔记.这篇文章讨论了这些年调度架构是如何发展的以及为什么会这样发展. 首先介绍一下这 ...
仓库规模操作系统的背景之集群调度
前言本文是Malte Schwarzkopf的博士论文<Operating system support for warehouse-scale computing>一个翻译版本,融入了 ...
集群概述及原理笔记(1)
it你好linux学习文档之集群概述及原理笔记(1) 一前言目前,越来越多的网站采用Linux操作系统,提供邮件.Web.文件存储.数据库等服务.也有非常多的公司在企业内部网中利用Linux服务器 ...
快手超大规模集群调度优化实践
导读:随着公司业务的快速发展,离线计算集群规模和提交的作业量持续增长,如何支撑超大规模集群,如何满足不同场景的调度需求成为必须要解决的问题.基于以上问题,快手大数据团队基于YARN做了大量的定制和优化 ...
quartz集群调度机制调研及源码分析---转载
quartz2.2.1集群调度机制调研及源码分析引言 quartz集群架构调度器实例化调度过程触发器的获取触发trigger: Job执行过程: 总结: 附: 引言 quratz是目前最为成 ...
集群调度框架的架构演进之路
http://www.infoq.com/cn/articles/scheduler-architectures 编者按集群架构是现代数据中心非常重要的组件,在最近几年中有长足发展.架构也从单体式设 ...
k8命令，pod的启动流程与资源文件书写，k8s集群调度
目录一.常用命令及kubect介绍 1.kubect介绍 1)语法格式: 2)命名空间的概述 3)查看命名空间 4)查看命名空间中的资源对象 2.查用排错命令 1)查询资源文件 2)查看资源详细信息 ...
CNCF 沙箱项目 OCM Placement 多集群调度指南
作者: 邱见|红帽资深软件工程师,Open Cluster Management (OCM) 社区发起人,负责人郝青|红帽高级软件工程师,Open Cluster Management (OC ...
多代理集群调度：可伸缩性和灵活性
今天阅读了一个berkeley学生Andrew Konwinski的有关集群资源调度的技术报告,其中对于目前现有集群调度技术的分类,我觉得说的很好,另外,它还介绍了一种模拟实验的蒙特卡洛方法,现在做一 ...
集群调度框架的架构演进过程
原文:The evolution of cluster scheduler architectures 作者:Malte Schwarzkopf 之前组会上,有幸与大家探讨 Firmament: Fa ...

集群调度LSF-学习笔记

集群调度LSF-学习笔记相关推荐

最新文章

热门文章