linux ansible_使用Ansible在Raspberry Pi上构建基于Linux的HPC系统
linux ansible
在上一篇有关Opensource.com的文章中 ,我介绍了OpenHPC项目,该项目旨在加速高性能计算(HPC)的创新。 本文通过使用OpenHPC的功能来构建小型HPC系统,进一步走了一步。 称呼它为HPC系统听起来可能比实际的要大,所以也许最好说这是一个基于OpenHPC项目发布的集群构建食谱的系统。
最终的集群由两个充当计算节点的Raspberry Pi 3系统和一个充当主节点的虚拟机组成:
我的主节点在x86_64上运行CentOS,而我的计算节点在aarch64上运行经过稍微修改的CentOS。
这是现实生活中的设置:
为了像HPC系统一样设置我的系统,我遵循了OpenHPC的《 CentOS 7.4 / aarch64 + Warewulf + Slurm (PDF)》的《集群构建食谱》 安装指南中的一些步骤。 该配方包括使用Warewulf的供应指令; 因为我手动安装了三个系统,所以跳过了Warewulf部件,并为执行的步骤创建了Ansible剧本 。
糟糕的剧本,我可以开始向我的资源经理提交工作了。 资源管理器(在我的情况下为Slurm)是集群中的实例,它决定了在何处以及何时执行作业。 在集群上启动简单作业的一种可能性是:
[ohpc@centos01 ~]$ srun hostname
calvin
如果我需要更多资源,可以告诉Slurm我想在八个CPU上运行命令:
[ohpc@centos01 ~]$ srun -n 8 hostname
hobbes
hobbes
hobbes
hobbes
calvin
calvin
calvin
calvin
在第一个示例中,Slurm在单个CPU上运行了指定的命令(
hostname
),在第二个示例中,Slurm在八个CPU上运行了该命令。 我的一个计算节点称为calvin
,另一个称为hobbes
; 在以上命令的输出中可以看到。 每个计算节点都是具有四个CPU内核的Raspberry Pi 3。
将作业提交到群集的另一种方法是命令sbatch
,该命令可用于执行脚本,并将输出写入文件而不是终端。
[ohpc@centos01 ~]$ cat script1.sh
#!/bin/sh
date
hostname
sleep 10
date
[ohpc@centos01 ~]$ sbatch script1.sh
Submitted batch job 101
这将创建一个名为
slurm-101.out的输出文件,其内容如下:
Mon 11 Dec 16:42:31 UTC 2017
calvin
Mon 11 Dec 16:42:41 UTC 2017
为了演示资源管理器的基本功能,简单而又串行的命令行工具是合适的,但是在完成所有类似HPC的系统的工作后有点无聊。
一个更有趣的应用程序正在群集上所有可用的CPU上运行Open MPI并行化作业。 我正在使用一个基于Game of Life的应用程序,该应用程序在名为“使用Red Hat Enterprise Linux在多种体系结构上运行Life of Game”的视频中使用。 除了以前使用的基于MPI的“生命游戏”实施之外,现在在我的集群上运行的版本对每个涉及主机的单元的颜色也不同。 以下脚本以图形输出交互地启动应用程序:
$ cat life.mpi
#!/bin/bash
module load gnu6 openmpi3
if [[ "$SLURM_PROCID" != "0" ]]; then
exit
fi
mpirun ./mpi_life -a -p -b
我使用以下命令启动该作业,该命令告诉Slurm为该作业分配八个CPU:
$ srun -n 8 --x11 life.mpi
出于演示目的,该作业具有一个图形界面,显示了当前的计算结果:
在一个计算节点上计算红色单元格的位置,并在另一个计算节点上计算绿色单元格。 我还可以告诉“生命游戏”程序对每个使用的CPU(每个计算节点有四个)的单元进行不同的着色,这将导致以下输出:
借助OpenHPC提供的安装配方和软件包,我能够在HPC类型的配置中设置两个计算节点和一个主节点。 我可以将作业提交给资源管理器,并且可以使用OpenHPC提供的软件来利用我的所有Raspberry Pis CPU启动MPI应用程序。
要了解有关使用OpenHPC构建Raspberry Pi集群的更多信息,请参加Adrian Reber在1月26日至28日在捷克布尔诺的DevConf.cz 2018年以及2月2日在布鲁塞尔举行的CentOS Dojo 2018上的演讲。
翻译自: https://opensource.com/article/18/1/how-build-hpc-system-raspberry-pi-and-openhpc
linux ansible
linux ansible_使用Ansible在Raspberry Pi上构建基于Linux的HPC系统相关推荐
- 如何在5美元的Raspberry Pi上构建个人开发服务器
In this article, you'll learn how to build a personal dev server by installing Git, Node.js, Rust, a ...
- 如何在 Raspberry Pi 上快速安装 Oracle Linux ?
你知道树莓派(Raspberry Pi)吗?它可不是一款餐后甜点,而是一个只有信用卡大小的计算机,更准确的说它是一款单板计算机.那么,如何简单快速地在上面安装 Oracle Linux?下面将会详细介 ...
- raspberry pi_在Raspberry Pi上试用Docker
raspberry pi 在Opensource.com上,我可以在日常工作中了解很多非常有趣的新兴技术. 但是我并不总是可以自己深入研究它们. 在过去的这个周末,我留出了一些时间来做. 几年来,我一 ...
- raspberry pi_在Raspberry Pi上使用TensorFlow进行对象检测
raspberry pi The following post shows how to train and test TensorFlow and TensorFlow Lite models ba ...
- 如何在Raspberry Pi上安装Fedora 25
2016年10月,宣布了Fedora 25 Beta的发布,以及对Raspberry Pi 2和3的最初支持 . 一个月后发布了Fedora 25的最终"通用"版本,从那时起,我一 ...
- raspberry pi_如何在Raspberry Pi上使用LÖVE游戏引擎对游戏进行编程
raspberry pi Raspberry Pi以向孩子介绍开源软件和编程而闻名. Pi是负担得起的,实用的专业级计算入门,伪装成可破解的乐趣. Mitch Resnick's Scratch (最 ...
- (六)使用Coral USB Accelerator在Raspberry Pi上部署YOLOv5模型
目录 介绍 Raspberry Pi的初始步骤 准备目录并创建虚拟环境 在Raspberry Pi上安装TFLite解释器和PyTorch 在Raspberry Pi上安装Coral USB Acce ...
- 在Raspberry Pi上轻松设置.NET Core并使用VS Code进行远程调试
目录 介绍 背景 工具选择 先决条件 准备SD卡 SSH配置和.NET安装 示例程序 兴趣点 带有最新代码的GitHub存储库 介绍 手动设置了用于.NET Core和远程调试的Raspberry P ...
- 在Raspberry Pi上安装ArchLinux
转载地址:http://hugozhu.myalert.info/2013/03/09/setup-archliunx-on-raspberry-pi.html 介绍 之前买的Raspberry Pi ...
最新文章
- qt定时连续发送udp数据包_TCP和UDP
- 中后台管理信息系统通用原型方案_AxureUX客户关系管理系统后台设置中心原型模板正式发布...
- 数据中心空调施工工序工艺管理要点
- dmg文件转换iso ultraiso_mac去除dmg打开密码的方法
- 流式计算框架Storm后台启动命令(避免新开窗口)
- TCP/IP的分层管理
- oracle 数据库查询 COALESCE字符函数
- 在Windows上编译Spark源码
- python导出项目_使用Python项目生成所有依赖包的清单方式
- 云开发打工人必备上班摸鱼划水微信小程序源码
- 优锘:发布一站式数字孪生平台森工厂,打造数字孪生领域的office
- java网络打印机_如何使用Java在网络打印机上进行打印?
- 主打“极致性价比”的酷玩7,能否让酷派再现辉煌?
- python的mysql数据查询及报错AttributeError: 'Connection' object has no attribute 'curson'
- 新唐 M451系列APROM与LDROM间跳转
- IObitUninstaler官网最新下载 中文,绿色版IObitUninstaler下载
- 罗马数字转十进制 古罗马帝国开创了辉煌的人类文明,但他们的数字表示法的确有些繁琐,尤其在表示大数的时候, 现在看起来简直不能忍受,所以在现代很少使用了。
- 【零基础】极星9.3止盈止损用法详解
- [AHK]让当前脚本开机自动启动
- 土壤粒径分布曲线-review-非常好的一篇综述