High Performance Computing (HPC) 使用指南(香港城市大学为例)

2024-04-18 07:04:14

致谢：特别感谢王际潮的耐心指导

配置环境变量

vim ~/.bashrc
i #插入
export PATH=/home/yupeng/anaconda3/bin:$PATH
:wq #保存退出
source ~/.bashrc

配置环境空间

conda create -n spacename python=3.8

启动环境空间

source activate spacename

装包

pip install scipy

查看版本号和包

pip -V
pip list

1.代码要使用相对路径编写

2.链接HPC

ssh hongzli2@burgundy.hpc.cityu.edu.hk

如果是HTGC的话

ssh hongzli2@htgc1.cs.cityu.edu.hk

3.上传本地文件到服务器(新开一个cmd窗口，在本地cmd操作)
传输单个文件scp，传输文件夹scp -r (-r：递归复制整个目录). 上传下载通用
scp 本地绝对路径 jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2

scp -r C:\Users\Administrator\Downloads\QuadraticKnapsack01GRASP-master hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2

4.sh文件编码问题
解决办法

5.一定要在source activate env进入指定之后，在使用sbatch命令提交sh文件进入job queue

sbatch sbatch_A.sh

6.CPU和GPU可以同时各运行一个程序，2个CPU程序只能排队运行

7.从服务器上下载文件(在本地cmd操作)
scp jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2/SAR 本地绝对路径
将服务器端的SAR文件夹全部拷贝至指定的绝对路径下。得到绝对路径/SAR/…

scp hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2/scratch/home86396.log E:\HPC

8.可以终止自己的进程

scancel 82051 82052 85063

9.查看自己的队列

squeue -l

代码测试登录

ssh hongzli2@v100t.cs.cityu.edu.hk

可能会用到的基本Linux命令

删除文件(删除当前目录下的所有文件及目录，并且是直接删除，无需逐一确认命令行为)

rm -rf anaconda3/

查看文件，并退出

vim sbatch_A.sh
ESC
:wq  %保存退出
enter:q!  %不保存退出

当前路径

pwd

如果是用系里的condor

matlab的提交

.m文件的写法

function hello(n)
if (nargin<1)n = 0;
elsen = str2num(n); %一定要用这个函数转换！
endfor i=1:((n+1)*10)disp(sprintf('hello %d', i));pause(1);
end

先用 mcc 编译

mcc -v -m filename.m

生成可执行的文件 filename 后，用shell script (run_filename.sh) 去run

./run_filename.sh /usr/local/matlab 3 % 3是参数

生成.sh后，提交任务

condor_submit run_filename_matlab.condor

提交了任务后，查看任务

condor_q
condor_q hongzli2 %查看自己的任务

High Performance Computing (HPC) 使用指南(香港城市大学为例)相关推荐

香港城市大学、港理工招收博士生，有奖学金机会
如今,又到了博士招生的季节,我们整理了海内外多所实验室的招生信息.本期我们将为大家介绍香港城市大学.香港理工大学招生信息.希望这些消息对准备继续深造的你有所帮助. 香港城市大学计算机系助理教授马辰 ...
between and 效率_香港城市大学吕坚教授Adv. Funct. Mater.: 铁基金属玻璃在工业废水处理上再次突破，实现催化效率与稳定性双提升...
[前言] 金属玻璃以其良好的力学性能,耐腐蚀及独特的软磁性能等特点,在结构和新的功能性应用上得到越来越多的关注.近年来,铁基金属玻璃在工业废水处理上引起了科学界以及工业界极大的兴趣.然而,由于在废水处 ...
GB：香港城市大学孙燕妮组发表高准确度病毒株识别工具VirStrain
VirStrain:RNA病毒株识别工具 VirStrain: a strain identification tool for RNA viruses Genome Biology [IF: 13. ...
高性能计算（High Performance Computing）
高性能计算(High Perfermance Computing)机群,简称HPC机群.这类机群主要解决大规模科学问题的计算和海量数据的处理,如科学研究.气象预报.计算模拟.军事研究.CFD/CAE. ...
香港城市大学刘晨老师组招收机器学习方向全奖博士/博后/研究助理
来源:AI求职香港城市大学香港城市大学是一所坐落于香港九龙塘的公立研究型大学.2022 年 QS 世界大学排名第 53 名,QS 建校未满 50 年最佳大学第 4 名,ARUW 工程/技术/计算机 ...
BMC Biology：香港城市大学孙燕妮组发表高准确度预测病毒宿主的工具
使用基于 GCN 的半监督学习预测原核病毒的宿主 Predicting the hosts of prokaryotic viruses using GCN-based semi-supervised ...
香港城市大学全奖PhD/联培PhD/博后/RA
学校介绍: 香港城市大学是一所坐落于香港九龙塘的公立研究型大学.2022年QS世界大学排名第53名,QS建校未满50年最佳大学第4名,ARUW工程/技术/计算机科学香港地区第1名,泰晤士全球最国际化大 ...
香港城市大学赵翔宇招收AI机器学习数据挖掘全奖PhD/博后/RA
1 学校介绍香港城市大学是一所坐落于香港九龙塘的公立研究型大学.2022年QS世界大学排名第53名,QS建校未满50年最佳大学第4名,ARUW工程/技术/计算机科学香港地区第1名,泰晤士全球最国际化 ...
博士申请 | 香港城市大学赵翔宇老师招收人工智能全奖PhD/联培PhD/RA
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 香港城市大学香港城市大学是一所坐落于香港九龙塘的公立研究型大学.2022 ...

最新文章

热门文章