CESM优化——Intel编译器安装OpenMPI4.0

在ASC19大赛中，楼主负责优化CESM（全球气候系统模型）性能（十年跑不完，提交两行泪）。其中MPI库的选择尤其重要，这种大型系统都需要分布式（多进程）计算，充分调动CPU资源来提高CESM的运行效率。
MPI（message passing interface）：在分布式内存之间实现信息通讯的一种规范/标准/协议。它是一个库，不是一门语言。可以被fortran，c，c++等调用。MPI 允许静态任务调度，提供了良好的性能和移植性，用 MPI 编写的程序可直接在多核集群上运行。在集群系统中，集群的各节点之间可以采用 MPI 编程模型进行程序设计，每个节点都有自己的内存，可以对本地的指令和数据直接进行访问，各节点之间通过互联网络进行消息传递，这样设计具有很好的可移植性，完备的异步通信功能，较强的可扩展性等优点。
本来楼主想要使用IntelMPI来运行CESM（众多资料显示其在使用Intel芯片的服务器上有最强分布式计算性能），但在调用IntelMPI时，系统显示其是使用gnu编译的，与当前编译器不能（Intel）兼容运行，加上还有其他bug。由于时间紧迫，我们来不及修改。在比较多个可以运行CESM的MPI库（mpich，openmpi等）后，我们最后采用OpenMPI4.0版本（也是目前最新版本）。
在安装MPI库时要注意：CC，FC必须指定为你要运行CESM的编译器。比如我用的是Intel编译器，那么在configure时要加上“CC=icc，FC=ifort”。建议安装在个人目录下，通过修改.bashrc文件，方便以后调用不同的MPI库。

以下是自定义安装过程：

OpenMPI4.0下载官网：
https://www.open-mpi.org/software/ompi/v4.0/

1.将openmpi-4.0.0.tar.gz文件移动到你要储存的目录

2.解压文件：$tar -zxvf openmpi-4.0.0.tar.gz

3.进入解压后的目录：$cd openmpi-4.0.0

4.安装openmpi4.0.0

$./configure --prefix=/home/CESM_Share/openmpi4_intel CC=icc CXX=icpc FC=ifort CFLAGS="-g -O2" FCFLAGS="-g -O2" FFLAGS="-g -O2" --enable-mpi1-compatibility

1）要提前建立文件夹/home/CESM_Share/openmpi4_intel。
2）-g:使vtune可以监控此mpi库的函数调用。
3）-O2:Intel编译器的编译选项，在编译MPI安装包时具有稳定的优化作用。
4）- -enable-mpi1-compatibility：使其支持多线程化，但是在此版本貌似默认支持多线程，加上以防万一。
5）其他的诸如CC，CXX等，请使用./configure --help查看具体信息。

5.$make

6.$make install

7. 环境配置：

vi ~/.bashrc  #(打开文件.bashrc，按i 进入编辑状态)添加
export PATH=/home/CESM_Share/openmpi4_intel/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/CESM_Share/openmpi4_intel/lib

修改完后，重新登录帐号，更新环境变量；虽然可以使用source ~/.bashrc，但它不会消除你在这次修改中隐藏的变量，所以重新登录是较安全的。

8.测试mpirun

配置完成后，进入安装文件包的examples目录。输入以下命令行：

$ mpicc --version
icc (ICC) 19.0.0.117 20180804
Copyright (C) 1985-2018 Intel Corporation.  All rights reserved.$ mpicc hello_c.c -o hello$ mpirun hello
Hello, world, I am 0 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 10 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 14 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 2 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 4 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 6 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 8 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 15 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 1 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 3 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 5 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 7 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 11 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 12 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 13 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)
Hello, world, I am 9 of 16, (Open MPI v4.0.0, package: Open MPI liangziquan@master Distribution, ident: 4.0.0, repo rev: v4.0.0, Nov 12, 2018, 113)

9.如果要卸载openmpi ，可以直接删除安装文件