第三章 MPI编程

3.1 MPI简单介绍

多线程是一种便捷的模型，当中每一个线程都能够訪问其他线程的存储空间。因此，这样的模型仅仅能在共享存储系统之间移植。一般来讲，并行机不一定在各处理器之间共享存储，当面向非共享存储系统开发并行程序时，程序的各部分之间通过来回传递消息的方式通信。要使得消息传递方式可移植，就须要採用标准的消息传递库。这就促成的消息传递接口(Message Passing Interface, MPI)的面世，MPI是一种被广泛採用的消息传递标准^[1]。

与OpenMP并行程序不同，MPI是一种基于消息传递的并行编程技术。消息传递接口是一种编程接口标准，而不是一种详细的编程语言。简而言之，MPI标准定义了一组具有可移植性的编程接口。各个厂商或组织遵循这些标准实现自己的MPI软件包，典型的实现包含开放源码的MPICH、LAM MPI以及不开放源码的Intel MPI。因为MPI提供了统一的编程接口，程序猿仅仅须要设计好并行算法，使用对应的MPI库就能够实现基于消息传递的并行计算。MPI支持多种操作系统，包含大多数的类UNIX和Windows系统。

3.1.1怎样实现MPI

MPI是一个标准。它不属于不论什么一个厂商，不依赖于某个操作系统，也不是一种并行编程语言。不同的厂商和组织遵循着这个标准推出各自的实现，而不同的实现也会有其不同的特点。MPICH是影响最大、用户最多的MPI实现。眼下可下载的最新的MPICH软件包为MPICH1.2.7pl和2008年2月15日公布的MPICH 2-1.0.7測试版(我使用的是MPICH 2-1.0.6pl)，在http://www.mcs.anl.gov/research/projects/mpich2/index.php能够下载到，分别有支持UNIX和Windows的32位和64位版本号。

3.1.2 MPI程序的特点

MPI程序是基于消息传递的并行程序。消息传递指的是并行运行的各个进程具有自己独立的堆栈和代码段，作为互不相关的多个程序独立运行，进程之间的信息交互全然通过显示地调用通信函数来完毕。

3.2 MPICH的安装和配置

我使用的MPICH2安装文件是mpich2-1.0.6p1-win32-ia32.msi，在Windows下安装MPICH2比較简单，可是要有Microsoft .NET Framework 2.0的支持。安装基本上仅仅要单击“Next”就可以。在安装过程中会提示输入进程管理器的password，这个password被用来訪问全部的程序，这里使用的password为admin。

安装完毕后，安装文件夹下的include子文件夹包括了编程所须要的全部头文件，lib子文件夹包括了对应的程序库，而子文件夹bin则包括了MPI在Windows以下必须的执行程序。执行时须要的动态链接库被安装在了Windows系统文件夹中。在Windows平台下能够使用Microsoft Visual Studio来开发MPI程序，以下举例说明。

首先，新建一个Win32控制台项目，然后将MPICH2安装文件夹下的include

图3-1 配置头文件文件夹

子文件夹添?到头文件文件夹中。在VS 2005的菜单 工具－>选项－>项目解决方式－>VC++文件夹对话框中增?include子文件夹，如图3-1所看到的。再用同样的方法将MPICH2\lib添?到库文件文件夹中，如图3-2。

图3-2 配置库文件文件夹

为了避免名字冲突，须要在预编译头文件stdafx.h中添?#inlcude mpi.h语句。如今就能够在主程序文件里编写MPI程序了，MPI的开发环境配置完成。

3.3 在Windows下怎样执行MPI程序

我所进行的MPI程序的开发均是在Windows平台下，使用Visual Studio 2005 + MPIEXEC wrapper 进行的，首先用一个简单的Hello World 程序说明执行环境的配置。

依照上一小节介绍配置好开发环境之后，在VS 2005中新建立一个Win32 控制台项目，并取名MPI1，在MPI1.CPP文件里输入以下的程序。在项目属性的“配置属性”－>“常规”项中的“字符集”设置为“未设置”，如图3-3所看到的。

例3_1

int _tmain(int argc, _TCHAR* argv[])

{   int rank, size;

       MPI_Init(&argc, &argv);

       MPI_Comm_rank(MPI_COMM_WORLD, &rank);

       MPI_Comm_size(MPI_COMM_WORLD, &size);

       printf("Hello World from thread %d of %d\n", rank, size);

       MPI_Finalize();

       return 0;

}

这个程序比較简单，在函数MPI_Init()和MPI_Finalize()之间是程序并行运行的地方，MPI_Init()、MPI_Comm_rank()、MPI_Comm_size()和MPI_Finalize()，这四个函数是MPI中最重要和最经常使用的函数。以下分别说明：

图3-3 配置项目属性

（1）    MPI_Init和MPI_Finalize

MPI_Init用来初始化MPI运行环境，建立多个MPI进程之间的联系，为兴许通信做准备。而MPI_Finalize则是结束MPI运行环境。这两个函数就是定义MPI程序的并行区的，除了检測是否初始化的函数之外，不应该在这两个函数定义的区域外调用其他MPI函数。这两个函数都返回整型值，标识函数是否调用成功。

（2）    MPI_Comm_rank

MPI_Comm_rank函数就是用来标识各个MPI进程的，给出调用该函数的进程的进程号。MPI_Comm_rank返回整型的错误值，须要提供两个參数：

l        MPI_Comm类型的通信域，标识參与计算的MPI进程组。上面样例中使用的是MPI_COMM_WORLD，这个进程组是MPI实现预先定义好的进程组，指的是全部MPI进程所在的进程组。假设想要申请自己的特殊的进程组，则须要通过MPI_Comm定义并通过其他MPI函数生成。

l        &rank返回调用进程中的标识号。

MPI还定义了还有一个进程组MPI_COMM_SELF,仅仅包括各个进程自己的进程组。

（3）    MPI_Comm_size

这个函数则用来标识对应进程组中有多少个进程，它也有两个參数：

l        MPI_Comm类型的通信域，标识參与计算的MPI进程组。上面的样例中用的是MPI_COMM_WORLD。

l        &size返回对应进程组中的进程数。

执行这个程序，执行结果如图3-4,依照并行执行的方式，上面程序执行结果应该打印两行文字信息，为：

Hello World from thread 0 of 2

Hello World from thread 1 of 2

图 3-4 例3_1在windows上的执行结果

（本机系统环境变量OMP_NUM_THREADS值是2），可是执行结果确仅仅打印了一行，显然函数MPI_Init和MPI_Finalize之间的代码仅被一个线程串行执行了。经过查询资料知道，MPI程序若要被正确执行须要使用MPICH2安装文件夹下的执行工具MPIEXEC wrapper执行用VS 2005生成的exe文件。启动这个程序，程序的界面如图3-5

图 3-5 MPIEXEC wrapper程序界面

因为该程序仅仅有操作系统的管理员才有权使用，所以在第一次执行时须要输入计算机username和口令，而且不同意口令为空，如图3-6。输入完毕后，单击“Register”button完毕注冊，之后就能够使用该工具执行MPI程序了。

在“Application”栏中选择要执行的exe程序，在“Number of process”栏中选择要执行程序的线程数，然后单击“Execute”button执行程序。如用4线程执行上面的演示样例程序，输出结果如图3-7所看到的。

             图 3-6 输入系统username和口令

图 3-7 使用MPIEXEC wrapper执行例3_1的结果

4线程分别运行MPI_Init和MPI_Finalize之间的代码，打印4行信息，程序运行结果正确。

3.4 MPI的点对点通信

点对点通信是MPI程序的基础，MPI_Send和MPI_Recv是两个最重要的函数。这两个函数的标准形式是：

l        int MPI_Send(buf, counter, datatype, dest, tag, comm)

參数作用例如以下：

    buf：发送缓冲区的起始地址，能够是数组或结构指针

    count：非负整数，发送的数据个数

    datatype：发送数据的数据类型

    dest：整型，目的的进程号

    tag：整型，消息标志

    comm：MPI进程组所在的通信域

这个函数返回整型的错误码，它的含义是向通信域中的dest进程发送数据，数据存放在buf中，类型是datatype，个数是count，这个消息的标志是tag，用以和本进程向同一目的进程发送的其他消息差别开来。

l        int MPI_Recv(buf, count, datatype, source, tag, comm, status)

參数作用例如以下：

    buf：接收缓冲区的起始地址，能够是数组或结构指针

    count：非负整数，最多可接收的数据个数

    datatype：接收数据的数据类型

    source：整型，接收数据的来源，即发送数据进程的进程号

    tag：整型，消息标识，应与发送操作的消息标识同样

    comm：消息接收进程所在的通信域

    status：MPI_Status结构指针，返回状态信息

这个函数返回整型的错误码，它的含义是进程从comm域中source进程接收标签号为tag的数据，并保存到buf中。接收缓冲区buf的大小不能小于发送过来的消息的长度。否则会因为数组越界导致程序出错。參数status是MPI_Status类型的，status主要显示接收函数的各种错误状态。通过訪问status.MPI_SOURCE、status.MPI_TAG和status.MPI_ERROR就能够得到发送数据的进程号、使用的标签以及接收操作的错误代码。另外，还能够使用函数MPI_Get_count来获得实际接收到的数据项数。MPI_Get_count的标准定义为：int MPI_Get_count(MPI_Status *status, MPI_Datatype datatype, int *count);将实际接收到数据项数存放到count中。以下用一个程序说明上面提到的函数的用法。

演示样例程序见例3_2

程序的执行结果如图3-8（4个进程）

函数MPI_Get_processor_name用于获得计算机名，并存放在processor_name中，长度为namelen，宏定义MPI_MAX_PROCESSOR_NAME是机器名的最大长度。这个程序的完毕的任务是使进程i发送数据给进程i+1，并等待由进程i-1发送来的数据。最后一个进程则发送数据给进程0。

3.5统计时间函数

为了验证程序并行化后的效果，MPI提供了两个用于统计时间的函数 MPI_Wtime和MPI_Wtick。当中MPI_Wtime返回一个双精度数，表示从过去某点的时刻到当前时刻所消耗的时间秒数。而函数MPI_Wtick则返回MPI_Wtime结果的精度。改动例3_2程序，在并行代码两端添?统计时间的函数，如例3_3：

例 3_3(完整程序见演示样例程序4_3)

       begin = MPI_Wtime();

       end = MPI_Wtime();

       diff = end - begin;

       printf("%d process time is %9.7f\n", myid, diff);

       printf("%d process tick is %9.7f\n", myid, MPI_Wtick());

}

执行结果如图3-9：

图 3-8 例3_2的执行结果

图 3-9 例3_3的执行结果

3.6负载均衡对程序性能的影响

在并行计算中，假设各个处理器上的工作所须要的完毕时间不同，则会使先完毕工作的处理器等待未完毕工作的处理器，浪费了计算资源。这时应该使各个处理器的负载尽量均衡。一般採用的策略有两种：静态负载平衡和动态负载平衡。前者适用于计算前能够准确知道负载，并且这些负载easy平均划分给各个进程的情况。而对于事先不知道负载情况，或者总负载不易划分的情况，则须要採用动态负载划分来解决。在动态负载平衡模式中存在一个管理结点负责给各个进程分配任务，当一个进程完毕当前的计算任务后，它就向管理结点申请新的任务，假设还有未分配的任务，管理结点就将任务分配给那个进程，这有点类似于计算机硬件向CPU发中断请求服务的方式。

3.7 开发实例

以下将在Windows平台上使用MPI编写一个用数值积分法计算圆周率的程序。利用公式PI＝

的近似值计算圆周率^[7]，定积分的计算能够转化为求一个曲边梯形的面积问题。将积分区间等分成n个小的子区间，可将每一个小的子区间上的曲边梯形近似地看成矩形，这些矩形面积的和就近似地等于原来曲边梯形的面积。这样终于将求圆周率的问题转化成了一个面积迭加的计算。每一个小矩形的宽为

(n为将积分区间等分的份数)，高能够将x值带入函数

求得。用循环将每一个小矩形的面积累加起来便是PI的近似值。详细的算法实现见附加中的程序“mpi_pi”。图3-10、3-11各自是用一个进程和两个进程执行的结果。

图3-10 使用一个进程的执行结果

图3-11 使用两个进程的执行结果

从执行结果能够看到使用两个进程时的计算速度反而不如用一个进程执行时的速度，这时因为本程序的计算规模不大，另外引入一个进程的开销大于程序并行所带来的益处，所以进程数越多反而程序的执行速度越慢。看以下一组数据^[8](表3-1)

这组数据是在不同的硬件平台下实现本开发实例程序的计算时间。执行环境为3 台计算机组成的集群, 配置均为CPU : Intel PentiumIII 733MHz，同样的算法，随着參与计算的机器数添加?，计算时间降低。

MPI是针对分布式计算机系统提出的，它採用非共

表3-1                享内存的方式利用多进程完毕并行任务，当计算规模不大或处理器数量不多时，很多其它进程的维护会添加?系统的开销，并且进程之间的通信存在延时。它比較适合集群计算机系统。

3.8 小结

本章对MPI编程进行了初步研究，介绍了MPI程序的特点、软件包的安装、MPI程序的执行方式。

MPI是一种基于消息传递的并行编程技术,而不是一种详细的编程语言。MPI程序与OpenMP程序的最大不同就是MPI程序不仅能够适用多线程的方式并行运算还能够让程序以多进程的方式运行，以这样的方式运行的程序并不共享内存，各个进程是通过消息传递来进行通信的。这样做的优点是完毕某一计算任务的不同进程能够运行在不同处理器上(不仅仅是处理器的不同核上)，甚至是不同的结点计算机上，方便分布式计算系统的构建。在多核上使用MPI能够採用两种方式，一种是在多核平台上开发传统的多进程MPI并行程序，一个核运行一个MPI进程。第二种方式是採用MPI + OpenMP的方法，在结点内採用多线程方式，结点间採用MPI多进程方式。

转自：http://blog.csdn.net/gexplore/article/details/7078832