用MPI_Send和MPI_Recv实现简单集群通信函数

本片博客总结自我《并行计算》MPI实验

在这里我用阻塞式消息传递函数MPI_Send、MPI_Recv和非阻塞式消息发送函数MPI_Isend实现了三个简单的集群通信函数：

• MPI_Bcast广播函数
• MPI_Gather收集函数
• MPI_Scatter散播函数

1.MPI_Bcast广播函数

（1）原型简介

void MPI_Bcast(void* address, int count, MPI_Datatype datatype, int root, MPI_Comm comm);

MPI_Bcast实现将root节点的address地址处长度为count的datatype类型的数据发送给其他节点。其他节点接收这块数据的内存空间也是一块以address为起始地址，长度为count * MPI_Type_size(datatype)的内存区域。

（2）实现
实现逻辑为：

若节点为root则接收来自所有其他除root以外的节点的消息，否则向root节点发送一条消息。

广播比较简单，直接看代码：

void My_Bcast(void* sendAddress, int count, MPI_Datatype datatype, int root, MPI_Comm comm) {
    int rank, size, i;
    MPI_Status status;
    int tag = 100;

    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    if (rank == root) {
        for (i = 0; i < size; i++) {
            if (i != root) {
                MPI_Send(sendAddress, count, datatype, i, tag, comm);
            }
        }
    } else {
        MPI_Recv(sendAddress, count, datatype, root, tag, comm, &status);
    }
}

2.MPI_Gather收集函数

（1）原型简介

void MPI_Gather(void* sendAddress, int sendCount, MPI_Datatype sendDatatype, void* recvAddress, int recvCount, MPI_Datatype recvDatatype, int root, MPI_Comm comm);

MPI_Gather实现将所有节点的sendAddress为起始地址、长度为sendCount的sendDatatype类型数据，发送到root节点以recvAddress为起始地址、长度为MPI_Comm_size * recvCount * MPI_Type_size(recvDatatype)的内存区域。并且。是按照进程序号rank依次排列所有节点发送的数据，即序号为i的节点发送给root节点的数据接收内存的起始地址是recvAddress + i * recvCount * MPI_Type_size(recvDatatype)。

因为这次是初学并行计算第一次用MPI编程，这里有个疑问：为什么不强制要求recvDatatype == sendDatatype && recvCount == sendCount？如果不统一不会造成内存泄漏？我测试recvCount != sendCount虽然没有Segment Fault，但结果全乱了

（2）实现

我下面的实现没有考虑datatype和count不一致的问题，均默认相同！

实现逻辑为：

当前节点向root节点发送一条消息，如果当前节点是root节点则枚举接收来自所有节点的消息。

注意：这时root节点需要向它自己发送一条消息，如果用标准通信模式（MPI管理消息缓存的通信模式，MPI_Send和MPI_Recv均属于这种模式，详见陈国良老师《并行计算》P418页通信模式介绍或Google），由于MPI_Send和MPI_Recv是阻塞式通信且它们共用同一缓冲区，那么同一节点即调用MPI_Send又调用MPI_Recv将会由于缓冲区资源冲突造成死锁！

解决方法是用非阻塞的发送函数MPI_Isend

代码如下：

void My_Gather(void* sendAddress, int sendCount, MPI_Datatype sendDatatype, void* recvAddress, int recvCount, MPI_Datatype recvDatatype, int root, MPI_Comm comm) {

    int rank, size, i;
    int tag = 101;
    MPI_Status status;
    MPI_Request request;

    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    MPI_Isend(sendAddress, sendCount, sendDatatype, root, tag, comm, &request);
    if (rank == root) {
        int tsize;
        MPI_Type_size(recvDatatype, &tsize);
        for (i = 0; i < size; i++) {
            MPI_Recv(recvAddress + i * recvCount * tsize, recvCount, recvDatatype, i, tag, comm, &status);
        }
    }
}

代码中需要注意的是root节点每次MPI_Recv起始地址的计算公式，需要调用MPI_Type_size(recvDatatype, &tsize)获取datatype类型的字节长度。

3.MPI_Scatter散播函数

（1）原型简介

void MPI_Scatter(void* sendAddress, int sendCount, MPI_Datatype sendDatatype, void* recvAddress, int recvCount, MPI_Datatype recvDatatype, int root, MPI_Comm comm);

MPI_Scatter和MPI_Gather互为逆向函数，MPI_Gather搜集所有节点的数据依次拼接存放在root节点中一块类似于数组的连续区域当中，而MPI_Scatter相当于把root节点中一块类似于数组的连续区域分割成size块依次分发给所有节点。其参数列表和MPI_Gather相同，不再解释。

（2）实现

我下面的实现没有考虑datatype和count不一致的问题，均默认相同！

实现逻辑为：

判断该节点是否是root节点，若是则向所有节点发送一条消息（非阻塞MPI_Isend）。然后该节点接收一条来自于root的消息。

和之前的一样，涉及到同一节点之间的消息传递，需要用非阻塞通信。我尝试过先非阻塞Recv再阻塞Send，运行结果不对，后来思考确实有问题：root节点非阻塞Recv若先于其他几诶但阻塞Send执行，这个Recv什么消息也接收不到就结束了（非阻塞Recv查看一次缓冲区不管有没有消息均结束，有则返回消息没有则返回空消息，详见其定义）。

代码如下，仍需注意root节点发送数据的起始地址：

void My_Scatter(void* sendAddress, int sendCount, MPI_Datatype sendDatatype, void* recvAddress, int recvCount, MPI_Datatype recvDatatype, int root, MPI_Comm comm) {

    int rank, size, i;
    int tag = 102;
    MPI_Request request;
    MPI_Status status;

    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);


    if (rank == root) {
        int tsize;
        MPI_Type_size(sendDatatype, &tsize);
        for (i = 0; i < size; i++) {
            MPI_Isend(sendAddress + i * sendCount * tsize, sendCount, sendDatatype, i, tag, comm, &request);
        }
    }

    MPI_Recv(recvAddress, recvCount, recvDatatype, root, tag, comm, &status);
}