MPI还是套接字？

我正在开发一个松散耦合的集群来进行一些数据处理.网络代码和处理代码已经到位,但我们正在评估我们方法中的不同方法.现在,正如我们应该的那样,我们在性能问题上受到I/O限制,我们正试图减少这个瓶颈.显然,像Infiniband这样的更快的交换机会很棒,但是我们无法承受抛弃我们所拥有的东西并获得新设备的奢侈品.

我提出的问题是这个.在群集上完成的所有传统和严重的HPC应用程序通常通过消息传递与直接通过套接字发送来实现.这对性能有什么好处？如果我们从套接字切换,我们应该看到加速吗？

MPI MIGHT使用套接字.但是也有与使用直接分布式共享内存的SAN(系统区域网络)一起使用的MPI实现.那当然,如果你有硬件.所以MPI允许您将来使用这些资源.在这种情况下,您可以获得巨大的性能提升(根据我在大学期间使用群集的经验,您可以达到几个数量级的增益).因此,如果您正在编写可以移植到更高端集群的代码,那么使用MPI是一个非常好的主意.

即使丢弃性能问题,使用MPI也可以节省大量时间,您可以使用它来提高系统其他部分的性能,或者只是保存您的理智.

我建议使用MPI而不是自己动手,除非你非常擅长这种事情.在使用我自己的协议编写了​​一些分布式计算式应用程序之后,我总是发现自己在MPI中复制(并且再现不佳)功能.

性能方面我不希望MPI给你任何有形的网络加速 - 它像你一样使用套接字.但是,MPI将为您提供管理多个节点所需的许多功能,即节点之间的同步.