Welcome to TechNet Blogs Sign in | Join | Help

HPC中国研发团队

微软中国研发集团服务器与开发工具事业部高性能开发团队的中文博客。
来看看我们的产品之选择合适的网络拓扑结构

大家好,我是HPC组的DEV朱仁琪。在加入微软的一年里,非常有幸能够亲眼目睹我们的Windows HPC Server 2008捷报频传,从第一个Beta版本到最近发布的社区预览版本(CTP),功能越来越强大,着实令人兴奋。在此我和大家一起分享一下我对于Windows HPC Server 2008网络配置的一些心得。

众所周知,配置集群的网络通常是一件令人头疼但却又无法逃避的复杂工作。为了简化这项工作,Windows HPC Server 2008提供了一个向导(Network Wizard)来帮助我们完成网络的配置,如下图所示。

Network Wizard

在上图中我们可以看到,Windows HPC Server 2008支持五种不同的网络拓扑结构。那么我们应该如何去选择一个合适自身情况的拓扑呢?且听本文慢慢道来。

首先,让我们来了解一下各种拓扑结构中涉及到的三种网络:

  • Enterprise网络(企业网络,在Beta 1中称为Public网络)

不仅集群中的节点可能连接到这个网络,企业或机构中的其他计算机通常也连接到这个网络。大多数用户通过这个网络来进行通讯,进行他们的日常工作。

  • Private网络(私有网络)

这是集群的内部网络,它可以用来承载集群内部节点间的通讯,集群外部的计算机通常无法连接到这个网络。

  • Application网络(应用网络,在Beta 1中称为MPI网络)

这是一个集群内部的高速网络,通常具有很高的带宽和很低的延迟,可以用来满足集群内部并行MPI程序的通讯需求。常见的高速网络有Gigabit Ethernet、10 Gigabit Ethernet、Myrinet©、InfiniBand©等等。

Windows HPC Server所支持的五种拓扑结构的区别在于包含上述网络中的不同子集,并且计算节点(Compute Node)能够连接到的网络有所不同。

  • 拓扑1:集群有Enterprise和Private两个网络,计算节点仅能连接到Private网络。
  • 拓扑2:集群有Enterprise和Private两个网络,计算节点可以同时连接到这两个网络。
  • 拓扑3:集群有Enterprise、Private和Application三个网络,但是计算节点只能连接到其中的Private和Application网络。
  • 拓扑4:集群有Enterprise、Private和Application三个网络,计算节点可以连接到所有这三个网络。
  • 拓扑5:集群只有Enterprise一个网络,所有节点均在这个网络上。这是五种拓扑中最简单的一种。

在这五个拓扑结构中做出选择之前,我们可能会需要考虑这样一些因素:

  1. 是否想要利用Windows HPC Server 2008提供的一系列新的部署工具来部署集群中的节点?Windows HPC Server 2008利用Windows部署服务(Windows Deployment Service,简称WDS)来简化部署集群节点的繁琐工作,使得我们可以很方便的完成集群的部署(参见来看看我们的产品之Windows HPC Server 2008部署初体验)。如果您想要使用这项便利的功能,那么拓扑5将不在您的选择之列。
  2. 是否希望将集群内部的通讯同企业或机构内的其他通讯分离开以获得更平衡更好的网络性能?如果没有这种需求,可以考虑拓扑5,否则前四种拓扑会更为合适。
  3. 是否需要一个高速网络来承载MPI并行程序的通讯需求以获得更进一步的性能提升?如果您的答案是肯定的,拓扑3和拓扑4将会是最佳的选择。如果所有的应用程序都没有基于MPI程序库进行开发,那么Application网络就不是必须的,此时您可以考虑其他三种拓扑结构。
  4. 计算节点是否需要大量的访问位于Enterprise网络或Internet上的资源?如果是的,我们建议您使用拓扑2、4或5。虽然在拓扑1和拓扑3中,计算节点可以通过头节点(Head Node)上的NAT服务访问外部网络,但是此时所有与外界的通讯都需要通过头节点,头节点可能会成为性能的瓶颈。
  5. 安全性与访问方便性的平衡。拓扑1和拓扑3将集群内部的通讯与外部的通讯分离开,集群外部无法直接访问集群内部的节点,提高了集群的安全性。其他三个拓扑则将所有节点直接连在Enterprise网络上,使得在集群上开发和调试应用程序变得容易。所以您将不得不在安全性与访问方便性之间做出取舍。

我们可以将上述因素总结如下表:

拓扑1
拓扑2
拓扑3
拓扑4
拓扑5
计算节点连接到Enterprise网络
计算节点连接到Private网络

计算节点连接到Application网络

支持WDS
集群内部通讯与外部通讯分离
具有高速网络来提高MPI并行程序性能
计算节点需要大量访问集群外资源
较高的安全性

较方便的访问集群内节点

怎么样,现在是不是觉得很简单地能够在Windows HPC Server的五种网络拓扑结构中做出合适的选择呢?:)

 

Renqi Zhu

DEV, Windows HPC

Shanghai, China

Posted: Sunday, May 04, 2008 11:07 PM by Renqi Zhu

Comments

No Comments

Leave a Comment

(required) 

(required) 

(optional)

(required) 

  
Enter Code Here: Required

Comment Notification

If you would like to receive an email when updates are made to this post, please register here

Subscribe to this post's comments using RSS

Page view tracker