HPC中国研发团队 : 产品介绍

Visual Studio 2008 HPC SOA C# 调试器插件

Keshuang — Mon, 21 Sep 2009 12:47:37 GMT

就在这个月，负责微软Developer Devision工作的微软全球副总裁Soma先生写了一篇博客介绍Visual Studio 2008和即将发布的Visual Studio 2010中支持并行程序开发的一系列工具。在这篇博客（中文翻译版）中，Soma先生不仅介绍了用于开发MPI程序的MPI debugger，还介绍了用于开发Windows HPC Server 2008中集群面向服务架构(Cluster SOA)应用的SOA Debugger插件。在我们前面一篇博客中已经对MPI Debugger的功能做了介绍，其实SOA Debugger也是我们小组努力工作的成果。通过本篇博客，我想请大家和我一道预览即将发布的HPC SOA C# Cluster Debugger插件。

大家知道集群面向服务架构是我们随Windows HPC Server 2008的发布而新推出的并行应用架构和编程模型。通过集群面向服务架构，我们可以把原先运行在单机上的WCF应用扩展成运行在`Windows HPC Server集群环境中的并行应用。要创建一个SOA应用程序大致上需要经历以下的三步：创建服务（WCF Service）；将服务部署到集群中；创建客户端应用。如果我们想调试包括客户端和服务在内的整个应用，还要加上如下的步骤：1）在运行服务的计算节点上安装并运行远程调试器（msvsmon.exe）；2）在Visual Studio中运行并调试客户端程序；3）在SOA会话（SOA Session）被创建以后，将Visual Studio调试器附加（attach）到计算节点上的服务宿主进程（HpcServiceHost.exe）上从而调试服务进程。这样调试一个SOA应用一共需要3+3=6个步骤，这还不包括每次修改服务的代码还需要重新执行服务部署的过程。听上去是不是很复杂？别急，下面随我看看SOA Debugger如何为你简化SOA应用开发和调试的体验！

安装SOA Debugger插件后，在Visual Studio的新建C#项目的对话框中，我们看到了一个新的项目类型：SOA Client。没错，就是它了！

建立一个SOA Client项目并把它命名为MySOAClient。在我们研究这个新项目之前，还是让我们进行SOA开发的第一步：创建服务程序。大家知道SOA服务程序其实就是一个WCF服务，你可以把现有的WCF服务项目添加到刚刚的MySOAClient解决方案中，也可以在这个解决方案中新建一个WCF服务项目。在我的示例中，我在解决方案中新建了一个叫“EchoService”的简单WCF服务。在创建完服务之后，让我们跳过下一步“将服务部署到集群中”，因为下面我们将看到SOA Debugger可以自动帮我们完成服务部署的工作。

下面让我们回到客户端项目来创建客户端应用程序。大体上编码SOA客户端程序和编码普通的WCF客户端程序比较类似，在此就不一一赘述，具体信息大家可以参看Cluster SOA架构白皮书。客户端编码完成之后，我们还需要对项目的一些属性进行设置才能进行集群上的调试工作。在Visual Studio的解决方案浏览器中右键点击MySOAClient项目，点击属性打开项目属性页面，如下图，

我们可以看到这个项目比一般的C#项目多了一个SOA Settings的属性标签。在SOA Setting的属性页中，我们首先在Head node下拉列表中选择我们的集群头节点名。这里的头节点名必须与我们在客户端代码中创建的会话启动信息相一致。比如在我的代码中，

……

SessionStartInfo startinfo = new SessionStartInfo("SHPC-0052", "EchoService");

……

于是这里我就选择头节点为“SHPC-0052”。接下来我们需要在Available service列表中勾选需要调试的WCF服务。在这个列表中会列出当前解决方案中的所有WCF服务类型的项目，我们只需要选择客户端代码调用的服务（或者多个服务）即可。这里的服务名和服务项目名称以及会话启动信息中的服务名都应该是相同的（在这里是“EchoService”）。除了头节点名和被调试的服务以外，其他的属性都有合适的默认选项，我们暂时不要改变它们的设定。好了，调试的准备工作全部完成了，让我们开始调试吧！

首先将MySOAClient项目设置为调试的启动项目，随后我们在客户端程序创建SOA会话（Microsoft.Hpc.Scheduler.Session.Session.CreateSession(startinfo)）的代码后放置一个断点。按“F5”启动调试器，MySOAClient程序会运行到CreateSession()之后中断。这时SOA会话以及SOA服务job已经创建完成了，让我们来看一看Visual Studio是不是已经附加到所有的服务进程上。从调试菜单打开进程工具窗口，我们可以看到，

Visual Studio调试器已经附加到所有的服务宿主进程上。WCF服务部署，远程调试器的启动以及附加远程进程的工作都被SOA Debugger自动完成了，是不是有WOW！的感觉呢？既然我们已经完成了服务进程的附加步骤，我们就可以直接调试WCF服务的代码了。所有现有的调试器功能我们都可以使用，包括在在服务代码的断点上中断，F10/F11的单步调试，表达式求值（Watch）以及条件断点等等。当调试结束后，SOA Debugger还会自动完成服务的清理工作。

我们已经完成了整个SOA开发/调试的过程，回头看看是不是很简单呢？原先的六个步骤最终被简化为：1）创建服务；2）创建客户端程序并设置SOA调试选项；3）F5！这三步，是不是很简单呢？

以上就是对SOA Debugger的简介，SOA Debugger中还有很多很cool的功能，包括：调试不在Visual Studio解决方案中的WCF服务；为被调试的服务部署额外的文件；只调试运行在特定计算节点上的服务；只调试某些特定的服务请求（Service Request）。对于这些功能我就不一一介绍了，我期待你试用我们即将发布的SOA Debugger之后自己亲身体验所有这些实用的功能！我们的开发工作还在进行之中，在最终发布之一定还会有一些改动，如果大家有什么意见或者问题，欢迎回帖。谢谢！

Ps.，Visual Studio 2008中的MPI Debugger 插件已经发布了，欢迎大家从这里免费下载使用。Visual Studio 2010中的MPI Debugger将随Visual Studio 2010发布，敬请期待。

实习也能这样过！--直接参与产品开发

Zhen Wei — Wed, 20 Aug 2008 09:12:00 GMT

大家好，我叫刘超，是服务器与开发工具事业部(中国)HPC团队的软件开发工程师(SDE）实习生。在微软实习了将近6个月了，在这段时间里对于实习、对于我们组的工作生活都有不少感悟和体会，所以很想借这次写blog的机会做一下记录，如果能对别人有所价值，那就是最大的开心了。

在微软的实习经历对于我来说，是一份永远的记忆。在实习中开发的VS Add-in for Deployment，是我在公司中第一次独立开发的项目，而这个项目能够最终发布，得到了很多同事的帮助，老板们也给予了我充分的信任，让我很感激。这个项目虽然不大，但是其中也有着不少波折：刚开始接手这个项目时，我做了很多调研提出了不少实现方法，但是进度很慢，是因为对自己没有足够的信心，总希望得到同事们的支持才开始动手。后来老板看出了这一点，告诉我“纸上得来终觉浅，绝知此事要躬行”，也指出经过了一段时间的调研，其实我所了解的并不比别人少了。我一听，觉得可不是嘛，自信心立刻就有了，然后进度就赶上来啦。在这一次开发中我也深刻体会到了原型产品和正式产品的区别：自己觉得很稳定的产品，到了测试阶段却能够发现很多意想不到的bug；在修bug的过程中，不仅自己trouble shooting的能力得到了提高，与项目经理(PM)、测试开发工程师(SDET)沟通的能力也得到了很多锻炼。现在回想起整个项目的开发，还是感觉很幸运，从这次珍贵的项目经验中学到了很多。

下面我来一步一步介绍怎样使用这一个VS Add-in for Deployment来把开发好的WCF Service部署到HPC Cluster上去。首先，用户需要安装Windows HPC 2008 SDK，其中包含了这个工具。安装好之后，用户就可以在在Visual Studio的Tools -> Add-in Manager菜单中选择使用这个工具。然后用户需要建立一个Setup Project, 并且将需要部署的WCF Service添加到Setup Project的Project Output中（图1）。

图1

然后，用户可以在Visual Studio中的Solution Explorer中用右键打开这个Add-in工具（图2）。在Deploy Tool的界面里，用户可以选择要部署的WCF Service 包，要部署到的cluster，以及在cluster上具体部署的nodes或者group（图3）。用户还可以通过打开“Service Details”对话框（图4）来自定义在cluster注册的信息，这些信息往往对于正常调用WCF Service是很重要的。

图2

图3

在开始部署后，用户可以看到各个节点的部署状态（图5），也可以通过进度条看到整个部署任务的进度。同时用户还可以点击部署状态上的链接看到部署任务在各个节点上执行的日志文件。

图4

图5

在部署成功之后，客户就可以通过HPC Cluster自带的SOA功能对这些WCF Service进行调用啦。对于VS Add-in for Deployment的介绍就先介绍到这里了，希望这个工具能够给更多人带来便利。

对于我们实习生本身，为了更好地把握实习机会，也有很多需要了解和准备的东西。下面是在这几个月的实习中我的一些体会，希望能对师弟师妹们有所帮助。：）

1. 一次实习最重要的是要抱着学习的心态进入公司，如果能有求知若渴的态度，那么这次实习的价值才能够被最大化。曾经听过一个经理对职场新人的建议是“榨干职位上一切你能学到的东西！”在大多情况下，一个职位一个人一生只会经历一次，比如现在的软件开发工程师，如果转做IT咨询或者项目经理，可能一辈子都不会再回到开发工程师的职位。对实习生而言，接触不同公司不同职位的机会还是很多的，所以如果能够在不同的职位上把能学到的东西尽量学好，往往会有很多受益良久的收获。曾经听人说过，如果是抱着拿工资的心态在工作，那至多只是工资慢慢地增长；如果是抱着学习的心态在工作，就一定有成为公司CEO的希望。

2. 要积极，才能有更好的机会。刚进入公司的时候老板会安排一些项目，而在组里待久了，往往会了解到其他同事的一些想法或者原型，如果感兴趣的话就应该积极地争取参与进去。被动地等待任务往往会让自己慢上半拍，毕竟老板们不是神仙而且很忙，无法完全了解实习生的兴趣、工作状态和工作强度，所以毛遂自荐往往是更受欢迎的。

3. 要有坚持的心态和责任感。在日常工作中，刚刚走上岗位的实习生一定会遇到各种各样的困难，这时一定要有坚持的心态和不畏困难的信念。很多人对一件事情开始时表现出很大的热情，却只有三分钟的热度，这对于与他合作的同事来说是灾难性的。如果承诺了一件事或者接了一个任务，就一定要坚持完成，信誉的建立比毁坏要难得多。实习生与正式员工相比，往往约束要少很多，学校课业的负担有时也成为逃避责任的一种借口。可是“人而无信，不知其可”，责任感是任何职业都不可或缺的，该修的bug一定要修，该完成的任务一定要完成，在战胜困难的同时，自己的自信也得到了非常大的提升，所以这不仅是对于公司的贡献，也是对于自己的贡献。

4. 不管是什么样的工作，一定有它的意义；退一万步，即使是最单调乏味的工作，也能提高做事的效率和锻炼时间管理的能力；同样的一件重复劳动，有的人能够二十分钟做完有的人却需要一个小时。在微软，实习生被安排到的工作往往是开创性的新产品的开发，所以大多是非常有趣的；可是即使这样，也要知道对于不怎么感兴趣的工作保持热情也是非常重要的。

5. 要有更好的系统性组织性。我以前做事风风火火的，有什么事情想到就做。看到别人给我发的bug，一旦想到解决的方法就开始修了。后来经过老板、mentor与我的沟通，了解到需要更多地为别人考虑，即使是修bug也要经过一定的流程、更加系统化才行，否则频繁的修改很可能引起别人的麻烦，而这些往往是在学校里进行手工作坊式的项目开发很少遇到的。

6. 要多交流，这一点我很汗颜。我的一个很大的缺点是在交流方面没有足够的热情，而这可能是职场的大忌。酒香也怕巷子深，花了几年酿出的酒如果不能运出巷子卖掉还是一点价值都没有。所以情商方面的培养也是实习中非常重要的环节。一个很直接的方法就是多于老板交流，老板之所以成为老板，肯定有成为老板的原因。在与老板的相处过程中，个人的阅历、眼界和处事风格等等都会有很多提升。

这篇文章到这里就要结束啦，在实习的过程中每个人肯定都会有自己不同的体会。希望各一位实习生不管在什么公司什么职位都能够得到更大的收获，在工作岗位上不断进取，走得更高更远。：）

刘超

高性能计算团队实习生

Windows HPC Server 2008显山露水

Zhen Wei — Sat, 26 Jul 2008 20:51:00 GMT

“Microsoft impressed the supercomputing community last week when a beta of its new Windows High Performance Computing (HPC) Server 2008 scored a top 25 ranking on the Top 500 list of world's biggest supercomputers.” 当我看到新闻上类似于这样的报道时，总会有一阵激动，微软的HPC产品终于开始在市场上显露出了力量，而且也得到了越来越广泛的关注。

在微软推出HPC产品前，高性能服务器领域一直是Linux和Unix的天下，作为高性能计算领域的新加入者，微软HPC研发团队的工程师们可谓是筚路蓝缕，以启山林，一切都要从头干起。通过不断的努力，我们在2006年推出了Windows Compute Cluster Server 2003，初步获得了肯定；而今年5月刚发布的Windows HPC Server 2008 Beta2版本引起了业界的极大关注；6月在TOP500.org公布的世界第31次全球超级计算机五百强排行榜上，位于美国伊利诺大学的超级计算机应用国家中心 (NCSA) 的服务器，浮点运算性能68.48TFlops的成绩登上了排行榜的23名，而他们所使用的操作系统就是Windows HPC Server 2008 Beta 1。

现在，Windows HPC Server 2008已经能够有效管理数千个计算节点，具备高速NetworkDirect RDMA技术、远程直接内存访问界面、高效集群管理工具、面向服务器架构的工作调度、HPCBP规范标准集群互连等等；而且与前一个版本相比，08版产品的易用性，稳定性等都取得了很大的提高。比如我们能在很短时间内在成百上千台的裸机上部署好Windows HPC Server 2008，并可以运行一些诊断程序方便地测试出现有机器的连通性等。此外，通过Heat Map，我们可以直观地看到包括头结点在内所有节点的状态，包括他们的CPU和内存使用率等信息，这些特性都取得了很多合作伙伴的好评。来自NCSA的副主管Pennington在反馈中提到：“当我们在把Windows部署在超过一千个节点的机器上时，我们从这些机器是裸机时开始，到他们开始运行LINPACK测试程序仅仅花费了4个小时， WINDOWS HPC SERVER 2008的性能达到了我见过的同类机器中最高效的之一。”

除了在性能上的提升，我们也非常注重发展合作伙伴，从合作伙伴的反馈中改善我们的产品，就中国而言，我们已经和上海超级计算机中心，曙光信息产业有限公司等建立了紧密的关系，同合作伙伴一起，共同推动高性能计算产品在中国市场的普及与应用。

在产品不断取得成功的背后，我们中国研发团队也功不可没。Windows Compute Cluster Server 2003中的界面管理曾经被很多人批评，但是如何使得我们的HPC Server 2008具备强大复杂的功能的同时，又兼具易用等特性是一件非常有挑战性的工作，这直接关系到用户体验，如果在界面上就难倒了用户，则整个产品就不再让人感到舒适了。经过我们的不懈努力，以及不断吸取客户的反馈，Windows HPC Server 2008在UI（用户界面）方面做了非常大的改进，包括管理界面，配置向导等都做了很大的改善。例如在网络拓扑结构选择部分，我们将抽象的网络拓扑结构转换为直观网络示意图（图1），这样即不容易出错，也易于用户理解和记忆。

图1

此外，前面提到的HPC Server 2008中受到很多客户欢迎的Heat Map功能，能够让管理员实时监控各个节点的状态，如图2中所示，管理员可以看到现在的所有节点中可用的物理内存（Available Physical Memory），硬盘的吞吐量（Disk Throughput）和每秒系统调用数（System Calls / S），并且这些指标都用图形化的方式直观的表现出来。

图2

另外，强大的Reporting功能，也是由我们中国研发团队完成的：集群的管理员可以将一段时间内关于集群上的信息收集起来，并以图标的形式表现出来，以方便管理员对这段时间内集群的状态进行分析，图3中精美的图标就是Reporting功能生成的结果：

图3

在UI上的巨大改进也获得了很多客户的正面回应，来自英国的达斯伯里实验室（Daresbury Laboratory）分布式计算组的计算机科学家Igor Kozin说，“Windows HPC Server 2008的一个很突出的地方是它具备非常可靠的图形化用户界面，从很多方面来看这些仍然是Linux所缺乏的”，利用我们的UI界面，集群管理员能很快的上手并且高效的操作，因此大大降低了花在配置上的时间和精力。

除了在UI方面的改进，为了满足不同客户的需求，我们也支持在PowerShell中用命令行来完成包括管理和提交Job等。对于习惯使用C Shell和Korn Shell的管理员来说，使用PowerShell脚本会相当方便。

我们还增加了对SOA的支持，提供了API甚至在Visual Studio中嵌入了Add-In，使得开发人员能方便的利用SOA去部署并行程序。开发人员不用去关心他的程序会部署在哪些节点上运行，我们提供了WCFBroker机制去自动的将程序部署到合适的节点上，简化了开发人员编写并行程序。

总而言之，我们提到的这些特性都是以给客户提供价值为核心的，目标是实现我们和客户双赢的局面，因此也获得了众多的好评，而用户的意见甚至批评都成为我们不断改善产品的驱动力，期待Windows HPC Server能取得更大的成功！

刘贤斐

微软中国服务器与开发工具事业部(STBC)

项目经理（实习生）

来看看我们的产品之集群性能监测

Renqi Zhu — Tue, 17 Jun 2008 07:33:00 GMT

大家好，首先我非常高兴地为大家带来一个好消息，Windows HPC Server 2008的Beta 2已经发布啦！相较于上一个Beta版本，我们一方面进行了许多新的产品特性的开发，另一方面也修正了不少问题，相信大家一定已经迫不及待地想要一睹Beta 2的风采了吧。您可以从http://connect.microsoft.com/了解更多关于我们的Beta 2的信息。

那么言归正传，本次我要为大家介绍的是Windows HPC Server 2008为我们提供的一系列性能监测的工具。通过这些工具，我们可以很方便地了解集群当前和过去的性能状况，发现可能存在的问题。

位于节点管理（Node Management）中的Heat map是HPC Server中一个很酷的功能。它允许我们同时选择一些Metric（性能标准），并以不同的颜色将每个节点上这些Metric当前的值显示出来。Heat map默认使用浅色表示较小的值，使用深色表示较大的值，如下图所示：

通过Heat map，我们不仅可以观察某个节点当前的状态，更可以很直观地在整个集群中找到那些与众不同的节点。举例来说，在一个非常繁忙的集群中，如果有某一个节点的CPU占用率总是为0，那么很有可能这个节点就没有正常工作。如果要通过查看每个节点上的CPU占用率来发现问题，在一个拥有许多节点的大集群上那将是非常困难的。不过如果用Heat map来进行观察，从一大片深色的小方块中找出一个白色的小格子应该是相当容易的吧。

我们也可以使用Windows HPC Server 2008的Powershell来完成这一任务，Get-HpcMetricValue命令可以被用来查看所指定的Metric的当前值。我们甚至可以运用Powershell强大的脚本功能来自动化一些性能监测任务，例如我们可以编写一个脚本当某个节点的磁盘剩余空间小于10%时让集群自动往发送一封电子邮件用于提醒。另一个非常有用的命令是Import-HpcMetric，通过这个命令您可以从您系统中已经注册的性能计数器（Performance Counter）导入新的Metric，系统中已注册的性能计数器可以通过Windows控制面板的管理工具中的可靠性与性能监视器（Perfmon）进行查看。

Heat map为我们展示了节点的当前状态，而性能图（Performance Charts）则为我们提供了Metric的历史数据。右键单击一个节点，从弹出的菜单中选择View Performance Charts（查看性能图）就可以观察所选择的节点的历史性能数据，如下图所示：

在上图的窗口中，我们可以自由的选择想要查看的Metric，设定所要查看的时间范围（X轴），缩放图中可见数据的范围（Y轴）。我们甚至可以同时打开多个不同节点的性能图窗口，然后对它们依次做一比较。

看了这些，想必您一定有一个疑问，以上这些都是针对节点的Metric的监测，那么有没有对于整个集群的监测呢？答案当然是肯定的。位于图和报表（Charts and Reports）下的性能监视图（Monitoring Charts）就是用来查看整个集群的性能数据的。它提供了一个类似于性能图的界面，只不过这里可以选择的Metric不再是针对某个节点的Metric，而是针对整个集群的，例如总共失败的Job数目等等。同样的，这里的Metric也是可以通过Powershell的Import-HpcMetric命令进行定制的。

通过这些工具，我们可以自由的选择想要观察的性能数据，便于对集群的运行状况进行分析。是不是感觉一切尽在掌握之中呢？:)

Renqi Zhu

Dev, Windows HPC

Shanghai, China

Step by step LINPACK guidance

Zhen Wei — Tue, 20 May 2008 02:10:00 GMT

I’ve been working on deploying LINPACK on our Windows HPC Server 2008, including compiling source code, setting up environment for the machines and also making adjustments on input parameters for LINPACK, so I would like to share some experience with you on the issue.

In order to run LINPACK on windows platform, we should do such steps:

1. Find out right version of source code and compile it.

There are several versions of LINPACK, the High Performance Computing LINPACK Benchmark is called HPL, and its current version is HPL 1.0a, you can find the source file “hpl.tgz” from the website: http://www.netlib.org/benchmark/hpl/.

If your machine is INTEL based, you can also find the binary version from INTEL MKL, but pay attention to find the one suits your machines.

2. Set up running environment.

In order to run LINPACK, we should have MPI and BLAS (Basic Linear Algebra Subprograms) libraries on our machines. So first, have HPC Pack installed, and then we can use MS MPI, and have a choice among BLAS libraries: GOTO、Atlas、ACML、ESSL、MKL. Some libraries are machine specific, so find out the suitable one from http://www.netlib.org/blas/faq.html. Here I take INTEL MKL as a first choice; you may find it from http://www.intel.com/cd/software/products/asmo-na/eng/266857.htm. Install MKL in the nodes that you want to run LINPACK.

3. Install CCP SDK

Find CCP SDK from http://www.microsoft.com/downloads/details.aspx?FamilyID=D8462378-2F68-409D-9CB3-02312BC23BFD&displaylang=en, or if you have Windows HPC Server 2008 installed, then CCP SDK is already included.

4. Configure paths

In order to run LINPACK on multiple nodes, we should set up shared folders for input, output as well as program executable. Take my setting as an example, we establish a new share folder on head node, named “Scratch”, then make three directories: input, output, bin. To run LINPACK, we should provide a file named “HPL.DAT” containing the input parameters; we should put this input file in the directory “input”. Then the output file containing results will be put into “output”, and the executable file of LINPACK in “bin”.

5. Estimate Results

For better tuning the input parameters, we would like to see the performance efficiency under current configuration. The maximum value is calculated in this way: Clock Speed (GHZ) * Flops per Cycle. Flops per Cycle” are the number of flops per clock, for Opteron and Xeon the value is 2, for Xeon dual-cores and Quad-Cores, this values is 4. Then current result / max value will be your efficiency.

6. Submit jobs

· Input Parameters: Modify hpl.dat file to suit the target configuration. Firstly, four major parameters: N, NB, P, Q can be decided and the others remain default values. A standard input file is like the following:

· Submit job:

Use “Job submit /numberprocessors:P*Q /workdir : \\%CCP_CLUSTER_NAME%\Scratch\Linpack /stdout:hpl.log /stderr:hpl.err mpiexec -wdir \\%CCP_CLUSTER_NAME%\Scratch\Linpack\bin xhp.exe” to submit the job. Then you may find it through “job management” in “admin console”:

· View the benchmark results: After the job is finished, you may find the result like below:

7. Issues on input parameters

Maybe you have heard there are 29 input parameters for LINPACK, so it is a very hard work to decide these inputs and it is always the most important work when running LINPACK. But we can start from 4 parameters: N, NB, P and Q. N is the problem size, it should be large enough to reach the maximum performance, but not too large, which may result in paging, which would reduce the performance. . It is recommended that the matrix uses 80% of total memory. . As my experience, we can do some test on the machine, and monitor the available physical usage from heat map:

If there are too many available physical memory, then we can increase N, and vice versa. However, the best value will be obtained after several times of actual running.

The value of NB should also be achieved from the real tests, a guideline is N mode NB = 0. Some experience results tell, for Intel Xeon processors, NB should be 192, but according to my tests on our TYAN cluster with Xeon dual cores, 224 is a better choice. So I think we may increase NB at a fixed N, increase NB by 16 each time until we find a max Gflops.

When related to P & Q, I really don’t know how to make a decision, the only thing I am very sure is, P * Q must be the number of cores. I’ve found a lot of materials written by different persons, some said values of P, Q must be close to each other, and others said P should be as small as possible. I’ve talked with Xavier, he suggests me to have a small P at first because when he does so, he gets the best performance. However, it is very funny, when I am making a test on a four cores node, P = 4 with Q = 1 gets the best result and P = 1 with Q = 4 has a much poorer performance, the results are as below:

But situation changes a lot when it comes to 3 nodes with 12 cores, P = 12 with Q = 1 performs much worse than P = 1 with Q = 12, the results are as below:

Maybe the only way to find the best combination is through your own exploration.

So these are some experience these weeks, though I’ve not achieved a satisfying efficiency, I am sure the performance can be improved in many ways, also I am very appreciate George for guidance and Xavier for precious suggestion.

Lewis Liu 刘贤斐

PM Intern,Microsoft STB China HPC

来看看我们的产品之选择合适的网络拓扑结构

Renqi Zhu — Mon, 05 May 2008 01:07:00 GMT

大家好，我是HPC组的DEV朱仁琪。在加入微软的一年里，非常有幸能够亲眼目睹我们的Windows HPC Server 2008捷报频传，从第一个Beta版本到最近发布的社区预览版本（CTP），功能越来越强大，着实令人兴奋。在此我和大家一起分享一下我对于Windows HPC Server 2008网络配置的一些心得。

众所周知，配置集群的网络通常是一件令人头疼但却又无法逃避的复杂工作。为了简化这项工作，Windows HPC Server 2008提供了一个向导（Network Wizard）来帮助我们完成网络的配置，如下图所示。

在上图中我们可以看到，Windows HPC Server 2008支持五种不同的网络拓扑结构。那么我们应该如何去选择一个合适自身情况的拓扑呢？且听本文慢慢道来。

首先，让我们来了解一下各种拓扑结构中涉及到的三种网络：

Enterprise网络（企业网络，在Beta 1中称为Public网络）

不仅集群中的节点可能连接到这个网络，企业或机构中的其他计算机通常也连接到这个网络。大多数用户通过这个网络来进行通讯，进行他们的日常工作。

Private网络（私有网络）

这是集群的内部网络，它可以用来承载集群内部节点间的通讯，集群外部的计算机通常无法连接到这个网络。

Application网络（应用网络，在Beta 1中称为MPI网络）

这是一个集群内部的高速网络，通常具有很高的带宽和很低的延迟，可以用来满足集群内部并行MPI程序的通讯需求。常见的高速网络有Gigabit Ethernet、10 Gigabit Ethernet、Myrinet©、InfiniBand©等等。

Windows HPC Server所支持的五种拓扑结构的区别在于包含上述网络中的不同子集，并且计算节点（Compute Node）能够连接到的网络有所不同。

拓扑1：集群有Enterprise和Private两个网络，计算节点仅能连接到Private网络。
拓扑2：集群有Enterprise和Private两个网络，计算节点可以同时连接到这两个网络。
拓扑3：集群有Enterprise、Private和Application三个网络，但是计算节点只能连接到其中的Private和Application网络。
拓扑4：集群有Enterprise、Private和Application三个网络，计算节点可以连接到所有这三个网络。
拓扑5：集群只有Enterprise一个网络，所有节点均在这个网络上。这是五种拓扑中最简单的一种。

在这五个拓扑结构中做出选择之前，我们可能会需要考虑这样一些因素：

是否想要利用Windows HPC Server 2008提供的一系列新的部署工具来部署集群中的节点？Windows HPC Server 2008利用Windows部署服务（Windows Deployment Service，简称WDS）来简化部署集群节点的繁琐工作，使得我们可以很方便的完成集群的部署（参见来看看我们的产品之Windows HPC Server 2008部署初体验）。如果您想要使用这项便利的功能，那么拓扑5将不在您的选择之列。
是否希望将集群内部的通讯同企业或机构内的其他通讯分离开以获得更平衡更好的网络性能？如果没有这种需求，可以考虑拓扑5，否则前四种拓扑会更为合适。
是否需要一个高速网络来承载MPI并行程序的通讯需求以获得更进一步的性能提升？如果您的答案是肯定的，拓扑3和拓扑4将会是最佳的选择。如果所有的应用程序都没有基于MPI程序库进行开发，那么Application网络就不是必须的，此时您可以考虑其他三种拓扑结构。
计算节点是否需要大量的访问位于Enterprise网络或Internet上的资源？如果是的，我们建议您使用拓扑2、4或5。虽然在拓扑1和拓扑3中，计算节点可以通过头节点（Head Node）上的NAT服务访问外部网络，但是此时所有与外界的通讯都需要通过头节点，头节点可能会成为性能的瓶颈。
安全性与访问方便性的平衡。拓扑1和拓扑3将集群内部的通讯与外部的通讯分离开，集群外部无法直接访问集群内部的节点，提高了集群的安全性。其他三个拓扑则将所有节点直接连在Enterprise网络上，使得在集群上开发和调试应用程序变得容易。所以您将不得不在安全性与访问方便性之间做出取舍。

我们可以将上述因素总结如下表：

	拓扑1	拓扑2	拓扑3	拓扑4	拓扑5
计算节点连接到Enterprise网络		√		√	√
计算节点连接到Private网络	√	√	√	√
计算节点连接到Application网络			√	√
支持WDS	√	√	√	√
集群内部通讯与外部通讯分离	√	√	√	√
具有高速网络来提高MPI并行程序性能			√	√
计算节点需要大量访问集群外资源		√		√	√
较高的安全性	√		√
较方便的访问集群内节点		√		√	√

怎么样，现在是不是觉得很简单地能够在Windows HPC Server的五种网络拓扑结构中做出合适的选择呢？:)

Renqi Zhu

DEV, Windows HPC

Shanghai, China

如何用C shell and Korn shell 管理 Windows HPC Server 集群系统

Zhen Wei — Tue, 01 Apr 2008 04:31:00 GMT

（Christina Carter 中文不如英文溜，此文中文版纯属同事捉刀代笔勉为译之，如有不妥，尽请拍砖）

知道不？通过SUA（微软UNIX应用子系统），你可以用熟悉的C Shell和Korn Shell来运行PowerShell命令！如果你有Windows Server 2003 R2, Windows Server 2008 或是Windows Vista的旗舰版或企业版，那么快快装上SUA试试吧。

步骤如下：

1. 通过添加删除Windows组件安装SUA，Vista用户请参照这篇文章，Windows Server 2003 R2用户请参照另一篇文章。

2. 在C Shell中你可以使用如下命令 (需替换 "headnode"为你的集群头节点)

cd /dev/fs/C/Windows/System32/WindowsPowerShell/v1.0/
./powershell.exe -command get-hpcnode -scheduler headnode
alias nodelist ./powershell.exe -command get-hpcnode -scheduler headnode
nodelist
nodelist | grep Online

这里有一篇文章讲述了如何让PowerShell和SUA一起工作. 这个blog上还有一些评论讨论了在SUA中执行UNIX命令(试试搜索"SUA")

How to use C shell and Korn shell to manage a Windows HPC Server cluster?

Did you know you can use the familiar C shell and Korn shell under SUA (Subsystem for UNIX-based Applications) to call our PowerShell commands? If you have Windows Server 2003 R2, Windows Server 2008 or Windows Vista Ultimate and Enterprise editions, then you can install SUA and try it out.

Here are the steps:

1. Install SUA via Add/Remove Windows Components. See this post for how to do that on Vista, and see this one for Windows Server 2003 R2.

2. Here are a few commands you can use in C Shell (You need to substitute "headnode" with your head node name)

See this post on more info about how PowerShell and SUA work together. There's a comment in this blog also talks about using class UNIX commands in SUA. (Search for the "SUA" wording)

来看看我们的产品之部署初体验

Zhen Wei — Thu, 27 Mar 2008 01:44:00 GMT

大家好，我是HPC 中国研发团队的新程序经理（PM）实习生刘贤斐，听言“PM是连接用户和开发团队的重要角色”，因此，在加入微软HPC组之后，尽快熟悉微软HPC的产品成为我的重要任务之一，在在得到了包括老板George，育彤兄的大力支持以及天驰兄的大力PUSH之后，我成功地把Microsoft Windows HPC Server 2008(Beta1) 部署到了一台具备一个头节点4个计算节点的集群（Cluster）上。原来用HPC PACK部署集群是如此方便快捷（不是广告，看后面就知道了），其兴奋不言而喻，在此和大家分享一下我的经历。

那么什么是集群（Cluster）呢？比较正式的解释是：集群（Cluster）是由两台或多台节点机（服务器）构成的一种松散耦合的计算节点集合，能够为用户提供各种服务。我们部署的集群外观是这样的：

HPC Server 2008的作用是在这上面部署操作系统以及集群管理工具等。先来说说HPC Server 2008的概念吧，它是由两个部分组成的：Windows Server 2008和Microsoft HPC Pack。

Windows Server 2008主要是提供64位的操作系统支持，Microsoft HPC Pack提供了集群管理，任务调度，MPI编程环境，SDK等一系列工具。了解了概念后，就动手部署了，首先要做的是插好电源并检查鼠标键盘以及网线有没有接对（不是废话，当时我就没注意分清CONSOLE的接口和头节点的接口，惭愧惭愧），之后就在头节点上装好Windows Server 2008和HPC Pack。接下来当我准备在四个节点上如法炮制时，立马被无情地鄙视了，因为这是最低效率的做法了，我们要做的事情只是把四个节点的电源接通，然后利用HPC Pack的 Node Template（节点模板）功能就可以很方便地在所有的节点上搞定这些事情。具体的过程如下：进入Configuration后，你可以看到如下的界面：

首先，就是配置网络（有5种网络拓扑结构，具体的奥妙大家可以自己研究一把），配置系统帐号，给节点批量命名，最有意思的是第4步了，创建新的节点模板，如图所示：

在向导中稍作配置，一路“Next”，即大功告成。然后选择在哪些节点上部署这个模板。我们支持对三种节点的部署：裸机节点，以前把其配置导出成XML文件的节点，和已经安装好操作系统的节点；对我来说在空节点上安装当然是第一种情形了，点击“PROVISION”，部署就开始了。现在可以在“Node Management”（节点管理）导航栏里面看到这些节点在“Provisioning”（正在部署）的列表中，单击节点就可以看到它们部署的状态，在执行哪些命令。

部署完毕后，就可以使用这些节点了，包括让它们online或者offline，提交任务等。

HPC Server提供的一个很有意思的功能是查看节点的健康状态（如下图），我们可以选择添加一些标准（Metric），添加之后，这些标准会以一个柱状图的形式显示出来，颜色越深表示它的值越高。在我们的图中可以看出来，头结点（TYANHEAD）上的每秒系统调用数量（System Calls/ Second）和硬盘的吞吐量（Disk Throughput）都比其他节点高，所以它们对应的颜色也越深，而头结点可用的物理内存（Available Physical Memory）最少，所以相对于其他节点来说，它的颜色也教浅。这样可以让管理员直观的看到现在每个节点的状态。

怎么样，是不是很方便啊，没有繁琐的步骤，不用记大量的命令，一切都很一目了然就可以部署集群了。

以上是我的一些体验，欢迎大家指出不当之处，多多交流~，同时也感谢全体HPC 中国研发团队对我撰写此文的帮助。

Liu Xianfei

PM INTERN, HPC Group, STB China

Shanghai

来看看我们的产品之基于PowerShell的命令行界面

qingzhi — Tue, 18 Mar 2008 04:29:00 GMT

HPC2008的用户界面与CCP2003相比，发生了巨大的变化。且不用说那精美的GUI，单就历来枯燥乏味的命令行界面也能令你眼花缭乱。我们将会在以后的篇幅中逐一介绍GUI，本篇将着眼于命令行。

用过CCP2003的朋友们应该还记得那经典的几个命令吧，分别以job，task，node等打头，然后跟上操作符和参数。HPC2008仍然支持CCP2003的命令，以确保向后兼容。除此之外，我们开发了更为强大的基于Windows Powershell（下文简称PS）的命令行界面。这也是我今天想向大家推荐的重点。

(1) PS CLI 的功能比CCP2003的命令行多得多。

PS CLI覆盖了GUI除Reporting之外的所有功能（如Deployment, Node Management, Job Management, Operation, Diagnostic, Cluster Configure等）。换而言之，原先必须用GUI才能做到的事，现在可以统统使用PS CLI完成。最直接的好处就是，可以使整个集群的安装，配置，诊断，作业提交实现脚本化，极大地提高管理员的工作效率。

(2) PS CLI 充分运用PS自有的功能。

如果用一句话来描述PS的强大之处，那就是它引入了基于对象的管道。简而言之，一个命令可以向管道输出一个对象，也可以从管道中接收一个对象作为参数。

举个例子：

PS的另一个可圈可点之处在于可以定制输出格式。以查看job为例，我们可以指定若干个需要查看的属性。PS会自动的将它们排列成表头，以表格的形式输出整个job table。下面的截图使用了刚才介绍的管道，将一组job通过管道传给了PS自带的Format-Table命令，打出了一张job table。

细心的朋友可能已经发现了PS命令的一个语法特征，统统是 verb-noun的形式。无论是PS自带命令还是我们开发的命令都遵循这个规则。PS在今后的版本中仍将继续使用这个规则。

(3) PS CLI强大的help message

我们的PS CLI有80条命令左右，不排除今后继续添加新命令的可能。大家不可能记住所有的参数，怎么办，看帮助文档。以Get-HpcJob为例，输入“Get-HpcJob -?”，您将会得到最简洁的帮助信息，例如参数名称，类型等；输入“Get-Help Get-HpcJob -Full”得到最全面的信息，包括各个参数的作用，可以管道的参数，支持通配符的参数，以及应用实例等。

今天就先介绍这些吧。绝大部分的PS CLI在我们已经发布的CTP 版中都已经可以使用，多多欢迎宝贵意见。

Qing Zhi
DEV，HPCGroup
Shanghai