HPC中国研发团队 : TOP 500

我们上人民日报了:)

Zhen Wei — Wed, 01 Apr 2009 13:07:00 GMT

(代George Yan发)

大家好，好久没有在这里写东西了，想想上次我在这里写blog还是一年多前呢。嘿嘿，好像我的belated new year’s resolution 应该是多写点东西和大家交流吧 :)

回顾2008年，这是对我们的团队来说非常有意义的一年。在产品上，我们发布了Windows HPC Server 2008，而且在十月的SC08上，运行Windows HPC Server的曙光5000A系统以180.6Tf的成绩获得Top500的第十名，引起了这个领域的关注和震惊。这当然是微软在进入HPC这个领域后在Top500中取得的最好成绩，这个成绩背后的甜酸苦辣我们的丛兰兰同学已经在她的博文里很好的描述了。这次的成绩也引起了中国的媒体的关注，毕竟Windows hpc server 2008 的一部分是在中国开发的, 而且这个成绩不是在那些老牌的cray, ibm机器上产生的，而是在我们中国制造的曙光机器上！有兴趣的同学可以看看媒体对我们评价。

再说说我们的团队，2008年，我们的小团队很荣幸的迎接来了徐明强博士，徐博在这个年轻的团队中是我们的前辈，而且在hpc领域里是个家喻户晓的名字，他曾经是Platform computing 的CTO,加入微软后设计了我们产品中的scheduler 和SOA runtime的架构。很有意思的是媒体对海龟徐也很有兴趣，程序员杂志还专门和徐博做了独家采访(attach link). 最后提一句，徐博回到上海马上入乡随俗，已经成为马路杀手之一，大家看到辆灰色honda odyssey要特别小心，徐博可能就在用着他美国开车原理在上海横冲直撞！:)

附：部分媒体报道：

1	光明日报	Guangming Daily	高性能计算机：工业化进程的助推器
2	人民日报	People’s Daily	中国诞生百万亿次超级计算机成为第二个拥有此能力的国家
3	中国经济导报	China Economic Herald	高性能计算机突破商业化困局
4	科技日报	Science & Technology Daily	强强合作意在高远
5	中国电子报	China Electronics News	工业领域高性能计算需求旺盛呼唤普及共享
6	中国计算机报	China InforWorld	惊魂百万亿次-曙光5000A冲击Top500纪实
7	电脑报	Popular Computer Weekly	中国第一超级电脑炼成记
8	程序员	Programmer	见证高性能计算21年
9	网络世界	China Network World	创新：以开放合作的精神-从微软携手曙光圆百万亿次超级计算机梦想谈起
10	计算机世界	China Computer World	中国HPC百万亿次是这样炼成的
11	科学时报	Science Times	他们见证了历史
12	微电脑世界	PC World	微软联手曙光晋级全球超级计算机十强

亲历北京Top 500

Violet Cong — Tue, 30 Dec 2008 10:33:00 GMT

金秋的北京，一年中难得的好天气，人们还沉浸在08年奥运会的喜悦中，而一项影响中国高性能计算发展的大事，也正在紧锣密鼓地进行 – 近两千台新研制开发的曙光5000A机器已从天津工厂运抵北京！这么多的机器太沉，一楼的地面无法承重，找不到合适的数据中心，造价两亿元的这两千台高性能计算服务器暂时落户在中科院计算所的地下车库里。

中国人的力量和速度再一次让世人惊叹：地下车库的改建，制冷水管的铺设，整个临时数据中心的建成一共只用了十天时间，夜以继日的努力只为了一个共同的目标 – 那就是11月中旬即将在美国奥斯汀举办的第21届超级计算机大会。世界权威的Top 500超级计算机排名将在这次大会上正式公布，跻身前列是每一个中国高性能计算工作者的梦想！

作为微软高性能计算中国开发团队的一员，我也有幸加入到这次影响中国高性能计算历史的努力中！曙光，是中国高性能计算的代表企业，与微软公司的结缘始于2007年底。一向依托于UNIX/LINUX高性能操作系统环境的曙光公司，对刚刚踏入高性能计算领域并于2006年发布第一版高性能计算产品Windows Compute Cluster Server 2003的微软公司，产生了浓厚的兴趣。这一过程是艰难的，压力与希望同在，挑战与机遇并存。

9月15日刚刚成功发布微软高性能计算的第二个版本Windows HPC Server 2008，我们来不及任何的休整，一行四人立刻踏上了北京的征程。清楚地记得第一次踏进中科院的地下车库，憋闷的环境，数千台机器共响的轰鸣声立刻让我觉得透不过气来。简易的工作台，没有任何的噪音隔离和防护措施，这就是我们接下来一个多月里需要战斗的地方。来不及多想，放下简单的行囊，立刻加入到这1920个节点部署Windows HPC Server 2008系统的工作中。这是第一次Windows HPC Server 2008产品在这么大规模的计算集群上部署和应用，我们的心情真是既兴奋又紧张。旁边来自曙光，AMD等各家高性能计算领域的同行们也都看着我们，想看一看初出茅庐的Windows HPC Server 2008到底表现如何。在基于Windows部署服务（Windows Deployment Service）的裸机部署模式的强大支持下，部署工作进行得异常顺利。部署完成后Windows HPC Server 2008简单易用的管理操作平台显示出了对近2000个计算节点的强大的管理能力，深得同行的赞誉，我们也终于舒了口气。

然而接下来的工作远没有期待中的这般顺利。一个刚刚搭建的数据中心，全新的硬件，全新的软件，对于一个至少需要连续运算7-8个小时才能取得较理想计算结果的基准测试来说，任何一个环节的细微差错，例如网络连接的松动，电源过热，15360条内存中任何一条内存的故障都会导致整个测试运行的失败。我们甚至发现，在如此大规模尚未经过时间考验的计算集群上，取得一个有效的测试结果都是相当的困难。当有节点发生故障时，我们需要和曙光的硬件工程师，来自Mellanox/Voltaire的网络工程师一起，登录到故障节点，查找可能的软件、硬件或者网络的问题，并对问题进行记录和总结。曙光也设立了简单的工作台，进行现场的故障硬件修复。如果用四个字来形容当时的工作状况，那真是“没日没夜”。从数据中心的搭建到最终Top 500的提交期限，一共只有不到一个半月的时间，每个人都不愿浪费一点点可以进行故障排查或者运行测试的时间，所以常常忘了外面是白天还是黑夜。经常拖着疲惫的身体走出计算所的大门，才意识到，早起的人们已经开始了晨跑，原来熬夜也是这么容易习惯的。更多的时候，我们也只是在车库角落里搭建的临时床，甚至机柜旁伴随着近2000台计算节点的轰鸣声席地而睡。

我们感激曙光公司在如此大规模的计算集群上率先采用刚刚发布的Windows HPC Server 2008产品的信任，但作为Windows HPC Server 2008在如此大规模的计算集群上的首次尝试，大家也曾犹豫和怀疑过。继9月29日取得116.3TFlops的运算结果之后，我们在将近10天的时间里一直无法取得任何的突破，眼看着提交结果的期限一天一天接近，怀疑的声音也开始出现。Windows HPC Server 2008真的是如此大规模计算集群的正确选择吗？在这样的质疑声中，顶住压力，永不放弃是我们的唯一选择。记得当时美国总部团队的老板们正在上海访问，和上海的团队讨论下一个版本的计划，但是在Top 500项目的巨大压力下，上海开发团队的主管严治庆于当晚就飞回了北京，还记得他那个时候诙谐地说：“不是天不助我，而是时机未到”。越是这样紧张的时候，越是要镇定，我们总结了前段时间屡屡失败的教训，为每次基准测试程序的运行制定了详细的准备步骤：包括各个节点的排查，网络状况的检查，小规模测试等等。虽然每次这些准备工作都需要花费2个小时左右的时间，但我们发现这对确保测试运行的成功率发挥了至关重要的作用。在10月9号的早晨，顶着巨大的压力，我们终于突破了140T的大关，我们终于证明了自己，证明了Windows HPC Server 2008对于大规模集群计算的能力，我想这是我们在Top 500道路上最艰难也是最重要的一个结果，连曙光的同行都表示没想到你们真的能跑出这个结果！

在整个Top 500的项目中，和我们一起并肩作战在中科院计算所地下车库里的还有一位法国朋友，他就是来自微软法国团队的Xavier Pillons。Xavier有着丰富的Top 500基准测试的经验，但是他表示像这次如此大规模的集群以及如此艰难的测试他还是第一次遇到。虽然作为他的第一次中国之行，Xavier在29天的时间里只得空休息了2天，但是他对此次的中国之行非常兴奋，记得在10月13号167.4TFlops之后的庆功宴上，Xavier自豪地说：“我们创造了中国高性能计算的历史，我很高兴成为其中的一员”！

在临近提交结果期限的两天，经过一次次地改进和测试，我们又取得了新的突破，180.6TFlops的结果，78%的效率对于Windows HPC Server的历史，对于中国高性能计算的历史都是划时代的，也为我们一个多月的辛勤工作，无数的不眠之夜交上了一份满意的答卷！在11月中旬召开的世界超级计算机大会上，我们非常荣幸地跻身全球超级计算机前十的行列，并成为在美国之外唯一一个进入前十的超级计算机集群！当怀抱奖状的时候，成绩的取得已经成为了过去，我们会怀抱更大的热情和理想做好Windows HPC Server的下一个版本，也祝愿中国高性能计算行业的发展越来越红火！

Windows HPC Server 2008显山露水

Zhen Wei — Sat, 26 Jul 2008 20:51:00 GMT

“Microsoft impressed the supercomputing community last week when a beta of its new Windows High Performance Computing (HPC) Server 2008 scored a top 25 ranking on the Top 500 list of world's biggest supercomputers.” 当我看到新闻上类似于这样的报道时，总会有一阵激动，微软的HPC产品终于开始在市场上显露出了力量，而且也得到了越来越广泛的关注。

在微软推出HPC产品前，高性能服务器领域一直是Linux和Unix的天下，作为高性能计算领域的新加入者，微软HPC研发团队的工程师们可谓是筚路蓝缕，以启山林，一切都要从头干起。通过不断的努力，我们在2006年推出了Windows Compute Cluster Server 2003，初步获得了肯定；而今年5月刚发布的Windows HPC Server 2008 Beta2版本引起了业界的极大关注；6月在TOP500.org公布的世界第31次全球超级计算机五百强排行榜上，位于美国伊利诺大学的超级计算机应用国家中心 (NCSA) 的服务器，浮点运算性能68.48TFlops的成绩登上了排行榜的23名，而他们所使用的操作系统就是Windows HPC Server 2008 Beta 1。

现在，Windows HPC Server 2008已经能够有效管理数千个计算节点，具备高速NetworkDirect RDMA技术、远程直接内存访问界面、高效集群管理工具、面向服务器架构的工作调度、HPCBP规范标准集群互连等等；而且与前一个版本相比，08版产品的易用性，稳定性等都取得了很大的提高。比如我们能在很短时间内在成百上千台的裸机上部署好Windows HPC Server 2008，并可以运行一些诊断程序方便地测试出现有机器的连通性等。此外，通过Heat Map，我们可以直观地看到包括头结点在内所有节点的状态，包括他们的CPU和内存使用率等信息，这些特性都取得了很多合作伙伴的好评。来自NCSA的副主管Pennington在反馈中提到：“当我们在把Windows部署在超过一千个节点的机器上时，我们从这些机器是裸机时开始，到他们开始运行LINPACK测试程序仅仅花费了4个小时， WINDOWS HPC SERVER 2008的性能达到了我见过的同类机器中最高效的之一。”

除了在性能上的提升，我们也非常注重发展合作伙伴，从合作伙伴的反馈中改善我们的产品，就中国而言，我们已经和上海超级计算机中心，曙光信息产业有限公司等建立了紧密的关系，同合作伙伴一起，共同推动高性能计算产品在中国市场的普及与应用。

在产品不断取得成功的背后，我们中国研发团队也功不可没。Windows Compute Cluster Server 2003中的界面管理曾经被很多人批评，但是如何使得我们的HPC Server 2008具备强大复杂的功能的同时，又兼具易用等特性是一件非常有挑战性的工作，这直接关系到用户体验，如果在界面上就难倒了用户，则整个产品就不再让人感到舒适了。经过我们的不懈努力，以及不断吸取客户的反馈，Windows HPC Server 2008在UI（用户界面）方面做了非常大的改进，包括管理界面，配置向导等都做了很大的改善。例如在网络拓扑结构选择部分，我们将抽象的网络拓扑结构转换为直观网络示意图（图1），这样即不容易出错，也易于用户理解和记忆。

图1

此外，前面提到的HPC Server 2008中受到很多客户欢迎的Heat Map功能，能够让管理员实时监控各个节点的状态，如图2中所示，管理员可以看到现在的所有节点中可用的物理内存（Available Physical Memory），硬盘的吞吐量（Disk Throughput）和每秒系统调用数（System Calls / S），并且这些指标都用图形化的方式直观的表现出来。

图2

另外，强大的Reporting功能，也是由我们中国研发团队完成的：集群的管理员可以将一段时间内关于集群上的信息收集起来，并以图标的形式表现出来，以方便管理员对这段时间内集群的状态进行分析，图3中精美的图标就是Reporting功能生成的结果：

图3

在UI上的巨大改进也获得了很多客户的正面回应，来自英国的达斯伯里实验室（Daresbury Laboratory）分布式计算组的计算机科学家Igor Kozin说，“Windows HPC Server 2008的一个很突出的地方是它具备非常可靠的图形化用户界面，从很多方面来看这些仍然是Linux所缺乏的”，利用我们的UI界面，集群管理员能很快的上手并且高效的操作，因此大大降低了花在配置上的时间和精力。

除了在UI方面的改进，为了满足不同客户的需求，我们也支持在PowerShell中用命令行来完成包括管理和提交Job等。对于习惯使用C Shell和Korn Shell的管理员来说，使用PowerShell脚本会相当方便。

我们还增加了对SOA的支持，提供了API甚至在Visual Studio中嵌入了Add-In，使得开发人员能方便的利用SOA去部署并行程序。开发人员不用去关心他的程序会部署在哪些节点上运行，我们提供了WCFBroker机制去自动的将程序部署到合适的节点上，简化了开发人员编写并行程序。

总而言之，我们提到的这些特性都是以给客户提供价值为核心的，目标是实现我们和客户双赢的局面，因此也获得了众多的好评，而用户的意见甚至批评都成为我们不断改善产品的驱动力，期待Windows HPC Server能取得更大的成功！

刘贤斐

微软中国服务器与开发工具事业部(STBC)

项目经理（实习生）

Step by step LINPACK guidance

Zhen Wei — Tue, 20 May 2008 02:10:00 GMT

I’ve been working on deploying LINPACK on our Windows HPC Server 2008, including compiling source code, setting up environment for the machines and also making adjustments on input parameters for LINPACK, so I would like to share some experience with you on the issue.

In order to run LINPACK on windows platform, we should do such steps:

1. Find out right version of source code and compile it.

There are several versions of LINPACK, the High Performance Computing LINPACK Benchmark is called HPL, and its current version is HPL 1.0a, you can find the source file “hpl.tgz” from the website: http://www.netlib.org/benchmark/hpl/.

If your machine is INTEL based, you can also find the binary version from INTEL MKL, but pay attention to find the one suits your machines.

2. Set up running environment.

In order to run LINPACK, we should have MPI and BLAS (Basic Linear Algebra Subprograms) libraries on our machines. So first, have HPC Pack installed, and then we can use MS MPI, and have a choice among BLAS libraries: GOTO、Atlas、ACML、ESSL、MKL. Some libraries are machine specific, so find out the suitable one from http://www.netlib.org/blas/faq.html. Here I take INTEL MKL as a first choice; you may find it from http://www.intel.com/cd/software/products/asmo-na/eng/266857.htm. Install MKL in the nodes that you want to run LINPACK.

3. Install CCP SDK

Find CCP SDK from http://www.microsoft.com/downloads/details.aspx?FamilyID=D8462378-2F68-409D-9CB3-02312BC23BFD&displaylang=en, or if you have Windows HPC Server 2008 installed, then CCP SDK is already included.

4. Configure paths

In order to run LINPACK on multiple nodes, we should set up shared folders for input, output as well as program executable. Take my setting as an example, we establish a new share folder on head node, named “Scratch”, then make three directories: input, output, bin. To run LINPACK, we should provide a file named “HPL.DAT” containing the input parameters; we should put this input file in the directory “input”. Then the output file containing results will be put into “output”, and the executable file of LINPACK in “bin”.

5. Estimate Results

For better tuning the input parameters, we would like to see the performance efficiency under current configuration. The maximum value is calculated in this way: Clock Speed (GHZ) * Flops per Cycle. Flops per Cycle” are the number of flops per clock, for Opteron and Xeon the value is 2, for Xeon dual-cores and Quad-Cores, this values is 4. Then current result / max value will be your efficiency.

6. Submit jobs

· Input Parameters: Modify hpl.dat file to suit the target configuration. Firstly, four major parameters: N, NB, P, Q can be decided and the others remain default values. A standard input file is like the following:

· Submit job:

Use “Job submit /numberprocessors:P*Q /workdir : \\%CCP_CLUSTER_NAME%\Scratch\Linpack /stdout:hpl.log /stderr:hpl.err mpiexec -wdir \\%CCP_CLUSTER_NAME%\Scratch\Linpack\bin xhp.exe” to submit the job. Then you may find it through “job management” in “admin console”:

· View the benchmark results: After the job is finished, you may find the result like below:

7. Issues on input parameters

Maybe you have heard there are 29 input parameters for LINPACK, so it is a very hard work to decide these inputs and it is always the most important work when running LINPACK. But we can start from 4 parameters: N, NB, P and Q. N is the problem size, it should be large enough to reach the maximum performance, but not too large, which may result in paging, which would reduce the performance. . It is recommended that the matrix uses 80% of total memory. . As my experience, we can do some test on the machine, and monitor the available physical usage from heat map:

If there are too many available physical memory, then we can increase N, and vice versa. However, the best value will be obtained after several times of actual running.

The value of NB should also be achieved from the real tests, a guideline is N mode NB = 0. Some experience results tell, for Intel Xeon processors, NB should be 192, but according to my tests on our TYAN cluster with Xeon dual cores, 224 is a better choice. So I think we may increase NB at a fixed N, increase NB by 16 each time until we find a max Gflops.

When related to P & Q, I really don’t know how to make a decision, the only thing I am very sure is, P * Q must be the number of cores. I’ve found a lot of materials written by different persons, some said values of P, Q must be close to each other, and others said P should be as small as possible. I’ve talked with Xavier, he suggests me to have a small P at first because when he does so, he gets the best performance. However, it is very funny, when I am making a test on a four cores node, P = 4 with Q = 1 gets the best result and P = 1 with Q = 4 has a much poorer performance, the results are as below:

But situation changes a lot when it comes to 3 nodes with 12 cores, P = 12 with Q = 1 performs much worse than P = 1 with Q = 12, the results are as below:

Maybe the only way to find the best combination is through your own exploration.

So these are some experience these weeks, though I’ve not achieved a satisfying efficiency, I am sure the performance can be improved in many ways, also I am very appreciate George for guidance and Xavier for precious suggestion.

Lewis Liu 刘贤斐

PM Intern,Microsoft STB China HPC

一年级新兵看微软HPC的2007

Zhen Wei — Mon, 03 Mar 2008 00:19:00 GMT

中国老一辈的人都流行说：我几几年参加工作，言语中掩不住自豪。小弟我*在小中大学校摸爬滚打了近二十年，终于在去年三月成为一名Dev--软件设计工程师，马上就可以拿到在微软“幸存”一周年的纪念牌牌，得意地宣布实现工龄零的突破，参加工作一年了。追昔抚今，以继往开来, 2007这一年，我这个一年级新兵看到的是微软HPC活动迭出，捷报频传，研发销售两手抓两手都很硬的一年。为免把本文写成形神聚散的散文，下面我就以擅长的文体--流水帐,把2007年微软HPC，特别是在中国市场的一些亮点给大家做个汇报：

2007年3月，我们的产品Windows Compute Cluster Server 2003(以下简称为CCS)发布Service Pack 1。
2007年4月，HPC上海开发团队携手开发及平台合作部，推出中文MSDN网络广播：微软高性能运算系列课程
2007年6月，微软第一次提交了自己的HPC系统Rainier到TOP 500,以8.997TFlops的成绩名列第106名，另一基于Window CCS的系统名列193名。
2007年7月，杭州国家软件产业基地建立了中国第一个基于WCCS的HPC 平台。
2007年8月，微软总部Redmond, HPC技术预览大会, HPC产品组邀请到了100多个关键合作伙伴和客户，共同商讨了微软在HPC市场的路线图和愿景，详细介绍了CCS 2003第二版本及Windows Server 2008, Powershell等相关技术，尽情fb了以烧烤贝类为特色的自助餐。
2007年11月，HPC界的武林盛会Supercomputing 2007在赌城Reno召开! 产品CCS第二版本摇身一变，改叫Windows HPC Server 2008了!(有气势，我喜欢)，Beta1 如期发布;Parallel Computing Initiative项目启动，让开发并行程序更容易;这次的TOP 500有6套Windows系统上榜，Rainier硬件不变，软件更新，效率大增，在激烈的竞争中排名116。两年前BillG在Supercomputing 2005上放言"HPC, 我们来了"。事实证明，我们不是凯丁(Kidding)，我们是希尔瑞斯(Serious)!
2007年11月，微软曙光展开高性能计算合作建软件测试实验室
2007年12月，“微软学者项目学生及教师研究奖”竞赛开幕

* 我是谁呢，不才就是上一篇帖子里说到的菠萝头兄弟，简历可由微软之缘为线索总结为：

1.MSNCDC扛过枪：MSN中国开发中心最早的一批实习生，对大队人马奔赴中山公园打彩弹记忆犹新；

2.GTSC帮过忙:          微软全球技术支持中心兼职做过几个web项目；

3.MSRA翻过墙：     微软亚洲研究院访问学生，爱极了每天的酸奶和桌上足球，也目睹和亲历了年底冲国际会议论文的疯狂--比如说优化论文算法到半夜，翻北航的校门回招待所睡觉；

4.MVP得过奖：        ASP.NET微软最有价值专家，只当了半年就因加入微软而自动终结:)；

5.STBC留过洋：       被微软服务器与开发工具事业部（中国）收编为正规军后，不到半年即通过“丝绸之路”项目发配总部“朝圣”一个半月，见到了传说中的美国和Bill，至此始信，世上确乎有美国，世上确乎有Bill，众之人不余欺也。