在Windows HPC中写过MPI程序的朋友们应该用过Visual Studio2005/2008中的MPI Cluster Debugger吧。网上也可以搜到不少关于这方面的使用教程(blog, white paper)。在集群中调试MPI程序感觉如何？MPI Cluster Debugger用起来方便吗？Visual Studio 2010 Beta1已经发布，我们HPC组对其中的MPI Cluster Debugger做了很大改进，尽可能地使它变得更加便捷。下面就跟随我一起看看吧!
在同样的地方( 项目属性页面) ，我们找到了MPI Cluster Debugger。不同的是，原先寥寥无几的参数被现在的一群参数所取代。不过不必担心，我保证大家很快上手。其实，在大多数的情况下，只要填写其中的3个参数。对于其他参数，MPI Cluster Debugger会使用默认值。
既然要在Windows HPC Cluster中调试程序，那么总得指定集群的头节点以及运行MPI程序的计算节点吧。“Run Environment”就是我们的第一个必填参数。点击”Edit Hpc Node…”即可进入”Node Selector”对话框。在此框中，我们可以选择想要使用的集群和计算节点。既可以笼统地指定所需要运行的MPI进程的个数，也可以精确地指定在那几个节点上分别运行多少个MPI进程。在选择节点时，我们还能看到各节点CPU实时负载情况。若仅仅想在本机上调试，运行4个MPI进程，则填入”localhost/4”就可以了。
另一个必填参数是“Working Directory”。这是MPI程序运行的目录，必须是一个本地路径。若不存在，MPI Cluster Debugger会帮你创建。“Application Command”是第三个必填参数，通常使用宏“$(TargetFileName)”即可。它指定了需要调试的那个MPI程序。
“Deployment Directory”参数是可选，默认值是”\\<HeadNode>\CcpSpoolDir\<UserName>”。安装好Windows HPC Cluster后，CcpSpoolDir就会被创建并共享。若不想使用该默认值的话，需要填入一个网络共享路径，并且用户有读写权限。
Visual Studio 从2008 SP1开始就有“Debugger Type”参数，于是我们有了选择调试器的自由。通常选择”Native Only”。若你是用MPI .Net写程序的话，那就选择”Managed Only”。
其他参数我就不一一赘述了。每个参数都有解释，相信大家可以看明白。不明白的话，那就回贴问我吧。
填好以上参数，就可以使用MPI Cluster Debugger的基本功能了。按”F5”，你的程序及相应的pdb文件会被部署到刚才选的那些节点上，然后MPI进程就运行起来了。在”Output View”中，你可以看到MPI Cluster Debugger所做的工作。若有错误发生，在这里可以看到详尽的错误信息，不至于手足无措。在”Processes View”中，你将看到正在运行的MPI进程。
以上是对MPI Cluster Debugger的简单介绍。在Visual Studio2010正式发布之前可能还会有一些改动。若大家有什么建议，欢迎回帖。谢谢！
4月24日到29日，HPC中国研发团队和一些家人朋友，还有现已回到美国工作的前部门经理Alex Sutton，一行22人去了四川省旅游，不仅游览了绮丽秀美的九寨黄龙，还访问了震区都江堰的受灾群众安置点，最开心的是在我家乡的山村小学里见到了好多可爱的小朋友。相信不少朋友都听说过“多背一公斤”这样号召旅行者出行时多背一些物品给贫困山区小孩的故事，而这次把我们的集体旅游与志愿者行动结合起来，则是我们HPC全体成员的共同心愿。成行之前，作为一名积极的志愿者，我推荐了两个选项：去都江堰市龙池镇云华村，捐献旧笔记本电脑协助上海市闸北区热爱家园青年社区志愿者协会（下文简称“热爱家园”）开展电脑培训班，这是我去年曾经实地考察参与了前期调研的项目； 或是访问捐助我家乡县城里大山深处的“夫妻小学”，从我搜到的南充日报报道来看他们的确非常需要帮助。让人喜出望外的是，最后我们不仅去了云华村，大多数的同事还去了我的家乡，好好利用了我们公司的每人每年三天的志愿者假期。我相信我们大多数人都乐于助人，但往往有这样那样的顾虑让我们不能成行，身体力行做个志愿者，并没有想象的那么困难。
24日，从上海飞到成都，我们没时间休息，就汇同热爱家园的职员陈佩赶赴云华村，到了都江堰，“岷江黄浦江水水相融， 上海都江堰心心相连”的大幅标语格外显眼，有名的板房区“幸福家园”显得秩序井然，路边很多楼房的裂缝仍然清晰可见，但更多的是推土机和起重机在热火朝天地重建家园。而我在将近一年的离别之后重访故地，忍不住客串做起了导游，向大家介绍眼前的情景和地震时的故事：这块空地，曾经停放了好多军车搭建了好多帐篷，“铁军来了”、“有困难，找铁军”的横幅格外暖心；那条二王庙后门的公路上，曾经有检疫人员不辞辛劳地向来往车辆喷洒消毒剂；还有多次出现在新闻联播的紫坪铺水库，曾经有无数冲锋舟运走受灾群众，运来物资运来官兵运来希望。
（多次出现在新闻联播的紫坪铺水库） （仍在抢修中的龙池隧道）
（云华村板房区） （搬运物资到板房区）
车开了近三个小时，穿过还在施工中的隧道，开过还在修建的龙池公路，终于到了龙池镇云华村的受灾群众安置点，也就是上海建工援建的板房区，上次来这里调研的时候，我还在上海建工的厨房蹭了几顿饭呢。可能是乡亲们还在劳动，小孩们还在上学，我们并没有见到太多村民，把5台笔记本电脑、若干路由器集线器插线板和长长短短的网线放在热爱家园的云华图书室后，我们走进一家农户，一位大姐和一位老奶奶热情地和我们聊了起来，从她们那熟悉的乡音中，我听到隐隐的伤痛，却流露出更强的坚韧与希望，还有一份真诚的感谢。我们带的东西并不多，也没有时间把网络环境全部搭好，只希望这一点点帮助对即将开展的电脑培训班有些作用。大山里的孩子和青年，急需电脑和互联网来获取信息，学习知识，建设自己的家乡。在返程的车上，我代表四川人由衷地感谢我的同事们愿意大老远地来看看震区，大家都说我太客气了，Ming更是说道：打在手上，全身都会痛，四川人民受灾了，全国人民都心痛。地震过去快一年了，我们见证灾区同胞自强不息重建家园，我们祝福灾区同胞平安幸福安居乐业。
（等待图书室管理员） （村民们搬进板房前的临时居所）
（Ming与老乡聊天） （我们在云华图书室外的合影）
4月28日，游完九寨沟和黄龙的美景之后，超过半数的同事跟我回家乡南充市营山县。不巧的是，连接成都和营山的达成铁路因为扩建施工暂时关闭，于是我们从成都十陵汽车站搭乘客车，耗时4个小时，匆匆吃了午饭，又坐上县团委老师帮我们联系的面包车沿着盘山公路开了2个小时，最后在崎岖的山路上步行了半个小时，到达了我们的目的地合兴乡糖房村大垭口“夫妻小学”。当我们抬着黑板提着礼物走近小学，远远地就听到了小孩子们嘹亮的歌声，心一下子被感动充满了。紧走几步，我看到了眼前的画面，廖老师正领着站得整整齐齐的小孩子们大声唱歌，他们最大的也只是在上二年级啊，歌声轻灵稚气，眼神清澈纯净，笑容天真无邪。还有不少学生家长，围了上来，老乡们不善言辞，但一看就知道是已经站在这里等了我们很久。
（通往“夫妻小学“崎岖山路） （搬运黑板）
（从附近赶来欢迎我们的小村民） （小朋友们唱歌欢迎我们）
老师领着学生们回到教室，幼儿园一个教室，一二年级一个教室。简陋的教室有一面是土墙，有一些大的裂缝，夏天很热，教室光线很暗，廖老师走上教室中间的一张课桌上，伸手拉了开灯的绳索，然后带领幼儿园的孩子们一起念自制黑板上的bpmf拼音，孩子们认真地齐声背诵帮助记忆的口诀“广播电台播播播”(b)，“两个门洞摸摸摸”(m)，窗外的我们和家长都开心地笑了，我想我们都看到了未来的希望。接着廖老师把两个教室的孩子集中到一起，带着他们唱起了一首“爱心叔叔”的歌，我们都很感动，不知道这是不是廖老师自己谱词谱曲的。第一排一个小女孩，长得有点像我的小侄女，我拉着她的手，问“你喜欢读书吗”，她一点也不怕我，也用小手拉着我的大手，扑闪着大眼睛说“喜欢，语文数学我都喜欢”。校长让我们给学生说些什么，因为有的小孩子听不懂普通话，George让我代表大家说说话。而我望着满满一教室可爱的小朋友，和充满期待的老师家长，一时不知说些什么好，他们需要太多的东西，而我们能提供的又太有限。最后我问了一堆问题：你们喜欢读书吗？你们喜欢你们的阳老师吗？你们喜欢你们的廖老师吗？阳老师和廖老师非常地辛苦对吗？我们都要好好学习好不好？得到的则是小孩子们一次更比一次大声的肯定回答。Alex用中文跟打了招呼，孩子们也都兴奋地叽叽喳喳，要跟见到的第一个老外交朋友。最后我们回到教室外的空地，George向校长和老师捐赠了我们带来的物品，大家还当场捐出七千多元，用于教学点的房租等校舍建设。
（廖老师带领小朋友学拼音） （Alex向小朋友问好）
（”夫妻小学”全貌） （教室窗外的学生家长）
（George代表我们捐款、捐物）
校长和老师承诺会将这笔钱的用途告知我们，而我们每个人离开的时候也在心中思考着这样一些问题：怎么样才可以更好地长期帮助这些老师和孩子呢，如果我们有更多的资源，怎么样才能有效地利用起来呢，目前由我们公司或者个人来直接负责运营是不现实的，是不是有合适的非营利组织可以合作呢？这些问题尚在思考、探讨之中。如果您有意愿、有资源帮助大山深处的老师和孩子，有扶持他们长期发展的推荐方案，我们期待倾听您的声音。
魏臻
作者简介
徐明强博士现任微软中国研发集团服务器与开发工具事业部高性能计算资深架构师，领导HPC产品中的并行编程模型和运行时系统的设计与架构。
徐明强博士拥有21年高性能计算领域专业经历，包括8年学术政府实验室的研究和13年的业界经验。
2004年徐明强博士加入当时成立不久的微软HPC团队，带领了一个跨国团队（雷德蒙和上海）完成Windows Compute Cluster 2003和Window HPC Server 2008地开发工作。
加盟微软之前，徐明强博士在1996年之2004年间担任Platform Computing公司（HPC中间件的领导者）的首席架构师，负责其旗舰产品LSF和Symphony产品的设计和技术战略规划。
1993年至1995年，徐明强博士专注于并行语言的编译和运行是系统的研究，并在阿冈国家实验室完成博士后研究。在此之前，徐明强博士先后在英国埃克塞特大学取得计算机博士学位，在曼切斯特大学担任研究助理员。
我预备写几篇我过去二十一年所见证的HPC发展史。
----------------------------
我从事HPC工作已有二十一年，见证了一个完整的并行系统棧被推倒和重建。 旧棧的机器造价高，只有国家实验室可以支付，性价比很差。后来HPC世界有一个大的变更，由微处理器来代替定制的向量机。 现在的各行业成为这个变革的受惠者，变革的结果，使得每一个科学家和工程师，可以付担得起原来只有获取优厚研究经费的国家实验室才能使用的高性能计算机。
这个变革经过二十多年，共三个时期：（1） 专有机时期 （2） 微处理器初期 （2）微处理器盛期。
专有机时期，活跃在市场上的超级计算机公司开发定制化的硬件、软件及开发工具。 微处理器初期，计算机主流公司用精简指令芯片代替了定制化芯片，自开发的定制化网络竞争。到微处理器盛期， 商品化的芯片、标准网络再次把成本降低。 回头看着二十年， 显见有一只看不见的手，要把高性能计算机从国家实验室里推到各个行业、企业。
在这变更中，我也曾多次更换主攻方向。或者说是从原来的棧上端一直“跌”到下面，如下图所示。
然后，我一级一级的帮助重建并行系统棧. 从这棧“跌”落的原因，是因底层的支持无法能够满足高层的需要，而从底层往高层去的原因，是为了能够使系统能够支持主流的应用和程序员编程的需要。
我记得C++ 的发明者Bjarne Stroustrup 曾说过：“如果某件事值得做，那么这件事值得做两次”。 他曾把这句话用在他撰写的C++ 一书上。 这也是我从事HPC的经历。 到现在为止，我已经重复做了两件事情 （1） 作业调度系统 （2） 面向服务的运行时系统。 将来或许还会再次回到应用层。
（待续）
(代George Yan发)
大家好，好久没有在这里写东西了，想想上次我在这里写blog还是一年多前呢。嘿嘿，好像我的belated new year’s resolution 应该是多写点东西和大家交流吧 :)
回顾2008年，这是对我们的团队来说非常有意义的一年。在产品上，我们发布了Windows HPC Server 2008，而且在十月的SC08上，运行Windows HPC Server的曙光5000A系统以180.6Tf的成绩获得Top500的第十名，引起了这个领域的关注和震惊。 这当然是微软在进入HPC这个领域后在Top500中取得的最好成绩，这个成绩背后的甜酸苦辣我们的丛兰兰同学已经在她的博文里很好的描述了。这次的成绩也引起了中国的媒体的关注，毕竟Windows hpc server 2008 的一部分是在中国开发的, 而且这个成绩不是在那些老牌的cray, ibm机器上产生的，而是在我们中国制造的曙光机器上！有兴趣的同学可以看看媒体对我们评价。
再说说我们的团队，2008年，我们的小团队很荣幸的迎接来了徐明强博士，徐博在这个年轻的团队中是我们的前辈，而且在hpc领域里是个家喻户晓的名字，他曾经是Platform computing 的CTO,加入微软后设计了我们产品中的scheduler 和SOA runtime的架构。很有意思的是媒体对海龟徐也很有兴趣，程序员杂志还专门和徐博做了独家采访(attach link). 最后提一句，徐博回到上海马上入乡随俗，已经成为马路杀手之一，大家看到辆灰色honda odyssey要特别小心，徐博可能就在用这他美国开车原理在上海横冲直撞！:)
附：部分媒体报道：
| 1 | 光明日报 | Guangming Daily | 高性能计算机： 工业化进程的助推器 |
| 2 | 人民日报 | People’s Daily | 中国诞生百万亿次超级计算机成为第二个拥有此能力的国家 |
| 3 | 中国经济导报 | China Economic Herald | 高性能计算机突破商业化困局 |
| 4 | 科技日报 | Science & Technology Daily | 强强合作 意在高远 |
| 5 | 中国电子报 | China Electronics News | 工业领域高性能计算需求旺盛呼唤普及共享 |
| 6 | 中国计算机报 | China InforWorld | 惊魂百万亿次-曙光5000A冲击Top500纪实 |
| 7 | 电脑报 | Popular Computer Weekly | 中国第一超级电脑炼成记 |
| 8 | 程序员 | Programmer | 见证高性能计算21年 |
| 9 | 网络世界 | China Network World | 创新：以开放合作的精神-从微软携手曙光圆百万亿次超级计算机梦想谈起 |
| 10 | 计算机世界 | China Computer World | 中国HPC百万亿次是这样炼成的 |
| 11 | 科学时报 | Science Times | 他们见证了历史 |
| 12 | 微电脑世界 | PC World | 微软联手曙光晋级全球超级计算机十强 |
![clip_image001[5]](http://blogs.technet.com/blogfiles/chinahpc/WindowsLiveWriter/b33a403cceed_12855/clip_image001%5B5%5D_thumb.jpg "clip_image001[5]")
服务器与开发工具事业部（中国）上个月举行了热闹的新年晚会。除了吃好喝好，欣赏到了同事们精彩搞笑的节目(George使出了耍酷的老本行，为我们组赚够了眼球)，我们还荣获了部门的年度最佳客户关怀奖（Best CARE of the Year 2008 )。 CARE 取自Customers Are Really Excited，该奖旨在肯定我们团队在过去一年中与客户和合作伙伴的积极合作和突出贡献。
回顾我们与客户的互动大史记，自2005年我们成功地与上海交通大学和上海超级计算中心建立合作伙伴关系，开展微软高性能计算学院项目，之后制作一系列的网络广播(webcast)，创建了这个中文博客，多次在TechEd等技术会议上发表演讲，积极推广高性能计算的普及。
2008年11月，一个运行Windows HPC Server 2008系统的超级计算机集群跻身世界最强500台计算机的第十名. 我们团队的George Yan，丛兰兰，朱仁琪，史秋芳与雷德蒙及微软中国技术中心的同事，与曙光公司一道，排除万难，才取得了最后的好成绩。时至今日，这个集群仍是世界上最大的Windows系统的集群，也是在美国之外跑得最快的一台超级计算机。
最后，送上一张我们团队的最新全家福，想加入我们这个其乐融融“挤挤一堂”的大家庭吗？点击网页上方的EMAIL吧。(以后到我家聚餐，得再多借一些椅子了:))
我们知道所有程序都会和各种资源打交道，硬件资源类型如硬盘，系统资源如句柄，因此如何做好资源相关的测试很重要。大家熟知的是测试资源的泄漏，但这里我想更多的从资源分配失败及恢复角度去谈资源分配测试。
对于资源通常有如下操作：
1．分配资源
我们熟知的一个典型例子就是 C语言中'malloc()' 系列函数。
2．释放资源
同样的一个例子就是C语言中'free()'系列函数。
3．资源计数
比较常见的例子就是性能计数器，比如文件句柄计数器，它能够提供“有多少文件句柄被打开”的信息
我们编写软件的时候，我们一般都会经常使用这些资源管理类函数来帮助我们，从而得以申请和释放多种类型的资源。当然我们也会编写一些自己的代码来申请和释放资源。一般情况下，这些代码会处于我们的软件架构的相对底层上。我们可能有一个系统，在这个系统里，我们分配资源，使用资源，还可能管理并监控资源，最后当处理完后释放掉这些资源。同时还存在着当代码运行时替我们分配资源的情况。
由于各种原因，资源的申请和分配并不总是能够成功的。其中一个原因可能是某种特殊的资源被消耗殆尽了。比如在磁盘空间不够时，我们申请使用更多磁盘资源的话就会失败；还比如内存总是是有限的；句柄空间总是那么多。总之软件有可能因为各种原因而出错，但一个主要的原因就是资源的消耗。
对于服务型软件而言，提供长期稳定的服务是重要的设计目标之一。从而，相对于客户端程序，它需要运行得更加可靠、健壮。为了确保软件的可靠性和健壮性，我们必须确保它在资源可用率发生异常变动的情况下，它还是可以正常运行。如果某一个程序消耗了所有的内存，那么我们可以假定它肯定会出错了；但如果由于系统内存的不足导致内存分配的偶尔失败，那么我们的软件应不应该完全崩溃？还是应该仅仅让当前操作出错并让软件其他部分能够继续正常运行？同样的问题也适用于其他类型的动态分配并被共享的资源，比如磁盘空间，内存，文件，网络连接等。
致错测试是一个重要的测试场景，可以帮助我们了解当资源使用达到极限的时候会发生什么。简单地说， 这种测试可以用以下伪代码描述：
Pallocatedthing[<use more than enough space here>]
counter n
While(Pallocatedthing[n++]=allocate(<whatever size you like>))
While(n)
free(Pallocatedthing[n--])
这种测试很简单，就是申请分配资源直到失败，然后释放掉所有分配的资源。这只是一种最简单的测试，如果你确保它可以工作了，那么还有几件事情等着你去做。
首先，将它放到一个循环里面，然后执行很多次。它是否依然可以正常工作？
其次，在它运行的时候观察整个系统，看被测试进程是否有内存，句柄或者其他资源的泄漏。这种场景下的一个典型的BUG就是资源分配函数发生错误时没有被正确处理。即使它不会立即导致崩溃，但仍可能会导致内存泄漏或者错误。这种事情我以前也遇到过。
如果要更深入此类测试场景，则需要理解资源的依赖关系，以及在软件依次消耗掉所有的这些资源情况下其是否正确处理了所有的资源错误。这方面的一个例子就是处理消息的软件。它将在等待处理的消息在磁盘上保存为一个队列。那么磁盘如果满了的话会发生什么？这种场景可能会比较难设置，它看起来类似于：
1. 限制硬盘空间
2. 将消息注入到队列中
3. 停止从队列中取消息
4. 磁盘满了，会发生什么？相应的工作行为是正确的吗？
5. 重新开始从队列中取消息。是否一切工作正常？
接下来的几个步骤类似于我们上面已经做的，那就是在更多的情况下去重复测试它，并观察结果：
尝试取出所有的消息，直到队列为空。
建立一个稳定的消息输入流，但时而暂停并再恢复取出消息，反复执行磁盘空间测试用例，看是否在这样的情况下仍然工作正常？ 如果出错的话，是否该出错被正确处理？是否有副作用，比如内存泄漏，句柄泄漏或者数据出错？是否队列的生产者和消费者都正确处理了错误用例？
在你的软件中还会有很多关于这个主题的情况等待你去挖掘，我不准备将所有可能的情况都列在这里。我想你能够自己考虑这些事情。
John Daly
高性能计算美国团队测试经理
翻译：周毅， 高性能计算(HPC)中国团队测试开发工程师
您想帮助我们一起改进Windows HPC Server 2008产品吗？请加入微软客户体验改善计划（Customer Experience Improvement Program）！只需要以下几步即可方便完成--
1) 打开Microsoft HPC Pack –> HPC Cluster Manager;
2) 在菜单中选择Help –> Customer Feedback Options;
3) 选择”Join the Customer Experience Improvement Program”，点击”OK”.
您的参与对于我们持续改进Windows HPC Server产品非常有价值！:)
金秋的北京，一年中难得的好天气，人们还沉浸在08年奥运会的喜悦中，而一项影响中国高性能计算发展的大事，也正在紧锣密鼓地进行 – 近两千台新研制开发的曙光5000A机器已从天津工厂运抵北京！这么多的机器太沉，一楼的地面无法承重，找不到合适的数据中心，造价两亿元的这两千台高性能计算服务器暂时落户在中科院计算所的地下车库里。
中国人的力量和速度再一次让世人惊叹：地下车库的改建，制冷水管的铺设，整个临时数据中心的建成一共只用了十天时间，夜以继日的努力只为了一个共同的目标 – 那就是11月中旬即将在美国奥斯汀举办的第21届超级计算机大会。世界权威的Top 500超级计算机排名将在这次大会上正式公布，跻身前列是每一个中国高性能计算工作者的梦想！
作为微软高性能计算中国开发团队的一员，我也有幸加入到这次影响中国高性能计算历史的努力中！曙光，是中国高性能计算的代表企业，与微软公司的结缘始于2007年底。一向依托于UNIX/LINUX高性能操作系统环境的曙光公司，对刚刚踏入高性能计算领域并于2006年发布第一版高性能计算产品Windows Compute Cluster Server 2003的微软公司，产生了浓厚的兴趣。这一过程是艰难的，压力与希望同在，挑战与机遇并存。
9月15日刚刚成功发布微软高性能计算的第二个版本Windows HPC Server 2008，我们来不及任何的休整，一行四人立刻踏上了北京的征程。清楚地记得第一次踏进中科院的地下车库，憋闷的环境，数千台机器共响的轰鸣声立刻让我觉得透不过气来。简易的工作台，没有任何的噪音隔离和防护措施，这就是我们接下来一个多月里需要战斗的地方。来不及多想，放下简单的行囊，立刻加入到这1920个节点部署Windows HPC Server 2008系统的工作中。这是第一次Windows HPC Server 2008产品在这么大规模的计算集群上部署和应用，我们的心情真是既兴奋又紧张。旁边来自曙光，AMD等各家高性能计算领域的同行们也都看着我们，想看一看初出茅庐的Windows HPC Server 2008到底表现如何。在基于Windows部署服务（Windows Deployment Service）的裸机部署模式的强大支持下，部署工作进行得异常顺利。部署完成后Windows HPC Server 2008简单易用的管理操作平台显示出了对近2000个计算节点的强大的管理能力，深得同行的赞誉，我们也终于舒了口气。
然而接下来的工作远没有期待中的这般顺利。一个刚刚搭建的数据中心，全新的硬件，全新的软件，对于一个至少需要连续运算7-8个小时才能取得较理想计算结果的基准测试来说，任何一个环节的细微差错，例如网络连接的松动，电源过热，15360条内存中任何一条内存的故障都会导致整个测试运行的失败。我们甚至发现，在如此大规模尚未经过时间考验的计算集群上，取得一个有效的测试结果都是相当的困难。当有节点发生故障时，我们需要和曙光的硬件工程师，来自Mellanox/Voltaire的网络工程师一起，登录到故障节点，查找可能的软件、硬件或者网络的问题，并对问题进行记录和总结。曙光也设立了简单的工作台，进行现场的故障硬件修复。如果用四个字来形容当时的工作状况，那真是“没日没夜”。从数据中心的搭建到最终Top 500的提交期限，一共只有不到一个半月的时间，每个人都不愿浪费一点点可以进行故障排查或者运行测试的时间，所以常常忘了外面是白天还是黑夜。经常拖着疲惫的身体走出计算所的大门，才意识到，早起的人们已经开始了晨跑，原来熬夜也是这么容易习惯的。更多的时候，我们也只是在车库角落里搭建的临时床，甚至机柜旁伴随着近2000台计算节点的轰鸣声席地而睡。
我们感激曙光公司在如此大规模的计算集群上率先采用刚刚发布的Windows HPC Server 2008产品的信任，但作为Windows HPC Server 2008在如此大规模的计算集群上的首次尝试，大家也曾犹豫和怀疑过。继9月29日取得116.3TFlops的运算结果之后，我们在将近10天的时间里一直无法取得任何的突破，眼看着提交结果的期限一天一天接近，怀疑的声音也开始出现。Windows HPC Server 2008真的是如此大规模计算集群的正确选择吗？在这样的质疑声中，顶住压力，永不放弃是我们的唯一选择。记得当时美国总部团队的老板们正在上海访问，和上海的团队讨论下一个版本的计划，但是在Top 500项目的巨大压力下，上海开发团队的主管严治庆于当晚就飞回了北京，还记得他那个时候诙谐地说：“不是天不助我，而是时机未到”。越是这样紧张的时候，越是要镇定，我们总结了前段时间屡屡失败的教训，为每次基准测试程序的运行制定了详细的准备步骤：包括各个节点的排查，网络状况的检查，小规模测试等等。虽然每次这些准备工作都需要花费2个小时左右的时间，但我们发现这对确保测试运行的成功率发挥了至关重要的作用。在10月9号的早晨，顶着巨大的压力，我们终于突破了140T的大关，我们终于证明了自己，证明了Windows HPC Server 2008对于大规模集群计算的能力，我想这是我们在Top 500道路上最艰难也是最重要的一个结果，连曙光的同行都表示没想到你们真的能跑出这个结果！
在整个Top 500的项目中，和我们一起并肩作战在中科院计算所地下车库里的还有一位法国朋友，他就是来自微软法国团队的Xavier Pillons。Xavier有着丰富的Top 500基准测试的经验，但是他表示像这次如此大规模的集群以及如此艰难的测试他还是第一次遇到。虽然作为他的第一次中国之行，Xavier在29天的时间里只得空休息了2天，但是他对此次的中国之行非常兴奋，记得在10月13号167.4TFlops之后的庆功宴上，Xavier自豪地说：“我们创造了中国高性能计算的历史，我很高兴成为其中的一员”！
在临近提交结果期限的两天，经过一次次地改进和测试，我们又取得了新的突破，180.6TFlops的结果，78%的效率对于Windows HPC Server的历史，对于中国高性能计算的历史都是划时代的，也为我们一个多月的辛勤工作，无数的不眠之夜交上了一份满意的答卷！在11月中旬召开的世界超级计算机大会上，我们非常荣幸地跻身全球超级计算机前十的行列，并成为在美国之外唯一一个进入前十的超级计算机集群！当怀抱奖状的时候，成绩的取得已经成为了过去，我们会怀抱更大的热情和理想做好Windows HPC Server的下一个版本，也祝愿中国高性能计算行业的发展越来越红火！
今年10月在北京举行第13届国际计算机棋类奥林匹克大赛上，经过激烈的角逐，程序Many Faces of Go以全胜战绩囊括了围棋项目19×19和9×9两个棋盘规模级别的冠军！而为这一世界冠军围棋程序提供超强马力的，正是运行在四台八核计算机上的Windows HPC Server 2008系统。这配备了高性能武器的32个核，果然不负众望，打败了拥有更多核的法国劲敌MoGo。
(本图片来自http://www.grappa.univ-lille3.fr/icga/tournament.php?id=181 屏幕截图)
故事是怎么开始的呢?话说我们组美国的两位工程师在公司走廊里侃大山，聊到国际象棋问题现在已经差不多解决了，一台笔记本电脑都可以“欺负”世界冠军卡斯帕罗夫了。但是围棋却要复杂得多(棋盘更大，可行的着法更多，局势判断更复杂)，要很强的计算能力才能勉强跟一个业余选手抗衡。要是能用我们的产品帮助开发人员写游戏程序去冲击计算机围棋届的奥林匹克大赛，想必相当好玩。光说不练假把式，我们的工程师随即联系了Many Faces of Go程序的作者David Fotland，稍加讨论，双方一拍即合。经过移植、调试和优化，一个基于MSMPI的集群版Many Faces of Go诞生了，一个新的计算机围棋程序世界冠军诞生了。
更精彩的是，我们为这个围棋程序开发了Surface版本！（什么？你还不知道Surface?赶快看看这张神奇的桌子吧，无数人，包括我，都梦想把它摆在自己家的客厅呢，虽然可能会超出装潢预算）在刚刚过去的微软专业开发者大会PDC和超级计算大会SC08上，这一Surface围棋程序演示都吸引了好多好多的眼球，好多好多的WoW，不信？看看这段超酷的视频http://www.youtube.com/watch?v=Qe0o-IvHOa0 吧。
下图为超级计算大会SC08的微软展台，我们组的一位法国工程师正在做一件我们都很喜欢做的事情——跟四台机器下围棋。每落一子，就看看我们自己开发的Heat Map（即Windows HPC Server 2008中的热图功能，参见下图Surface上的显示器）显示这些机器的CPU都biu的一下上去了，集群吭哧吭哧地开始算起来，后台程序还能告诉我们它尝试思考了下一步走哪些地方，几秒之后它选出觉得胜率最大的一招后再得意地落下棋子，CPU就又biu地一下凉快下来。联想到我见过的随温度变化而变色的茶杯，如果用茶杯来反映CPU的忙碌情况，当两台计算机纹枰论道，只见两个茶杯涨红了脸冥思苦想，应该相当有趣:)
为了更好地整合资源，我们最近把Blog从http://www.windowshpc.net/Blogs/China 搬到了这里，非常遗憾以前的评论不能也搬过来。希望大家喜欢我们的新窝。
技术盛会TechEd 2008即将在中国拉开帷幕, 届时将发布几个重量级最新技术--虚拟化解决方案, SQL Server 2008, Microsoft Visual Studio 2008和Windows HPC Server 2008! 很高兴我们的研发团队有机会与国内的IT同仁面对面, “进享未来、连享未来、创享未来”(本届TechEd主题). 请参阅以下HPC的课程日程和介绍，并期待与您相会在广州，相会在上海，相会在北京！
广州:10月31日10:30 - 11:45 Windows HPC Server 2008核心精要 (课程编号HPC200, 讲师魏臻)
上海:11月5日16:00 - 17:15 Windows HPC Server 2008核心精要 (课程编号HPC200, 讲师周一丁)
上海:11月5日17:30 - 18:45 Windows HPC Server 2008面向服务的并行计算 (课程编号HPC201, 讲师周一丁)
北京:11月7日09:00 - 10:15 Windows HPC Server 2008核心精要 (课程编号HPC200, 讲师徐明强)
北京:11月7日13:00 - 14:15 Windows HPC Server 2008面向服务的并行计算 (课程编号HPC201, 讲师周一丁)
北京:11月7日16:00 - 17:15 动手实验室Windows HPC Server 2008 (课程编号HOL275, 讲师George Yan)
北京:11月8日14:30 - 15:45 动手实验室Windows HPC Server 2008 (课程编号HOL184, 讲师George Yan)
北京:11月8日14:45 - 16:00 Windows HPC Server 2008环境的部署，配置，和管理 (课程编号HPC202, 讲师苏骏)
北京:11月8日16:15 - 17:30 百万亿次的超级计算机诞生记 (课程编号HPC310, 讲师李铭)
Windows HPC Server 2008核心精要：Windows HPC Server 2008正将高性能计算(HPC)带向主流. 不管您是一位科学家,还是大公司的IT部门经理,都会感叹搭建和管理计算机集群系统变得前所未有的容易,集群管理员的工作效率将得到极大的提高. 新的作业调度器可伸缩性优越,支持基于WCF的面向服务的架构(SOA)和MS-MPI并行程序. 众多独立软件提供商的软件都能运行其上从而快速高效地满足用户的商用需求.
Windows HPC Server 2008面向服务的并行计算：Windows HPC Server 2008面向服务计算平台将高性能计算和WCF架构紧密结合，将面向服务的架构带入并行计算领域，提供了一种跨平台和语言提供计算资源的方法。基于Visual Studio 2008的端到端用户开发体验和Windows HPC Server 2008紧密结合，提供了方便易用的开发，调试，部署的环境。
Windows HPC Server 2008环境的部署，配置，和管理：管理大型计算集群是项困难的工作。快速部署集群、管理各种不同配置的机器、快速监视整个集群的状态、发现并定位系统的问题，跟踪系统变化。Windows HPC Server 2008 的管理系统整合了以上功能。在这个讲座中我们会一起了解微软在集群管理方面的解决方案。
百万亿次的超级计算机诞生记：曙光5000A是突破每秒百万亿次浮点运算的超级计算机，它有1920台4路4核的刀片组成，每个节点64GB的内存。通过这个课程你可以了解微软如何和曙光及其他合作伙伴一起，通过不同的测试办法在很短的时间内通过了Linpack 性能基准测试并得到了很好的结果。
9月22日，Windows HPC Server 2008在华尔街HPC大会上震撼发布了! 微软副总裁Bill Laing在会上发表主题讲话，向大家说明微软正努力致力于把高性能计算平民化主流化，在众多合作伙伴的支持下也有实力完成这个目标。这一点，从我们的一些中国用户，比如上海超算中心、上海交通大学、南京地震局的产品试用感想中可以得到充分的证明。
我非常荣幸成为这个卓越产品组的一员，上海团队出色地开发完成了承担的功能: 图形化管理界面， powershell脚本命令， 报表和一种新的面向服务架构的编程模型。我还有幸参加了刚在新加坡举行的亚太区发布仪式，如照片所示，我在那里向很多感兴趣的听众介绍了Windows HPC Server 2008。
我们不会止步于此，关于微软高性能计算第三版的产品，我们会结合开发前两个版本的经验，开始在并行程序运行时和集群管理方面施展拳脚。同时，我们将和开发工具部门同事们紧密合作，为HPC平台提供在桌面机上同样简单高效的开发体验。
愿意加入我们吗？只需要发封简历到hpcjobs@microsoft.com。下次，大家就会在这里看到一位从美国团队转来我们队伍的HPC行业领军人物，带领我们开发并行程序运行时的功能！承担这一功能是我们团队向前迈进的坚实一步，也充分证明了我们过去几年脚踏实地的成绩。我都等不及要把这位兄弟介绍给大家了！
赶紧系好安全带吧，Windows HPC最精华的部分就要闪亮登场了！
On Sept 22nd, we announced the Windows HPC Server 2008 released to market at the HPC on Wall Street conference. Our VP Bill Laing’s well received keynote at the conference has convinced the audience that Microsoft is serious in taking HPC mainstream and is certainly able to do so thanks to the strong partner ecosystem and Microsoft portfolio of products. And customer testimonials from the China customers such as SSC, SJTU, Nanjing Earthquake Bureau summed it up the best.
I was fortunate to be a part of this nimble, overachieving team. We accomplished what we set out to do, taking on a broad ownership in the areas of Admin UI, SOA programming model, Reporting and Powershell, and delivered with exceptional quality. I was fortunate to participate in the APAC launch in Singapore, there were a good turnout of crowd and many were blown away to see Microsoft Here is a picture of me giving a talk on our Windows HPC Server 2008.
And we are not stopping here, going forward in v3, we will consolidate our experience in building our v1 and v2 product, and start building a focused expertise around Parallel Runtime and Admin Experience. Also we will work closely with our DevDiv friends to provide a seamless developer experience on HPC platform.
As always, if you are interested in joining this highly technical, overachieving team, send a mail to hpcjobs@microsoft.com. Next time, you will hear from a HPC industry icon whom decided to join the Shanghai HPC team to build the Parallel Runtime features here. This is a giant step for the team, and also validated the huge progress we have made in the past few years. I can’t wait to introduce him to all the readers!
Strap on your seatbelt, The best of Windows HPC is yet to come!
翻译自：http://blogs.technet.com/windowsserver/archive/2008/09/15/microsoft-and-cray-team-up-to-bring-high-performance-computing-mainstream.aspx
微软和Cray两家公司在历史上首次联手,提供各自最好的技术生产出了Cray CX1! CX1是个什么东东呢?它是一个运行Windows HPC Server 2008的超级计算机,大小和普通PC相当。这是Cray公司迄今为止提供的最实惠的超级计算机:两万五千美金，微软、Cray和其他一些公司9月15日早上八点宣布开始供货。
CX1的高性能和高生产力能满足用户、IT专家和开发者的需求，其环境高度集成，为用户所熟悉，大小和价格也非常适合部门和工作组。CX1集计算、存储和虚拟化技术为一体，瞄准的用户就是实验室、办公室等非传统部门。空间绝不会成为一个问题，因为你甚至可以把小小的它随随便便放在杂物室里。
怎么买呢？就像在Amazon上购物一样简单。用户可以在线订购CX1，并用信用卡付账。看吧,毋庸置疑,高性能计算正在主流化，个人化!
大家好，我是丛兰兰，上海HPC Team的新PM。其实说新也不新，入职HPC Team已快三月有余，潜水至今是因为这个team，这个领域和这个项目有着太多吸引我而我又要努力去学习的东西，现在该上来呼口气和大家问声好了J
入职HPC Team之前，我效力于微软北京的Windows Live团队。这两个team给了我全然不同的体验和感受。Windows Live团队专注于在线服务，它强调对在线用户市场需求的快速响应，以及如何通过提供创新高效易用的服务吸引和维系最大量的在线用户群。而HPC Team作为Windows Server团队的一部分，它更加关注于对服务器底层技术的深入挖掘和优化，关注于高效、易用和高质量的服务器产品的开发。因为产品定位，市场和目标的区别，Live的项目和产品相对轻量，开发周期较短（3-6个月左右），增量的patching快速而有效。而Windows Server以及HPC项目开发周期较长（2年左右），对每个开发周期的定位，实现的功能和产品质量的把握也更加严格。试想一下，一个三个月没有做好的项目也许还可以用下面三个月来弥补，而一个投入两年多而失败的产品周期对整个产品的市场竞争力以及对公司的影响将是相当巨大的。这也是作为HPC Team的项目经理对我来说更加富于挑战性的一点，同时一个公司内部所能提供的这种截然不同的体验也使得微软成为一个非常富于人才竞争力的公司。
加入HPC Team以来，以下几个方面让我印象尤为深刻：
1） 对项目计划的重视，planning阶段的深入，细致和完备。随着Windows HPC Server 2008的开发周期接近尾声，HPC团队开始全力以赴投入下一个产品周期的计划阶段。一切从客户需求出发，通过与客户现场和电话的紧密交流，倾听客户的心声。把这些从客户需求收集来的零散的信息整理成完善的端到端的用户场景(end-to-end user scenario)。将这些用户场景分类，通过与产品的战略规划(business strategy)相结合，对场景进行优先级排序。同时对用户场景进行深入细化，根据产品项目周期和人员情况的安排，根据场景的优先级选择哪些场景是需要在下个产品周期中实现，哪些是可以在以后的产品周期中得到满足的。然后将这些用户场景转换成具体的产品功能和性能需求，PM的Specing工作也就由此开始。这样的Planning的阶段会持续三个月左右，如此细致的planning才能保证我们的产品可以最贴切地满足客户的需求。
2） 团队成员对技术的崇拜和热衷。有人说，微软是把一群最优秀的人才聚拢到了一起，每天和最优秀的人才一起工作也是这个公司最具有吸引力的地方。尤其对于HPC这样着重于Server技术的团队，我发现团队的每个成员都有一种对技术由衷地崇拜和热衷，总是非常积极地去了解最前沿的技术和产品，非常主动地将这些最新的idea应用到HPC产品中去，以最大地优化和改善我们的产品。这种对技术和产品的由衷的热情也成了产品不断向前进步的一股很大的推动力。你会发现，开发和测试人员不是在等待项目经理定义好项目需求之后去实现，而是非常主动地去挖掘可以优化产品的技术，将技术与客户需求相结合，通过实验原型加以验证，以推动将这些技术和想法最终应用到产品中去。这也同时促进了开发，测试，项目经理三者相互推进，有效互动的一种高效合作模式。
3） 上海团队和Redmond总部团队的紧密合作。Global development一直是我认为在中国的团队成员，以及在中国做PM的最大魅力之所在，而这一点在HPC这样的Windows Server团队显得尤为突出。因为与Windows Live团队项目较为轻量，中国的开发团队通常可以拥有较为独立的项目不同，HPC上海这样的团队开发出的产品作为最终Windows HPC Server产品的一部分，需要与美国团队更加紧密的合作。以Windows HPC Server 2008产品的开发为例，上海HPC Team负责的Admin Console用户交互部分以及PowerShell命令行部分的开发，需要与底层的各个模块的实现上的交互，而其中大部分模块的开发团队则在美国。令人欣喜的是中国团队和美国团队都非常积极主动地促进这种交流与合作，全球开发模式的成功也成为衡量一个项目，一个产品成功的很重要的方面。
随着HPC Server 2008产品的开发接近尾声，下一个版本的序幕才刚刚拉开。我们怀着无比憧憬和期待的心情，期望着上海的团队与美国总部的开发团队一起，开发出更加高效、易用、满足客户需求的高性能服务器产品，最大地实现客户价值！我们也期望着中国团队在微软服务器产品的开发中扮演着越来越重要的作用，期望着更多更优秀的人才加入我们！
丛兰兰
HPC团队项目经理
大家好，我叫刘超，是服务器与开发工具事业部(中国)HPC团队的软件开发工程师(SDE）实习生。在微软实习了将近6个月了，在这段时间里对于实习、对于我们组的工作生活都有不少感悟和体会，所以很想借这次写blog的机会做一下记录，如果能对别人有所价值，那就是最大的开心了。
在微软的实习经历对于我来说，是一份永远的记忆。在实习中开发的VS Add-in for Deployment，是我在公司中第一次独立开发的项目，而这个项目能够最终发布，得到了很多同事的帮助，老板们也给予了我充分的信任，让我很感激。这个项目虽然不大，但是其中也有着不少波折：刚开始接手这个项目时，我做了很多调研提出了不少实现方法，但是进度很慢，是因为对自己没有足够的信心，总希望得到同事们的支持才开始动手。后来老板看出了这一点，告诉我“纸上得来终觉浅，绝知此事要躬行”，也指出经过了一段时间的调研，其实我所了解的并不比别人少了。我一听，觉得可不是嘛，自信心立刻就有了，然后进度就赶上来啦。在这一次开发中我也深刻体会到了原型产品和正式产品的区别：自己觉得很稳定的产品，到了测试阶段却能够发现很多意想不到的bug；在修bug的过程中，不仅自己trouble shooting的能力得到了提高，与项目经理(PM)、测试开发工程师(SDET)沟通的能力也得到了很多锻炼。现在回想起整个项目的开发，还是感觉很幸运，从这次珍贵的项目经验中学到了很多。
下面我来一步一步介绍怎样使用这一个VS Add-in for Deployment来把开发好的WCF Service部署到HPC Cluster上去。首先，用户需要安装Windows HPC 2008 SDK，其中包含了这个工具。安装好之后，用户就可以在在Visual Studio的Tools -> Add-in Manager菜单中选择使用这个工具。然后用户需要建立一个Setup Project, 并且将需要部署的WCF Service添加到Setup Project的Project Output中（图1）。
图1
然后，用户可以在Visual Studio中的Solution Explorer中用右键打开这个Add-in工具（图2）。在Deploy Tool的界面里，用户可以选择要部署的WCF Service 包，要部署到的cluster，以及在cluster上具体部署的nodes或者group（图3）。用户还可以通过打开“Service Details”对话框（图4）来自定义在cluster注册的信息，这些信息往往对于正常调用WCF Service是很重要的。
图2
图3
在开始部署后，用户可以看到各个节点的部署状态（图5），也可以通过进度条看到整个部署任务的进度。同时用户还可以点击部署状态上的链接看到部署任务在各个节点上执行的日志文件。
图4
图5
在部署成功之后，客户就可以通过HPC Cluster自带的SOA功能对这些WCF Service进行调用啦。对于VS Add-in for Deployment的介绍就先介绍到这里了，希望这个工具能够给更多人带来便利。
对于我们实习生本身，为了更好地把握实习机会，也有很多需要了解和准备的东西。下面是在这几个月的实习中我的一些体会，希望能对师弟师妹们有所帮助。：）
1. 一次实习最重要的是要抱着学习的心态进入公司，如果能有求知若渴的态度，那么这次实习的价值才能够被最大化。曾经听过一个经理对职场新人的建议是“榨干职位上一切你能学到的东西！”在大多情况下，一个职位一个人一生只会经历一次，比如现在的软件开发工程师，如果转做IT咨询或者项目经理，可能一辈子都不会再回到开发工程师的职位。对实习生而言，接触不同公司不同职位的机会还是很多的，所以如果能够在不同的职位上把能学到的东西尽量学好，往往会有很多受益良久的收获。曾经听人说过，如果是抱着拿工资的心态在工作，那至多只是工资慢慢地增长；如果是抱着学习的心态在工作，就一定有成为公司CEO的希望。
2. 要积极，才能有更好的机会。刚进入公司的时候老板会安排一些项目，而在组里待久了，往往会了解到其他同事的一些想法或者原型，如果感兴趣的话就应该积极地争取参与进去。被动地等待任务往往会让自己慢上半拍，毕竟老板们不是神仙而且很忙，无法完全了解实习生的兴趣、工作状态和工作强度，所以毛遂自荐往往是更受欢迎的。
3. 要有坚持的心态和责任感。在日常工作中，刚刚走上岗位的实习生一定会遇到各种各样的困难，这时一定要有坚持的心态和不畏困难的信念。很多人对一件事情开始时表现出很大的热情，却只有三分钟的热度，这对于与他合作的同事来说是灾难性的。如果承诺了一件事或者接了一个任务，就一定要坚持完成，信誉的建立比毁坏要难得多。实习生与正式员工相比，往往约束要少很多，学校课业的负担有时也成为逃避责任的一种借口。可是“人而无信，不知其可”，责任感是任何职业都不可或缺的，该修的bug一定要修，该完成的任务一定要完成，在战胜困难的同时，自己的自信也得到了非常大的提升，所以这不仅是对于公司的贡献，也是对于自己的贡献。
4. 不管是什么样的工作，一定有它的意义；退一万步，即使是最单调乏味的工作，也能提高做事的效率和锻炼时间管理的能力；同样的一件重复劳动，有的人能够二十分钟做完有的人却需要一个小时。在微软，实习生被安排到的工作往往是开创性的新产品的开发，所以大多是非常有趣的；可是即使这样，也要知道对于不怎么感兴趣的工作保持热情也是非常重要的。
5. 要有更好的系统性组织性。我以前做事风风火火的，有什么事情想到就做。看到别人给我发的bug，一旦想到解决的方法就开始修了。后来经过老板、mentor与我的沟通，了解到需要更多地为别人考虑，即使是修bug也要经过一定的流程、更加系统化才行，否则频繁的修改很可能引起别人的麻烦，而这些往往是在学校里进行手工作坊式的项目开发很少遇到的。
6. 要多交流，这一点我很汗颜。我的一个很大的缺点是在交流方面没有足够的热情，而这可能是职场的大忌。酒香也怕巷子深，花了几年酿出的酒如果不能运出巷子卖掉还是一点价值都没有。所以情商方面的培养也是实习中非常重要的环节。一个很直接的方法就是多于老板交流，老板之所以成为老板，肯定有成为老板的原因。在与老板的相处过程中，个人的阅历、眼界和处事风格等等都会有很多提升。
这篇文章到这里就要结束啦，在实习的过程中每个人肯定都会有自己不同的体会。希望各一位实习生不管在什么公司什么职位都能够得到更大的收获，在工作岗位上不断进取，走得更高更远。：）
刘超
高性能计算团队 实习生
