HPC中国研发团队 : 业界动态

高性能计算系统栈的推倒和重建（四）微处理机初期

mingqxu — Mon, 07 Sep 2009 07:01:00 GMT

逃匿MPI进程

1993年我加入阿冈国家实验室数学和计算机科学部做Ian Foster 的博士后。

Ian 告诉我，现在科研经费的要求和实际实用应用相结合。为此，我们不能再搞什么logic / functional 语言了。必须和Fortran/C有关。此时他发明了一个新的语言Fortran-M (M- 代表message passing)。这个语言实在太像Occam了。Occam 里有Channel， Fortran-M 叫port. Occam的Channel 是强类型的，Fortran-M Port 也是强类型的。Occam 里有Process，Fortran也有，并且，Process可以动态产生！

Source:

我为这个语言写了编译器。Steve Tuecke (后来的globus 架构师)和Bob Olsen写了运行时系统。我倒是非常享受这个项目。那时的我，就是喜欢往系统栈的底层钻。当时的我，觉得世界上没有任何其他的研究比创建并行语言的编译和运行时系统更有吸引力。我当时觉得，并行计算的栈MPI 已经差不多完善了。而并行语言和运行时系统将是把并行计算推向主流的关键技术。

不过，一件事情改变了我的看法。

一次，我正在做MPI 和Fortran-M 的性能比较实验。结果Rusty Lusk来到我的办公室。满脸不悦。他说我在他的机器上运行了一个MPI 程序，使他的机器非常慢。问我是否可以杀掉它。我觉得很奇怪，我是用了他的机器跑了mpirun. 不过我已经Ctrl-C停掉了我的mpirun。怎么还会在他的机器上跑呢？后来才知道，他写的MPIRUN是使用rsh 在远程机器上启动MPI 进程。Rsh可以将远程进程的stdout, stderr 转到客户端，使用户有个透明的感觉。但是，当用户键入Ctrl-C 的时候，只是把mpirun 进程杀掉，而远程的进程就逃匿了。不光没有被杀掉，而且在背景里跑得非常欢。结论是，Rusty是“自食其果”。

我搜索了网络，发现这种逃匿MPI进程（Runaway MPI Processes）是许多超级计算机中心中造成极大的破坏。用户总是抱怨，怎么超级计算机越用越慢！其实都是因为每次mpirun 非正常中断后，在远程节点就会有逃匿进程出现。管理员最头痛地就是要时不时地登陆到几十个甚至上百个节点上去清除这些逃匿进程。

后来当我加入Platform Computing时候，周松年问我能为MPI做什么？我就说我要解决逃匿进程问题。在１９９６年我花了半年写了一个Parallel Application Support Software. 能够完全解决逃匿进程，并且还能精确地采集计算资源使用数据。后来成为公司LSF Parallel产品。

今天您使用HPC服务器的MSMPI，您也不会发现逃匿进程。这就是投入生产使用的运行时系统和学术界软件的区别。这点，我们必须归功于那次Rusty Lusk和我的小小的不愉快。这点小不愉快，让我开始关注到许多用户因受MPICH的启动方式而导致的逃匿进程之苦。

高性能计算系统栈的推倒和重建（二）专有机时期B

mingqxu — Mon, 07 Sep 2009 05:38:00 GMT

Speed beats beauty

并行机在专有机时代分两大阵营，共享内存和分布式内存结构。

共享内存所提供的编程界面是非常优雅的。分布式内存机器的编程界面是基于消息传输库，不够优雅。串行程序的并行化相对容易的多，因为任何一个线程都可以访问到所有的数据，因此不需要对原来串行程序在结构上作大的改动。而为分布式内存机器写程序却不同，首先应用域的数据就要分块，每个进程不光需要本地数据，还要边界数据。在本地计算完后，还要和邻进程交换数据。程序结构上要做大改动。

共享内存最大的缺陷是物理上的。是因为其扩展性差。当时80年代的处理机是很慢的了，可是到了32个就出现瓶颈。这无法能够满足美国能源部许多宏大挑战性问题（Grand Challenge Problems）。所以当时分布式内存的拥护者流行的一句话就是：“Speed beats beauty”。

一个很自然生发的美好愿望就来了：能不能使用物理分布式内存，在其上建立共享内存的界面。这样我们不是就取两者精华去两者之糟粕吗？分布式共享内存（Distributed Shared Memory – DSM）这样的机器就成为了专有机时代最后一个大创举。

这个基因杂交出来的机器却有致命性的DNA缺陷。我一九九一年加入了曼彻斯特大学新奇计算中心 (CNC) （Centre for Novel Computing）在John Gurd教授下作研究员。John Gurd 是数据流机器的知名学者。

我加入后不久，CNC就拿到一笔科研补助金（research grant) ，Gurd 教授在诸多的专有机厂商中挑选了一个Kendal了 Square Research (KSR)。其用意在于这个中心的名字里有个“新奇”。九十年代初的英国，爱丁堡和不利索托（Bristol）的中心里有不少大型专有机。绝大部分都是分布式内存。所以，Gurd教授觉得再买一个属于重复。正好KSR 是一个分布式共享内存的机器。这也就给了我一个和这个杂交机器零距离接触的机会。在这个机器上可以用标准的Pthread库，可以用锁来同步对于共享内存的访问。操作系统自动将不同线程分布到不同的节点上。而节点之间的操作系统实现了定制的多机内存的一致性协议。这样编程的确简单了。机器及软件环境的细节大家可以参考维基百科：http://en.wikipedia.org/wiki/Kendall_Square_Research。恕不赘复。

我当时对于这种新奇机器是充满热忱。在短短半年内，我移植了许多并行逻辑和功能性语言（Parallel Logic and Functional language） e.g. Strand, PCN 等。我之所以能够很快地移植这些语言，是因为共享内存不需要对程序结构有大的改动。

那么KSR致命DNA弱点在哪里呢？就是性能和扩展性差。为什么物理分布内存还会有性能和扩展性问题呢？

首先，它是在硬件和操作系统实现内存缓存一致性协议。为此它的RISC 芯片是专有定制的。这就意味着它无法和业界的豪门IBM, Sun, SGI, HP等RISC 芯片的性能匹敌。第二，也就是最关键的, 这点还是后来我加入Platform Computing后和公司的ＣＥＯ周松年聊起后受的启发。周松年说：“DSM 在性能上无法和消息传输库并行化的比拟的原因是，DSM的管理单元是进程的地址空间的页(page)，它无法反映应用对数据的访问情况（access pattern）。而消息传输库使程序员能够充分利用应用对数据访问的知识来优化并行算法数据访问的局部性（locality）“。他的透视使我顿悟。缺乏对于应用访问数据的知识，就无法优化对于数据的访问的局部性。分布式内存的机器造成了多层内存（本地和远程内存）状况，影响应用性能最大的因素，就是是否能够极大限度地访问本地内存。

自KSR 破产后，我再没有看见过一个DSM的机器。

（待续）

高性能计算系统栈的推倒和重建（三）微处理机初期

mingqxu — Thu, 03 Sep 2009 10:13:00 GMT

望洋兴叹

在专有机时代作并行计算的研究，你得会投“胎”。当时，全球科研的浪尖是在美国，能在Communications of ACM上发表论文的，都是美国大学的。用的HyperCube， Cray，Connection Machine 2 等大型机。而在英国，只有国产Transputer。更可悲的是，我所在的埃德塞特大学（Exeter University）, 我们当时只有四个transputer 节点。当时在英国，可以说是望着大西洋对岸的美国兴叹啊！我看美国人的论文的心情，就好比是一个穷人家的孩子偏偏喜欢上摄影，然后看着有钱人家的少爷拿着长焦、广角镜头，口水只能往里咽。

1993年，我到了美国阿冈（Argonne）国家实验室后，我就好像是小孩进了糖果店，因为那里有不少专有机（CM2, Paragon, Sequent等）。我问秘书预订了每个专有机的用户手册。每个手册都有电话簿那么厚，当秘书象我小时搬蜂窝煤一样把几英尺厚的手册搬进我的办公室后，她累得大抒一口气。现在看来，真是浪费了，这些手册我都没有用过。不是我没有用功，而是专有机被第一批微处理机颠覆了！

消息传送库pvm, P4和 MPI

在80年代时候，多种消息传输环境被开发出来。有些是为专有机开发的Ncube. 而另外不少是为Unix工作站开发的。比较有名的是Oak Ridge 实验室的PVM (Parallel Virtual Machines) 和阿冈(Argonne) P4 和PICL, Ohio 超级计算机中心的LAM。

当我看到PVM 的时候，我也就不望洋兴叹了。因为用工作站组装成一个超级计算机，不用花大钱去买专有机。而且写程序也是用常见的Ｃ或Ｆｏｒｔｒａｎ语言。不需要专有的语言。一下子，高性能计算的世界在我眼前变平了。

到了1992年末，听说又要搞个什么ＭＰＩ。我和一帮英国同事都在笑，怎么又来一个消息传输库。后来才知道，我们笑得过快。原来，ＭＰＩ是要吸百家之长、制定工业标准、省得大家重新发明轮子、浪费体力精力脑力人力。 Argonne和Oak Ridge 都是美国能源部的实验室。两个实验室，为了一个消息传输库争夺用户，结果使得能源部的应用开发成本提高两倍，这是实在说不过去。１９９４年这个标准终于出来了，不到两年的时间出来了这个标准，在ＨＰＣ领域是相当快的。而且有许多学术界的人士参加的标准Ｆｏｒｕｍ，一向是拖拖拉拉，没有目标导向，企图把海水烧开。为什么ＭＰＩForum 能够如此神速地推出此标准呢？

这要归功于两个人，Bill Gropp 和 Rusty Lusk, 他们都是从阿冈国家实验室的科学家。不要笑，他们的抬头就是“科学家”。

Bill Gropp Rusty Lusk

他们告诉我，最重要的原因，是ＭＰＩ一开始就有一个参考实现：MPICH。是他们两人主写的代码。所以，一旦有了一个可以参考的MPI库。一些应用就可以开始并行化。这样，许多没有任何应用场景的“好主意”，就很容易被扔到“Out of scope”栏目。帮助参加讨论者集中注意力。还有，他们采用的方法是一天早中晚连轴转的方式，如此高强度的讨论，只有那些铁杆、硬核的人才能挺得过去。所以，也把一些不懂行，不委身、但往往容易随机化讨论的人自然淘汰出局。

很多人把集群的概念归于Beauwolf. 其实，集群已经在九十年代初，就有了。许多人都以为，是beauwolf 集群后，工业界才开始使用。历史并非如此。听我给同学们表来。

制造业最早的投入生产的微处理机集群

在美国East Hartford，驻扎着著名飞机发动机厂商 Pratt Whitney的设计中心。过去，为了测验叶片的强度，他们要将一个冰冻鸡扔向高速旋转的发动机上，然后分析断面。毫无疑问，造价极高。后来，他们使用Cray来做模拟仿真。只是能够模拟单叶片。而且Cray成为稀有资源，每个工程师的作业，都要排上两天才能算上题。

９０年代上半叶，Pratt Whitney的ＣＦＤ组，开始自主设计、开发一套消息传递系统，Prowess。它可以扩展到上千台太阳工作站。其中带头人名叫Craig Fischberg, 因此在制造业界成名。９５年左右，GE 飞机发动机给了他双倍工资并为其妻子安排了很好的工作，把他挖了去。后来，他又用MPI 来为ＧＥ建立了同样系统。从此，他在GE 的地位如日中升。

一想起工作站资源觅食（Cycle Scavenging）人人都以为最早是由Seti@home. 其实，在九十年代初在Pratt Whitney 已经有了。

那么从Cray 到工作站集群到底带来什么大不了的效益，使得ＧＥ出血本要挖人才呢？后来，Craig Fischberg 跟我讲，以前只能在叶片上模拟，后来能够把模拟整个发动机。以前的排队时间长至3天，结果晚上提交，第二天一早就可以看见结果。结果呢，高耗资的物理测试减少了，设计时间缩短了一半，而且飞机引擎的油耗效率大大提高。所以，ＧＥ能不受刺激吗？花了双倍工资挖到了Craig Fischberg是非常小的代价。

成百上千的工作站的计算能力被完全释放出来。他们用的作业调度器是Platform Computing 的LSF。所以，在九十年代，LSF的用户手册写着“Unleashing the Power” – 释放能力！就是从这儿来的。

商家简介

机器厂商	IBM，SGI, HP 和SUN
硬件	精简指令芯片
处理器间网络联接	定制化的网络
应用软件编程界面	ＭＰＩ-工业标准ＰＶＭ和其他消息传递软件包
作业调度软件	ＬＳＦ，ＰＢＳ， Sun Grid Engine (SGE)

为什么会有那么多的定制化的网络联接呢？我们下次再说。

下次内容：我和Rusty Lusk 的一个不开心遭遇引发我的奇想。

高性能计算系统栈的推倒和重建（二）专有机时期A

mingqxu — Fri, 28 Aug 2009 05:48:00 GMT

选择并行计算, 被人泼了冷水

1987年春晚，费翔的故乡的云唱红。歌云：“归来吧，浪迹天涯的游子“。可我那时却踏上了留学之路。在研究人工智能高潮时候，我选择了并行计算。为什么要选并行计算呢？当时我选主攻方向的标准非常单一，那就是越新越好。我出国的目的就是要学习最新的科学技术，因为当时我坚信只有科学才能救中国。当我把英国导师的研究计划提议书给国内导师过目时，他的第一的评语就是：”我看提议书中的许多参考资料都是当年或近年出的，是国际领先的方向“。

在英国1988年的“并行计算专家会议”上，我遇到一位工业界的人士，互相介绍时候，我兴奋地告诉他我的博士主攻方向。他的回答是我一生都不能忘记： “并行计算不会有前途的。将来人们将造越来越大的向量机。没有人愿意将自己的应用并行化，因为太难了”。

现在看来，这个专家是大错特错了。虽然如此，我还是非常赞赏他的坦率。他完全可以不必加什么评论，事不关己，可以高高挂起。他不愿意看见我往火坑里跳的精神可嘉。不过，专家的话也是要分析地去接受。而且，当你和专家有不同意见的时候，也不要迷信。长江后浪推前浪，新一代要超过前一代。不迷信权威是科学向前发展必要倡导的精神。

我没有相信他的话。

这段时间的高性能计算的生态环境如下：

机器厂商	Cray, Thinking Machines (CM-5), Sequent, Kendal Square Research (KSR), INMOS (Transputers)
硬件	定制化的芯片
处理器间网络联接	定制化的网络
软件	专有语言或FORTRAN的专有指令和工具

我们看见，“定制”“专有”这是造成价格天价的原因。那时候，CRAY只有少数西方的国家实验室和大型制造业公司才能拥有。只有少数先进国家才能拥有。杜甫一句诗词，似乎表达了我当时的意愿并有预言性：“安得广厦千万间，大庇天下寒士俱欢颜”。高性能计算关乎全世界的一项技术，它的益处不能被一个国家所禁锢和独占。这二十一年，我感觉有支看不见的手，把高性能计算机从国家实验室的围墙里，推出到制造业，电子业、生命科学和制药业，石油业，金融业。从美国、推向西方先进的国家，又推向东方。曙光和微软研制的两百万亿次计算机就是一个例子。

小心处理器杀手

在一九九零时候，美国劳伦斯Livermore 实验室的Eugene Brooks 说了一句话：“Beware the killer Micros” (小心微处理器杀手)。他这句话叫许多向量机的生产和设计厂商诚惶诚恐，为什么呢？我在微软一个同事，Frank Chism, 曾经是Cray 的雇员。他告诉我，那时候每年CRAY的CEO和克莱斯勒的CIO的谈话是非常痛苦的。克莱斯勒的CIO就问CRAY的CEO：为什么HP的工作站比你们CRAY要快，而我却要支付更贵的机器呢？“。微处理机的日益强大的性价比使之取向量机而代之的成为必然。

给我泼冷水的英国专家有句还是说对了，那就是并行化一个程序是很困难的，为什么别人会有人去做呢？不过他的话有个逻辑谬误，那就是：“没有人会去修改应用，因为太困难了“。出力不讨好的事尚且有人做，更何况出力能讨到好的事情呢？这时候，美国制造业的一个企业，就成功地用工作站替代了向量机来解决计算流体力学的问题。我们下次再聊。

对于专有机的Occam语言的三大遗憾

Occam 语言是我接触并行计算的第一个语言。这个语言是以一个哲学家Occam命名。提起他，我们都知道有个Occam剃刀原则（Occam Razor）。就是：“Keep it simple” 原则。这个语言之简练和直观不逊于其命名。它用Channel, SEQ, PAR 和ALT 等语言部件，可以构建各种并行进程及其通讯和同步场景. 下面程序实现了典型的生产者和消费者通讯的例子：

PROC producer (CHAN INT out!)

INT x:

SEQ

x := 0

WHILE TRUE

SEQ

out ! x

x := x + 1

PROC consumer (CHAN INT in?)

WHILE TRUE

INT v:

SEQ

in ? v

.. do something with `v'

PROC network ()

CHAN INT c:

PAR

producer (c!)

consumer (c?)

我自然是被这个语言着迷。可惜好景不长，我立刻发现Occam 语言的三个局限：

遗憾一：并行进程的静态、编译时决定的。不可能在运行时动态产生进程：

PAR I = 1 to N

Process (I)

这里Ｎ必须是编译时就确定的常数。这样对编写通用目的程序库带来很大的麻烦。就好比MPI 用户没有办法根据MPI Rank 和MPI_Size 来动态划分域，只能硬编码其处理单元数量，那么今天恐怕还没有Nastran 等ISV通用库。和我一起做博士的某英国哥们，他曾说要解决这个问题。我一直很感兴趣，不停地问他技术细节，结果他说了半天，我还是不清楚。说句实话，到今天，我还是没有明白。后来这个哥们找到了工作，放弃了博士。

到了后来1996年，MPI-2制定的时候，我参加了关于动态创建进程的讨论。当时我已经加入了Platform Computing 作LSF，可是这些MPI专家们对于如何映像进程到处理机的理解不够透彻。他们没有认识到，动态创建必须基于一个资源管理的调度系统。而他们没有有效地将需求及时提供给作业调度厂商。结果，现在有许多的MPI2 动态创建进程的实现，但是没有哪个是和著名的作业调度器集成的。原因就是，大部分作业调度器的资源分配是静态的。一旦资源分配后，就无法改变。到了Windows HPC Server起步在2004 年的时候，我设计作业概念就考虑到作业当能伸能缩的. 因此，Windows HPC Server 是为数不多能够支持MPI 2的作业调度系统。

遗憾二： Channel 是没有缓冲的。一个发消息的进程，如果对方不在受的时候，就会被阻。直到有接受消息的。开始还觉得没有什么，结果不知道多少看起来不会死锁的代码，结果给死锁了。比如，两个进程计算后相互交换结果如下，就会死锁。

PROC left (CHAN INT toRight!, CHAN INT fromRight)

… compute

toRight ! localResult

fromRight? neighborResult

PROC right (CHAN INT toLeft!, CHAN INT fromLeft)

… compute

toLeft ! localResult

fromLeft? neighborResult

CHAN INT c, d:

PAR

left (c!, d?)

right (d!, c?)

原因就是，对于left 进程，toLeft! localResult 会被阻塞，因为right 进程还没有接收消息。 right进程也同理被阻塞。现在同学们用MPI的时候，已经对于MPI 库中所提供的消息缓冲区习惯了. 当我发现此功能后，顿时心存感激。

遗憾三：进程和物理处理机之间的映射是静态的

这是一个致命的局限。如下所示，进程terminal, editor 和network 是在编译时被硬性映像到不同的处理机上。

PLACED PAR

PROCESSOR 1

terminal (term.in, term.out)

PROCESSOR 2

editor (term.in, term.out, files.in, files.out)

PROCESSOR 3

network (files.in, files.out)

对于这个局限的极度不满，心中涌出强烈的愿望想要解决这个问题。人生很有意思，９年后，我终于开始解决这个问题，一作就是近十二年。这个问题就是如何应用动态映射处理机，就是作业调度器（Job Scheduler）的灵魂.

（待续）

高性能系统棧的推倒和重建(一)

mingqxu — Thu, 30 Apr 2009 14:14:00 GMT

作者简介

徐明强博士现任微软中国研发集团服务器与开发工具事业部高性能计算资深架构师，领导HPC产品中的并行编程模型和运行时系统的设计与架构。

徐明强博士拥有21年高性能计算领域专业经历，包括8年学术政府实验室的研究和13年的业界经验。

2004年徐明强博士加入当时成立不久的微软HPC团队，带领了一个跨国团队（雷德蒙和上海）完成Windows Compute Cluster 2003和Window HPC Server 2008地开发工作。

加盟微软之前，徐明强博士在1996年之2004年间担任Platform Computing公司（HPC中间件的领导者）的首席架构师，负责其旗舰产品LSF和Symphony产品的设计和技术战略规划。

1993年至1995年，徐明强博士专注于并行语言的编译和运行是系统的研究，并在阿冈国家实验室完成博士后研究。在此之前，徐明强博士先后在英国埃克塞特大学取得计算机博士学位，在曼切斯特大学担任研究助理员。

我预备写几篇我过去二十一年所见证的HPC发展史。

----------------------------

我从事HPC工作已有二十一年，见证了一个完整的并行系统棧被推倒和重建。旧棧的机器造价高，只有国家实验室可以支付，性价比很差。后来HPC世界有一个大的变更，由微处理器来代替定制的向量机。现在的各行业成为这个变革的受惠者，变革的结果，使得每一个科学家和工程师，可以付担得起原来只有获取优厚研究经费的国家实验室才能使用的高性能计算机。

这个变革经过二十多年，共三个时期：（1）专有机时期（2）微处理器初期（3）微处理器盛期。

专有机时期，活跃在市场上的超级计算机公司开发定制化的硬件、软件及开发工具。微处理器初期，计算机主流公司用精简指令芯片代替了定制化芯片，自开发的定制化网络竞争。到微处理器盛期，商品化的芯片、标准网络再次把成本降低。回头看着二十年，显见有一只看不见的手，要把高性能计算机从国家实验室里推到各个行业、企业。

在这变更中，我也曾多次更换主攻方向。或者说是从原来的棧上端一直“跌”到下面，如下图所示。

然后，我一级一级的帮助重建并行系统棧. 从这棧“跌”落的原因，是因底层的支持无法能够满足高层的需要，而从底层往高层去的原因，是为了能够使系统能够支持主流的应用和程序员编程的需要。

我记得C++ 的发明者Bjarne Stroustrup 曾说过：“如果某件事值得做，那么这件事值得做两次”。他曾把这句话用在他撰写的C++ 一书上。这也是我从事HPC的经历。到现在为止，我已经重复做了两件事情（1）作业调度系统（2）面向服务的运行时系统。将来或许还会再次回到应用层。

（待续）

我们上人民日报了:)

Zhen Wei — Wed, 01 Apr 2009 13:07:00 GMT

(代George Yan发)

大家好，好久没有在这里写东西了，想想上次我在这里写blog还是一年多前呢。嘿嘿，好像我的belated new year’s resolution 应该是多写点东西和大家交流吧 :)

回顾2008年，这是对我们的团队来说非常有意义的一年。在产品上，我们发布了Windows HPC Server 2008，而且在十月的SC08上，运行Windows HPC Server的曙光5000A系统以180.6Tf的成绩获得Top500的第十名，引起了这个领域的关注和震惊。这当然是微软在进入HPC这个领域后在Top500中取得的最好成绩，这个成绩背后的甜酸苦辣我们的丛兰兰同学已经在她的博文里很好的描述了。这次的成绩也引起了中国的媒体的关注，毕竟Windows hpc server 2008 的一部分是在中国开发的, 而且这个成绩不是在那些老牌的cray, ibm机器上产生的，而是在我们中国制造的曙光机器上！有兴趣的同学可以看看媒体对我们评价。

再说说我们的团队，2008年，我们的小团队很荣幸的迎接来了徐明强博士，徐博在这个年轻的团队中是我们的前辈，而且在hpc领域里是个家喻户晓的名字，他曾经是Platform computing 的CTO,加入微软后设计了我们产品中的scheduler 和SOA runtime的架构。很有意思的是媒体对海龟徐也很有兴趣，程序员杂志还专门和徐博做了独家采访(attach link). 最后提一句，徐博回到上海马上入乡随俗，已经成为马路杀手之一，大家看到辆灰色honda odyssey要特别小心，徐博可能就在用着他美国开车原理在上海横冲直撞！:)

附：部分媒体报道：

1	光明日报	Guangming Daily	高性能计算机：工业化进程的助推器
2	人民日报	People’s Daily	中国诞生百万亿次超级计算机成为第二个拥有此能力的国家
3	中国经济导报	China Economic Herald	高性能计算机突破商业化困局
4	科技日报	Science & Technology Daily	强强合作意在高远
5	中国电子报	China Electronics News	工业领域高性能计算需求旺盛呼唤普及共享
6	中国计算机报	China InforWorld	惊魂百万亿次-曙光5000A冲击Top500纪实
7	电脑报	Popular Computer Weekly	中国第一超级电脑炼成记
8	程序员	Programmer	见证高性能计算21年
9	网络世界	China Network World	创新：以开放合作的精神-从微软携手曙光圆百万亿次超级计算机梦想谈起
10	计算机世界	China Computer World	中国HPC百万亿次是这样炼成的
11	科学时报	Science Times	他们见证了历史
12	微电脑世界	PC World	微软联手曙光晋级全球超级计算机十强

亲历北京Top 500

Violet Cong — Tue, 30 Dec 2008 10:33:00 GMT

金秋的北京，一年中难得的好天气，人们还沉浸在08年奥运会的喜悦中，而一项影响中国高性能计算发展的大事，也正在紧锣密鼓地进行 – 近两千台新研制开发的曙光5000A机器已从天津工厂运抵北京！这么多的机器太沉，一楼的地面无法承重，找不到合适的数据中心，造价两亿元的这两千台高性能计算服务器暂时落户在中科院计算所的地下车库里。

中国人的力量和速度再一次让世人惊叹：地下车库的改建，制冷水管的铺设，整个临时数据中心的建成一共只用了十天时间，夜以继日的努力只为了一个共同的目标 – 那就是11月中旬即将在美国奥斯汀举办的第21届超级计算机大会。世界权威的Top 500超级计算机排名将在这次大会上正式公布，跻身前列是每一个中国高性能计算工作者的梦想！

作为微软高性能计算中国开发团队的一员，我也有幸加入到这次影响中国高性能计算历史的努力中！曙光，是中国高性能计算的代表企业，与微软公司的结缘始于2007年底。一向依托于UNIX/LINUX高性能操作系统环境的曙光公司，对刚刚踏入高性能计算领域并于2006年发布第一版高性能计算产品Windows Compute Cluster Server 2003的微软公司，产生了浓厚的兴趣。这一过程是艰难的，压力与希望同在，挑战与机遇并存。

9月15日刚刚成功发布微软高性能计算的第二个版本Windows HPC Server 2008，我们来不及任何的休整，一行四人立刻踏上了北京的征程。清楚地记得第一次踏进中科院的地下车库，憋闷的环境，数千台机器共响的轰鸣声立刻让我觉得透不过气来。简易的工作台，没有任何的噪音隔离和防护措施，这就是我们接下来一个多月里需要战斗的地方。来不及多想，放下简单的行囊，立刻加入到这1920个节点部署Windows HPC Server 2008系统的工作中。这是第一次Windows HPC Server 2008产品在这么大规模的计算集群上部署和应用，我们的心情真是既兴奋又紧张。旁边来自曙光，AMD等各家高性能计算领域的同行们也都看着我们，想看一看初出茅庐的Windows HPC Server 2008到底表现如何。在基于Windows部署服务（Windows Deployment Service）的裸机部署模式的强大支持下，部署工作进行得异常顺利。部署完成后Windows HPC Server 2008简单易用的管理操作平台显示出了对近2000个计算节点的强大的管理能力，深得同行的赞誉，我们也终于舒了口气。

然而接下来的工作远没有期待中的这般顺利。一个刚刚搭建的数据中心，全新的硬件，全新的软件，对于一个至少需要连续运算7-8个小时才能取得较理想计算结果的基准测试来说，任何一个环节的细微差错，例如网络连接的松动，电源过热，15360条内存中任何一条内存的故障都会导致整个测试运行的失败。我们甚至发现，在如此大规模尚未经过时间考验的计算集群上，取得一个有效的测试结果都是相当的困难。当有节点发生故障时，我们需要和曙光的硬件工程师，来自Mellanox/Voltaire的网络工程师一起，登录到故障节点，查找可能的软件、硬件或者网络的问题，并对问题进行记录和总结。曙光也设立了简单的工作台，进行现场的故障硬件修复。如果用四个字来形容当时的工作状况，那真是“没日没夜”。从数据中心的搭建到最终Top 500的提交期限，一共只有不到一个半月的时间，每个人都不愿浪费一点点可以进行故障排查或者运行测试的时间，所以常常忘了外面是白天还是黑夜。经常拖着疲惫的身体走出计算所的大门，才意识到，早起的人们已经开始了晨跑，原来熬夜也是这么容易习惯的。更多的时候，我们也只是在车库角落里搭建的临时床，甚至机柜旁伴随着近2000台计算节点的轰鸣声席地而睡。

我们感激曙光公司在如此大规模的计算集群上率先采用刚刚发布的Windows HPC Server 2008产品的信任，但作为Windows HPC Server 2008在如此大规模的计算集群上的首次尝试，大家也曾犹豫和怀疑过。继9月29日取得116.3TFlops的运算结果之后，我们在将近10天的时间里一直无法取得任何的突破，眼看着提交结果的期限一天一天接近，怀疑的声音也开始出现。Windows HPC Server 2008真的是如此大规模计算集群的正确选择吗？在这样的质疑声中，顶住压力，永不放弃是我们的唯一选择。记得当时美国总部团队的老板们正在上海访问，和上海的团队讨论下一个版本的计划，但是在Top 500项目的巨大压力下，上海开发团队的主管严治庆于当晚就飞回了北京，还记得他那个时候诙谐地说：“不是天不助我，而是时机未到”。越是这样紧张的时候，越是要镇定，我们总结了前段时间屡屡失败的教训，为每次基准测试程序的运行制定了详细的准备步骤：包括各个节点的排查，网络状况的检查，小规模测试等等。虽然每次这些准备工作都需要花费2个小时左右的时间，但我们发现这对确保测试运行的成功率发挥了至关重要的作用。在10月9号的早晨，顶着巨大的压力，我们终于突破了140T的大关，我们终于证明了自己，证明了Windows HPC Server 2008对于大规模集群计算的能力，我想这是我们在Top 500道路上最艰难也是最重要的一个结果，连曙光的同行都表示没想到你们真的能跑出这个结果！

在整个Top 500的项目中，和我们一起并肩作战在中科院计算所地下车库里的还有一位法国朋友，他就是来自微软法国团队的Xavier Pillons。Xavier有着丰富的Top 500基准测试的经验，但是他表示像这次如此大规模的集群以及如此艰难的测试他还是第一次遇到。虽然作为他的第一次中国之行，Xavier在29天的时间里只得空休息了2天，但是他对此次的中国之行非常兴奋，记得在10月13号167.4TFlops之后的庆功宴上，Xavier自豪地说：“我们创造了中国高性能计算的历史，我很高兴成为其中的一员”！

在临近提交结果期限的两天，经过一次次地改进和测试，我们又取得了新的突破，180.6TFlops的结果，78%的效率对于Windows HPC Server的历史，对于中国高性能计算的历史都是划时代的，也为我们一个多月的辛勤工作，无数的不眠之夜交上了一份满意的答卷！在11月中旬召开的世界超级计算机大会上，我们非常荣幸地跻身全球超级计算机前十的行列，并成为在美国之外唯一一个进入前十的超级计算机集群！当怀抱奖状的时候，成绩的取得已经成为了过去，我们会怀抱更大的热情和理想做好Windows HPC Server的下一个版本，也祝愿中国高性能计算行业的发展越来越红火！

袖珍超级计算机Cray CX1

Zhen Wei — Fri, 26 Sep 2008 23:52:00 GMT

翻译自：http://blogs.technet.com/windowsserver/archive/2008/09/15/microsoft-and-cray-team-up-to-bring-high-performance-computing-mainstream.aspx

微软和Cray两家公司在历史上首次联手,提供各自最好的技术生产出了Cray CX1! CX1是个什么东东呢?它是一个运行Windows HPC Server 2008的超级计算机,大小和普通PC相当。这是Cray公司迄今为止提供的最实惠的超级计算机:两万五千美金，微软、Cray和其他一些公司9月15日早上八点宣布开始供货。

CX1的高性能和高生产力能满足用户、IT专家和开发者的需求，其环境高度集成，为用户所熟悉，大小和价格也非常适合部门和工作组。CX1集计算、存储和虚拟化技术为一体，瞄准的用户就是实验室、办公室等非传统部门。空间绝不会成为一个问题，因为你甚至可以把小小的它随随便便放在杂物室里。

怎么买呢？就像在Amazon上购物一样简单。用户可以在线订购CX1，并用信用卡付账。看吧,毋庸置疑,高性能计算正在主流化，个人化!

HPC近况更新

Zhen Wei — Fri, 25 Apr 2008 19:24:00 GMT

Windows HPC Server 2008 产品里程碑: 自去年11月在超算大会上发布Beta 1以来，我们在3月底和这周分别发布了Windows HPC Server 2008的两个社区预览版 (Community Technology Preview, CTP版本)。这两个版本分别增加了不少功能（也修掉了不少bugJ），欢迎大家从www.microsoft.com/hpc下载最新的版本试用，给我们发送反馈意见。还可以利用HPC MSDN 论坛得到产品支持http://forums.microsoft.com/WindowsHPC。
HPC 垂直领域新闻: 3月底，微软公布了石油天然气行业调查问卷的结果，结果表明这一领域对HPC的需要比以往任何时候都要强，增加HPC的使用将会帮助提高产量，支持决策，减少钻井延迟和消除项目危险。详情见 www.microsoft.com/oilandgas。我们还参加了金融服务开发者大会，介绍了金融服务OBA 的组件库，它能用于解决银行，保险公司和资本市场公司面临的许多常见问题。http://www.supercomputingonline.com/article.php?sid=15279
并行计算新闻: 微软和英特尔3月宣布将在学术界合作创建两个并行计算研究中心，以加速发展服务消费者，桌面商务和移动计算的并行计算。研究中心将位于伊利诺伊大学厄本那—香槟分校 (UIUC)和加州大学伯克利分校 (UC Berkeley)，这是美国第一个如此大规模的业界和大学联合研究合作。详情参见http://www.microsoft.com/presspass/press/2008/mar08/03-18UPCRCPR.mspx

（本文翻译整理自

http://blogs.technet.com/windowsserver/archive/2008/03/25/windows-hpc-server-2008-updates.aspx

和

https://windowshpc.net/Blogs/Announcements/Lists/Posts/Post.aspx?ID=5）

HPC中国研发团队 : 业界动态

高性能计算系统栈的推倒和重建（四）微处理机初期

逃匿MPI进程

高性能计算系统栈的推倒和重建（二） 专有机时期B

Speed beats beauty

高性能计算系统栈的推倒和重建（三）微处理机初期

望洋兴叹

消息传送库pvm, P4和 MPI

制造业最早的投入生产的微处理机集群

商家简介

高性能计算系统栈的推倒和重建（二） 专有机时期A

选择并行计算, 被人泼了冷水

小心处理器杀手

对于专有机的Occam语言的三大遗憾

高性能系统棧的推倒和重建(一)

我们上人民日报了:)

亲历北京Top 500

袖珍超级计算机Cray CX1

HPC近况更新

高性能计算系统栈的推倒和重建（二）专有机时期B

高性能计算系统栈的推倒和重建（二）专有机时期A