The Windows Japan HPC Team Blog

HAYABUSA - Back to the Earth -

2009-03-23T20:30:00Z

全天周映像「HAYABUSA - Back to the Earth-」が来月から公開されますが、その一部が You Tube で公開されています。

この素晴らしい画像は、実は日本アイビーエムの Computing on Demand システムである IBM CoD 上の Windows Compute Cluster Server 2003 上でレンダリングされています！これについては日本アイビーエムからプレスリリースが出ていて、マイクロソフトも協力しています。本編では最後にマイクロソフトのロゴも出るようです。

今回の成果は、ちょうど一年前の2008年3月27日に日本アイビーエムと共同出展した東京国際アニメフェアで発表したオンデマンドの High Performance Computing システムによる分散並列レンダリングを利用したものです。

その時行われたプレスカンファレンスで私の上司の五十嵐さんが言ったことがまさに現実になり、こういう素晴らしい成果に結びついたのはうれしいです。

GPGPU セミナー

2009-03-11T01:00:00Z

今日はつくば国際会議場で行われたベストシステムズ主催の「GPGPUセミナー」に勉強がてら参加してきました。アクセラレーターを使ったアプリケーションの高速実行というのは古くから行われていることで、ベクトル型のスーパーコンピューターもこの系列ですが、GPGPUの違うところは、GPUが汎用の製品で、PC に多く使われているためコストが安いということです。ベクトルプロセッサーは専用なので何億円もしますが、GPU は PC に入っていますから、コスト構造が違います。専用機は速いけど高価 vs 汎用機は遅いけど安価、という従来の図式は GPGPU には当てはまらないということになります。

もっとも現状では CUDA でみんながプログラムを書けるか、というとほとんど無理だと思うのでそこにギャップがありますが、何十倍も速い、という抗しがたい魅力と、性能に対する消費電力の少なさもこれからの HPC の最も重要な考慮点であるので、GPGPU というのは HPC の一つの方向性である気がします。

HOKKE 2009 その2

2009-03-01T02:00:00Z

今日も引き続き北大での HOKKE に参加してきました。札幌時計台近くのクロスホテルというこじゃれたホテルに泊まったので、北大まで歩いたのですが、雪が積もっていてへっぴり腰で歩いていると、地元のじいさん、ばあさんにもどんどん抜かれて行きます。それに途中にビックカメラにベスト電器、ヨドバシカメラにツクモまであるので、なかなか会場に辿り着きません。どの店もなかなか品揃えがいいですね。

HOKKE の方は「並列・分散コンピューティング」と「並列プログラミング・スケジューリング」のセッションに出てきました。東大、筑波大、京大のT2Kをベースにした論文が多いですが、比較的シンプルに思える T2K でもいろいろ技がいるんですね。勉強になりました。

昨日3月の風物詩と書いた HOKKE ですが、3月に北海道で開催されるのは今回が残念ながら最後です。来年は違った形で、別の場所でやるとか。やっぱり私は暖かいところがいいです。

夕方の飛行機で東京に戻りましたが、千歳空港で生キャラメルとやらを初めて買いました。

HOKKE 2009

2009-02-28T02:00:00Z

今日は札幌に来ています。天気はいいですが、寒いです。

最近、またまた High Performance Computing 関連の仕事をすることになったので、肩慣らしがてら HPC 歳時記で３月の恒例行事の HOKKE に来ました。HOKKE の正式名称は「ハイパフォーマンスコンピューティングとアーキテクチャの評価に関する北海道ワークショップ」です。情報処理学会のアーキテクチャ研究会とHPC研究会の合同のイベントとして、毎年３月に北海道大学で行われています。

マルチコアやGPUの利用、そして電力削減の試みなど、研究の課題も変わりつつあります。自動車レースのF1も岐路にあるように、HPCもエコが大きなテーマです。

Top 10 入り

2008-11-19T02:00:00Z

現在アメリカ・テキサス州のオースティンで High Performance Computing 業界最大のイベント SC08 が開催されています。そして好例の世界のスーパーコンピューターランキングである Top500 も発表されました。今回のランキングで Windows HPC Server 2008 を搭載した中国の上海スーパーコンピューターセンターのシステム Dawning 5000A が初めてトップ10入り（第10位）しました。Windows ベースの HPC システムとしては過去最高ランキングです。3年前に初めて Top500 にランクインした時にはこの成果は予想できませんでしたが、Windows ベースの HPC が本当に世界トップの、最高レベルのシステムで利用できることを示せたのは画期的なことだと思います。またこれが中国のシステムでなされた、というのもマイクロソフトとしては非常に戦略的には重要かと思います。まだ Windows が遅いと疑って、Linux なんか使っている人は時間と電気の無駄遣いをしていますよ。

本件について、プレスリリースが出ています。原文はこちらで、ビデオもあります。

負ける気がしねぇ

2008-09-17T01:00:00Z

Windows HPC Server 2008 が RTM しました。マイクロソフトの High Performance Computing 向け製品として、Windows Compute Cluster Server 2003 に続く Version 2 となる製品です。私はいまは HPC の担当ではないですが、Version 1 製品を担当したものとしては非常にうれしく思います。「Windows で HPC なんて」とか、「Windows なんて重そう」とか言っている方々、時代は変わります。いつでもベンチマークして比べてください。むしろ Linux でわざわざ遅くして使っているなんて、と言っちゃいますよ！

そして明日、すごい会社が我々の味方になります。もう負ける気がしねぇ、としか言いようがありません。

Green 500

2008-07-02T01:00:00Z

娘の通うインド人幼稚園は夏休み前は7月11日までですが、相変わらず毎日宿題が出ています。最近の宿題は難しくて、英語は例えば「a の入った単語8個書け」とか、「o の入った単語を8個書け」とかです。ヒンディもだんだん難しくなってきて、娘も分からない時があるようですが、私に聞いても分からないと思ってか、質問もしません。少しはヒンディをやっておかないといけないかもしれません。

さて昨日世界のスーパーコンピュータの性能ランキングである Top500 をエネルギー効率のいい順番に並べた Green 500 が発表されました。今回のランキングによれば、Windows HPC Server 2008 を利用したスウェーデンの Umea 大学のシステムが x86 系 PC クラスタでは最高の効率で17位に入っています。6月19日のこのブログにも書きましたが、地球にやさしいのは Windows Server です。Linux じゃありません。もう High Performance Computing の担当ではないですけど、これだけは言っておきます。

グリッドワールド2008

2008-06-25T01:00:00Z

今日は娘をインド人の幼稚園に連れて行ってから、そのまま東京国際フォーラムへ向かいました。本当にこれで最後の High Performance Computing 関連の仕事の Grid World 2008 です。私が何かやったわけではないですが、私の上司の五十嵐さんの基調講演の準備などをしました。この講演にはかなり多くの方にご聴講いただきありがたく思います。ちょうど先週発表された素晴らしい Top500 の結果を発表できて、良かったです。実を言うと、Top500 でいい結果が出ることは分かっていたので、基調講演を引き受けたんですが。6月19日のブログにも書きましたが、スウェーデンの Umea 大学の実効効率 85.5 % は極めて高く、五十嵐さんの講演でも大いに自慢してもらいました。

講演の後、五十嵐さんと HPC 製品担当の古賀さんと一緒に丸の内で食事をして帰りました。オープンエアのカフェで「新宿にはこんなところはないよねぇ」とか、「一度丸の内で働いてみたい」とか、「本当は新宿は嫌いなんだ」とか話しながら食事をしてました。

ペンギン南極破壊説！？

2008-06-21T01:00:00Z

世界のスーパーコンピューターのランキングである Top500 の最新版が昨日発表されました。是非 Excel フォーマットのリストをダウンロードして、いろいろデータを分析してみて下さい。

今回は初めてトップのマシンがペタフロップス（1秒間に1,000兆回の浮動小数点演算）を越えました。また日本からもT2K（東大、筑波大、京大）スパコンが新規に入っています。日本からのエントリーは22システムで、前回より2システム増えましたが、国別ランキングではフランスにも抜かれ、アメリカ、イギリス、ドイツ、フランスの次の5位に下がりました。1月29日のこのブログにも書きましたが、日本はますますヤバイです。

もちろん Windows HPC Server 2008 も登場しています。Windows はこれまでも入っていましたが、今回は意味合いが大きく違います。それについて本日プレスリリースを出しました。

確かにこれまでも Top500 に Windows はランクインしていました。2006年6月の NCSA を嚆矢とし、2007年6月にはマイクロソフト本社の自社システム Rainer と三菱 UFJ 証券、2007年11月には他にも4つランクインしました。しかしながら、今回はランクインした、というだけではなく、x86系プロセッサを利用した PC クラスタシステムとして圧倒的な効率を達成し、今年後半に発売予定の Windows HPC Server 2008 の高性能を証明しています。特にスウェーデンのUmea University では 5,376個のコア上で46テラFLOPSのスピードと85.5%の効率を達成しました。効率とは理論ピーク性能に対する実効性能で、これまでの常識では PC クラスタで80％以上の効率を実現するのはほぼ不可能と思われていたものです。Top500 のサイトからダウンロードできる Excel シートで効率でソートしてみてください。85.5% という効率がどれほど高いものか、あるいは、他の Linux のクラスタの効率がいかに低いか、がお分かり頂けると思います。

つまり、Windows HPC Server 2008 を使えば Linux のシステムよりシステムの性能をより引き出すことができ、同じ問題を解くのなら短い時間で終わるので、消費電力も少なくなり、より Eco と言えます。逆に言えば効率の悪い Linux のシステムは無駄に電力を消費し、CO2 を多く排出しています。そうです、南極の氷を溶かしているのはペンギン (Linux) だったんです。

SACSIS 2008

2008-06-12T01:00:00Z

今日から金曜日までつくば国際会議場で行われる SACSIS 2008 (Symposium on Advanced Computing Systems and Infrastructures) で企画展示委員長をやっているので、３日間つくば通いです。主な仕事は企業展示のアレンジで、今回はなるべく賑やかになるように吊り下げバナーや自立式バナーなども展示してみました。

ちなみに吊り下げバナーは去年の TechEd で使っていたものです。イベントチームから Window Server 製品部に下げ渡されたので、今回使ってみました。また自立式バナーは去年ドイツのドレスデンで行われた International Supercomputer Conference で使っていたもので、ドイツのマイクロソフトから借りました。

それと茶菓の調達も私の仕事なので、今朝は娘をインド人の幼稚園に送ってから、新宿へ行き、Krispy Kreme に並んでドーナツを10ダース買い、それからつくばに行きました。

昔は学生が今よりたくさん食べたのかもしれませんが、懇親会の料理があっと言う間になくなるので、ドーナツなどカロリーの高いものをおやつに出すということが伝統的に行われています。私が調達するからは普通ではいけないので、Krispy Kreme にしました。でもあんまり知っている人はいなかったみたいです。お茶大の学生に評判だったので、それだけで私は満足ですけど。

ライラの冒険

2008-03-04T02:00:00Z

今日は娘のインド人の幼稚園はお休みだったので、朝から保育園でした。保育園は家のすぐ近くなので送っていくのは楽です。なので今日はちょっぴりのんびりでした。

という訳だからではないですが、今日は公開されたばかりの映画「ライラの冒険」を新宿バルト9で見てきました。もちろん業務の一環として、です。業務、と言い訳するのは、この映画が Computer Graphics の大作で、マイクロソフトの非常に重要な ISV パートナーである Autodesk 社の Maya というソフトウェアを使って作られているからです。先週某テレビ局で Windows Compute Cluster Server 2003 の採用が決まりましたが、その用途も Autodesk 社のソフトウェアを使った Computer Graphics の作成です。今回の案件で決まったのはまだ小規模なものですが、行く行くは「ライラの冒険」のような大作も Windows Server 上で作ってもらいたいと思っていて、最新作がどれほどのものか、チェックするために見に行っただけです。Linux 上で作成された CG だから粗探しをしようと思って見ていましたが、それでも十分楽しめました。

秘伝

2008-02-22T02:00:00Z

マイクロソフトはこれまでに多くの製品を世に出し、大成功したものもあり、大失敗したものもありました。そのすべての製品に共通するのは、その製品を世に出す際にその製品の担当者がいて、その担当者の作ったマーケティングプランがあったことです。この製品を売る目的は何か、どんなお客様に売るのか、どうやってそのお客様にメッセージを伝えるのか、その製品の価値は何か、競合とどう戦っていくのか、そしてそのプランにいくら使うのか、等々です。このマーケティングプランはかなりの部分、その製品の担当者の思い入れや力量に依存します。そうした担当者によるばらつきをなくし、全体の底上げを図る目的でマーケティング部門では「秘伝」と題したトレーニングが時々行われています。今日はその「秘伝」があり、大変勉強になりました。もちろん「秘伝」なのでここでは明かせませんが。

今日は日本AMDのセミナー「AMD64 Developer's workshop」で「Manycore Shift: メニーコア時代に向けたマイクロソフトの取り組み」と題した講演を行いました。講演内容は以下の通りです。

私の前のセッションで日本AMDの山野さんがAMDのプロセッサロードマップを示し、昨年末の Quad-core (4コア）に続き、来年には Octal-core (8コア)、再来年にはもっとたくさんという予定に明らかにされました。それを踏まえ、今年発売される Windows Server 2008, Visual Studio 2008, SQL Server 2008 では既にそうしたマルチコアからメニーコアに対応した製品作りをしていることを説明します、と最初にお話しました。というのもこれらサーバー製品はライフサイクルが長く、おそらく Windows Server 2008 では最低4年間はメジャーな製品ラインとして販売されます。つまり2012年までは売り続ける、ということになります。2012年のことを今から予測するのは難しいですが、かなり高い確率で、一台のサーバーには数十から100個程度のプロセッサコアが動作していることでしょう。ですからこれらの製品はそうした時代を見越した作りになっているのです。

メニーコアの時代にはトータルの計算パワーは非常に大きくなりますが、個別のアプリケーションの計算速度を上げていくためには並列プログラミングを行わなければなりません。並列プログラミングということに関しては現在 High Performance Computing がリードしているので、マイクロソフトの HPC への取り組みについて最初にお話しました。

マイクロソフトが対外的に HPC への取り組みを明らかにしたのは 2005年11月です。

シアトルで行われた HPC 業界最大のイベント Supercomputing で、マイクロソフト会長のビル・ゲイツが基調講演を行い、HPC分野への参入を発表しました。

日本での対外的は発表は2006年8月でした。

投入された製品は Windows Compute Cluster Server 2003 で、ユーザにも、システム管理者にも、開発者にも親切、という「三親切」が特徴です。

ちなみに「三親切」という言葉は幕末から明治にかけて活躍した歌舞伎の戯作者河竹黙阿弥が好んで使った言葉ですが、「役者に親切」、「お客に親切」、「座主に親切」の「三親切」です。つまり「名せりふを書いて役者が張り切れば、お客が喜び、客がたくさん入れば、座主（劇場オーナー）が喜ぶ」ということです。サウスウェスト航空のように従業員第一主義でやる気を起こさせれば、お客も満足し、会社も儲かる、というような話ですが、意味はちょっと違うんですが、「三親切」を使っています。

これまでの取り組みの説明をした後、今年投入予定の新製品である Windows Server 2008 をベースにした HPC 向き製品の Windows HPC Server 2008 の概要を紹介しました。この製品の第一の特徴は HPC クラスタのノードが Fat ノードになることへの対応です。これまで PC クラスタは Poor man's supercomputer と呼ばれるように安価な PC を大量に並べて使うことで、専用のスーパーコンピュータの性能を凌駕できる、というのが特徴で、各計算ノードは1プロセッサや、２プロセッサコアなど小規模なものが多く使われていました。しかし、メニーコアプロセッサが安価に供給されるようになると、各ノードのプロセッサコア数が増え、強力なパワーのあるノード、つまり Fat ノードになっていきます。そうするとクラスタとして性能を発揮する第一のポイントは各計算ノード内での性能の最適化で、つまりメニーコアを利用したノード内での共有メモリモデルでの最適化が重要になります。その部分に最大の注力をして開発したのが Windows HPC Server 2008 なのです。Windows HPC Server 2008 は現在 http://connect.microsoft.com からベータ版をダウンロードすることができます。

そして Windows HPC Server 2008 が活躍する時代にはメニーコアの時代になり、トータルの計算量は爆発的に増えますが、最初にも言ったように、並列化されていないプログラムはその計算パワーの増大を享受することはできず、並列化は不可避になります。これは HPC の世界に限らず、すべてのアプリケーションにも言えることです。

このようなメニーコアの時代、すなわち、すべてのプログラマが並列プログラマになる時代がもうすぐやって来ます。その時代に備え、マイクロソフトでは昨年11月に Parallel Computing Initiative を発表しました。すべてのプログラマが並列プログラマになる時代には、単に既存のプログラムを並列化する、というような話ではなく、メニーコアをサポートするライブラリや、より簡単に並列プログラミングができるプログラミング言語、それをサポートするランタイムシステム、OSなどが必要になります。マイクロソフトではこれらすべてをトータルにサポートし、来るべきメニーコアの時代に備えています。

クラスタシステムは前述のように Fat ノードクラスタになっていきます。従来このような Fat ノードのクラスタに対しては、ノード内では OpenMP を使った共有メモリタイプの並列化を用い、ノード間では MPI を使った分散メモリタイプの並列化を行うというハイブリッド型の並列化が行われています。しかしながら、このやり方は非常に高度な技巧を必要とするもので、すべてのプログラマが並列プログラマへなる時代のモデルとしては相応しくありません。HPC 系以外のアプリケーションへの対応なども含め、Parallel Computing Initiative の一環として、.NET Framework の並列拡張や C++ の並列拡張などが既に msdn の Parallel Computing Developer Center で公開されています。

またデータアクセスの統一的なプログラミングモデルである LINQ の並列拡張である PLINQ や、関数型言語 F# の提案もしています。数千コアや数万コアという時代に明示的に並列性をプログラマが記述していくのは極めて難しいことだと思います。並列性を明示的に記述せず、比較的容易に並列性を抽出できる関数型言語には個人的には非常に興味を持っています。関数型言語の勉強をしたことがある人は情報科学を専攻した一部の人だけかもしれませんが、もしかすると関数型言語が陽の目を見る日が来るかもしれません。

これらメニーコア時代への新しい取り組みをいち早く利用できるのは今月発売を開始した Visual Studio 2008 です。

Visual Studio 2008 では標準でAMD の最新 Quad-core プロセッサに最適化された実行形式を生成することができます。

また LINQ も Visual Studio 2008 で利用することができます。このモデルによって異なるデータに対するアクセスの統一的なプログラミングが容易にできるようになります。

2006年に発売を開始した Windows Compute Cluster Server 2003、そして今年発売する予定の Windows HPC Server 2008、そしてその後継となる Version 3、さらにその先に目指すのはビジネスアプリケーションとHPCアプリケーションの融合です。従来別々のプログラミングモデルで開発されたアプリケーションが、別々のシステムで実行されていたビジネス系とHPC系が融合され、Windows Server の標準機能となっていくこと、それが我々のゴールです。

既にマイクロソフトはメニーコア時代への準備ができています。どうぞ安心してマイクロソフト製品を使い続けてください、というのが今日の講演の内容でした。

メニーコアの時代って本当に楽しみですね。それに関数型言語 F# + PLINQ という新しいモデルで自分でもプログラミングしてみたいと思います。わくわくする時代がもうすぐ来ますよ！

歌って踊れる人になりたい

2008-02-08T02:00:00Z

昨日の娘の保育園の日誌には娘が先生に「私は歌って踊れる人になりたい」と言ったと書いてありました。私としては娘には「歌って踊れて泳げて稼げる数学者」になって欲しいんですけどね。やっぱり数学は勉強して欲しいなぁと思います。私は学生の頃は数学ばっかり勉強していたので、常識に欠けるきらいはありますけど、やっぱり数学は美しい世界ですからね。ちゃんと分かってから他に行くなら行って欲しいと思います。インド人の幼稚園に入れているのも数学を勉強させたいというのも一つ理由ではあります。歌って踊れるのはまあ、デフォルトですな。

さて今日はマイクロソフトの新宿本社ビル5階のセミナールームで Windows HPC アップデートセミナーを開催しました。今回は初めて事例の紹介をアジェンダに組み込むことができて、我々としては大きな成果となりました。最初のご挨拶でも申し上げましたが、マイクロソフトが High Performance Computing へ参入することを発表したのは2005年11月の SC05 でのビル・ゲイツの基調講演で、当時我々の調べでは日本で HPC 分野で Windows を利用している人は 0.8% くらいしかいませんでした。2006年に Windows Compute Cluster Server 2003 を発売し、2006年での HPC 分野での Windows のシェアは約 5% になりました（マイクロソフト調べ）。そして去年2007年には約10％（これもマイクロソフト調べ）になり、2005年には HPC のシステムを購入する際に Windows は夢にも思い浮かばなかったものが、今では少なくとも頭の片隅には置いて頂けるようになったのかなぁ、と思います。

そして今年、Windows Compute Cluster Server 2003 の後継となる Windows HPC Server 2008 が登場します。おそらく2008年中に HPC 分野での Windows シェアは倍増できるのでは、と思っています。Windows HPC Server 2008 は今年の夏頃のリリースの予定でまだベータの段階ですが、各種ベンチマークの結果が出始めていて軒並み速いです。2006年6月の Top500 のリストでわずか１つしかなかった Windows のエントリが2007年6月には2つになり、昨年11月のリストでは6つになっています。今年6月に発表されるリストではおそらく倍増するでしょうし、かなり上位にも登場するはずです。いま世界中で Windows HPC Server 2008 を使って Top500 への挑戦が計画されています。みんなをそういう気にさせるほど Windows HPC Server 2008 は速いです。初心者でもなんとなく Top500 に挑戦できてしまう、これが Windows ならではの世界でもあります。

今日のセミナーで東京大学の片桐先生と黒田先生のご発表を聞いていて、私は「普通になったなぁ」と感慨深いものがありました。普通になった、という意味は、今日の先生方のご講演はイベントでの講演というよりHPC系の学会での発表のような感じがしたのですが、学会で発表するような研究のインフラとして Windows が使われているというのが不思議な感じがして、ようやくここまで来たなぁという思いと、私のマイクロソフトでの HPC の勤めももうこれで十分なのかなぁ、という思いとちょっと複雑なものがありました。

続く野村證券の白坂さんのご発表では、世界の金融機関でのグリッドへの取り組みとして、HPC 用途で採用されたグリッドに事務系のシステムも統合されていく、という先進的な事例のご紹介がありました。これはまさしく我々の HPC のビジョンそのものです。今日のセミナーの最初のセッションで HPC 製品担当の古賀さんからロードマップの紹介がありましたが、その中で現在 Windows が中心のビジネス系の IT システムと Unix/Linux が中心の HPC 系の IT システムが断絶して、全く別のものとして存在しているのを Windows HPC が橋渡しをし、将来的には一つの IT システムとして統合していくというマイクロソフトのビジョンが示されました。マイクロソフトの HPC の取り組みとしては、現在販売中の Version 1 としての Windows Compute Cluster Server 2003、そして今年の夏に出る予定の Version 2 である Windows HPC Server 2008、さらに2年後に出る予定の Version 3 まで計画されていますが、これは私の個人的な考えですが、もしかしたら Version 4 というのは存在しないのでは、と思っています。というのはマイクロソフトが HPC 分野から撤退する、というのではなく、Version 4 の頃には Windows Server の標準機能として HPC 向きの機能は取り込まれているのではないか、ということです。これはちょうど今年の春に出荷される Window Server 2008 の標準機能として仮想化機能が搭載されたようにです。言い換えれば HPC が普通になる、ということです。その頃にはこれはビジネス系とか、これは HPC 系とか、分ける必要がなくなっていることでしょう。

最後のセッションで私から Windows Home Server のご紹介をしました。HPC とは全然関係ないですが、これまでの経験では HPC 系の人には Windows Home Server は非常に受けが良いのでアジェンダに入れてみたんですけど、ちょっと今日のセミナーのノリとは違いましたかね。反応がイマイチでした。なんだかみなさんキョトンとしている感じがしました。このアジェンダはちょっと無理やりだったかなぁ、と反省しています。

どうでもいい話ですが、セミナーの最初にご挨拶で話した時と、Windows Home Server の製品紹介をしたときとで私の着ていたシャツは違います。ちゃんと着替えたんですよ。ご挨拶のときは Windows Compute Cluster Server のロゴ入りのシャツを着ていました。Windows Home Server の製品紹介をしたときは Windows Home Server のロゴ入りシャツを着ていました。言うのを忘れちゃったので誰も気づかなかったかもしれませんけどね。

それとこれまた余談ですが、今日は受付として雇っていたコンパニオンに司会をやってもらいました。そのせいで受付は HPC の専任営業のむくつけきおじさんがやっていて申し訳なかったですが、やっぱりプロになる人はちゃんとしてますね。今日司会をした彼女はこの春から NHK のアナウンサーになりますので、テレビで見ることがあるかもしれません。今度から司会と受付で2人コンパニオンを雇おう、と思いました。これは100％私の趣味の世界ですけど。

CPU 100%

2008-02-01T02:00:00Z

昨日は近所のスーパーで冷凍食品が45%引きの日だったので子供のお弁当用にたくさん買い込みました。私が子供の頃も合成着色料とかいろいろ危うそうなのがありましたが、いまもってこういう問題はなくなりませんね。それはそうとして、スーパーでは月に一度冷凍食品の大幅割引の日がありますが、これが理にかなったプロモーションなのかいつも不思議に思います。少なくとも私はこの日にしか買いませんから。

さて最近の High Performance Computing の環境としては、PC クラスタと呼ばれるコモディティの製品を多数並べるタイプのものが多く使われます。歴史的にはベクトル計算機が以前は主流で、それから Massively Parallel Processor (MPP) と呼ばれる専用機や Unix サーバーが主流になり、そして PC クラスタになっています。このグラフは Top500 にエントリしている計算機のアーキテクチャの変遷で、2000年頃から急激に PC クラスタの割合が増えています。

PC クラスタは比較的廉価なので、ノード数を簡単に増やせるのですが、ノード数を増やすと当然電気使用量も増えます。なので PC クラスタを調達する時に、調達するノード数を決めるのは予算額ではなく、そのマシンを設置する場所の電気容量だとよく言われます。つまりお金はあっても電気が足りない、という理由でノードが調達できないこともあります。

昼間は ITpro EXPO の展示説明員で、もう疲れてよれよれですが、夜は調布のマシンで遊んでいます。Windows HPC Server 2008 のベータ版のバグをなんとか掻い潜り、全43ノードへの展開が終わりました。まずは Top500 でコンピュータのランク付けに使われている Linpack を流しています。小さい問題サイズでは全ノードを使ってちゃんと流れて軽く 1TFlops (一秒間に一兆回の計算）を出しました。さあ、それではメインイベントと最大サイズで全ノードを使って Linpack を流すと、、、電源のブレーカが落ちてしまいました。電源容量が足りなかったようです。

HPC 以外のアプリケーションでは全 CPU の稼働率が 100% の状態が長く続くということはありません。なので普通は電源の設計でも全ノードの全 CPU が稼働率 100% の状態が何時間も続くとは想定しません。しかし HPC ではそれが当たり前で、HPC では CPU を休ませることなどありません。今回は残念ながら HPC でのこうした CPU 負荷について考慮されていなかったようで、電源が足りませんでした。

Windows Server で HPC をやることのメリットの一つとして、他のファイルサーバーやデータベースサーバー、ウェブサーバーなどに使われている Windows Server と同じツール、ノウハウで HPC 用のマシンも管理できるということがあります。しかし管理ツールなどでは設定の際に注意が必要です。たとえば Windows Compute Cluster Server 2003 には Microsoft Operations Manager (MOM) の管理パックがあって、MOM を使って CCS のノードを管理できますが、デフォルトで使うと HPC のアプリケーションの実行中に CPU 負荷率が 100% の状態が長く続くと「異常」と判断してしまうので、こういう状態を異常と認識しないように設定を変えてやる必要があります。

Linpack を流すのは今回のように新しいシステムを導入した時が多いですが、これはそのシステムの性能を測るというだけではなく、システムに負荷をかけて初期不良を見つけたり、今回のような電源の確認をすることも目的の一つでもあります。ですので、ブレーカは落ちましたが、来週以降の一般公開前にそれが判明したことは幸いであったと思います。

日本ガンバレ！

2008-01-30T02:00:00Z

毎年6月と11月に世界のスーパーコンピュータの上位500システムのランキングである Top500 が発表されます。Top500 は1993年から発表されていますが、このグラフは Top500 にランクインしたシステムの数を国別にプロットしたものです。

一番大きな部分はもちろんアメリカでずっと一番多いです。日本はその上の黄土色です。1993年当初はアメリカに次ぎ大きなポーションを占めていましたが、徐々に数を減らし、今ではイギリス、ドイツに抜かれ4位です。スーパーコンピュータの数は国力に比例するものですから、このグラフを見ると最近の日本株安も理解できる気がします（私が娘をインドの幼稚園に入れているのも日本のこうした状況を意識した結果でもあります。実際世界で4番目に速いコンピュータはインドにあります。1位から3位はアメリカです）。ドイツも日本同様に少しずつシェアを下げていますが、逆に上げているのがイギリスです。イギリスが順位を上げている理由は偏に金融機関の力です。イギリスからのランクインには金融機関が目立ちます。

実はこの金融機関が現在 High Performance Computing の世界をリードしつつあります。たとえばアメリカのゴールドマン・サックスは40,000ノードの PC クラスタシステムを持っているそうです。それ以外の名だたる金融機関は軒並み10,000ノードクラスのシステムを持っています。彼らはこうした巨大システムを利用して日々大量の計算を実施し、商品開発や投資業務、時価会計処理をしています。なぜ金融機関がこれほどまでのシステムを必要とするのか、というと現在の金融商品が極めて複雑だからで、単純に儲かっているのか損しているのか分からないものが多いからです。

たとえば今日1ドルが105円とした場合、一ヶ月後に1ドルを110円で売る権利（オプション）を1ドル当たり５銭で売ったとするとそのオプション商品は儲かるのか、損するのかはかなり複雑な計算に基づく予測が必要になります。さらにサドンデスの条件、たとえば期間中に一度でも１ドルが100円を下回った場合には権利が消滅する、というようないわゆるエキゾチック・デリバティブなどになるともっと多くの計算が必要になります。金融機関はこういう商品を開発する際にも、実際に販売した後にも、今日現在儲かっているのか損しているのかをマーケットのデータを入れながら常に計算をし続ける必要があるためにこうした大規模なシステムが必要になるのです。

しかも面白いことに金融機関にとってこうした大規模システムの投資はコストになりません。なぜなら大規模システムを持ち、たくさん計算をすればするほどより儲かる新しい金融商品を他社に先駆けて提供できるからです。なので計算機をたくさん持つ会社はどんどん儲かり、持たない会社は儲けられないということになります。

欧米、特にアメリカとイギリスの金融機関の多くはこうした大規模システムを持ってはいますが、実際に Top500 にチャレンジすることは稀です。なので、現在金融機関が持っている巨大システムでみんなが Linpack を流したら、Top500 の上位は金融機関が独占してしまうかもしれません。

翻って日本を見ると、こうした金融機関の大規模クラスタは皆無に等しいです。何度もこのブログに書いた三菱UFJ証券様のシステムが唯一と言ってもいいものです。こんなことで日本の金融機関はいいのか、やばいんじゃないのか、という危機感を当の金融機関の方々もお持ちになり、野村證券さんが音頭を取り、グリッド協議会に「金融グリッド分科会」が発足することになりました。今日はそのキックオフを兼ね、金融グリッドをテーマにしたワークショップが品川のカンファレンスセンターで行われました。

私は霞ヶ関の通産省の会議室で発足準備委員会をやっていた2002年の今頃からグリッド協議会に関わり、ずっと運営委員をしています。この2年は運営委員としてワークショップの開催を担当しているので、今回のワークショップでもアジェンダ作りをお手伝いしました。今回はまず問題を提起された野村證券の白坂様のご講演から始まり、明治大学の永原先生のアカデミックでの取り組みのご紹介、さらに三菱UFJ証券様からの事例のご報告、そしてベンダーを代表してインドのタタとデータシナプスの講演、そして最後に関係者のパネル討論という盛りだくさんの内容でした。我ながらいいアジェンダだと思います。有料にしても満席になったのではないかと思いますが、グリッド協議会のワークショップとしては過去最高に近い250名弱の方にご参加いただきました。今回初めていらっしゃる方が多く、いつものグリッド協議会と違ってダークスーツ姿の方が目立ちました。

今日のワークショップでの一番の論調は「みんなで頑張って日本をなんとか再生しようよ」というものでした。金融グリッド分科会は2月15日に第一回の会合を開き、その後2週間に一度のペースでかなり密な議論をしていく予定になっています。今日のワークショップは一般向けにオープンのものでしたが、分科会は会員限定のものです。もし興味のある方はぜひグリッド協議会にご入会いただき、ぜひ議論に参加してください。そして日本の再生へ向けてみんなで頑張りましょう！