Windows HPC Server 2008 に関連する情報発信 Windows HPC Server 2008 選任のプリセールスエンジニア が できるだけ タイムリーに情報発信を行います。Windows HPC

Microsoft Japan HPC Team Blog (From Naoki Shibata)

title

マイクロソフトがリリースしている HPC 向けOS製品 「Windows HPC Server 2008」 を使用してHPCクラスタシステムを活用していただく為に有用な情報をわかりやすい内容で発信していきます。 OSだけではなくマイクロソフト製品でHPCに関連する 並列計算向け 開発 ツール、 クラウドコンピューティング 等々 HPCソリューションに役に立ちそうな話題もご提供していきます。 マイクロソフトのHPC製品情報はこちらで発信しておりますので併せてご覧ください。

Windows HPC の最新情報満載の"HPCニュースレター”の購読はこちらからご登録ください!!

  • ファイアウォールポート

    皆さん、こんにちは。 マイクロソフトの柴田です。
    今週は寒くなったり、暖かかったりと気候もめまぐるしく変化しています。 体調管理には十分ご注意くださいませ。 

    さて、今日は、Windows HPC Server 2008が立ち上げているサービスが使用しているポート番号情報についてです。 最近よく聞かれるのでメモしておきます。

    下記がサービスごとに使用しているポートになります。 ファイアーウォールでポート管理をされている場合は、下記のポートについて許可して頂ければと思います。

    ポート番号 (TCP) 必要になる場合

    5969

    エンタープライズ ネットワーク上のクライアント ツールが、ヘッド ノードの HPC ジョブ スケジューラ サービスに接続するために必要。

    9892, 9893

    計算ノードの HPC 管理サービスがヘッド ノードの HPC システム定義モデル (SDM) サービスと通信するために使用。

    5970

    計算ノードの HPC 管理サービスとヘッド ノードの HPC ジョブ スケジューラ サービスの間の通信に使用。

    9794

    計算ノードの ExecutionClient.exe とヘッド ノードの HPC 管理サービスの間の通信に使用。ExecutionClient.exe は、計算ノードの展開プロセスで使用されます。コンピュータのイメージの作成、すべての必要な HPC コンポーネントのインストール、ドメインへのコンピュータの参加などのタスクを実行します。

    9087, 9088, 9089

    エンタープライズ ネットワーク上のクライアント アプリケーションと Windows Communication Foundation (WCF) ブローカ ノードが提供するサービスの間の通信に使用。

    1856

    ヘッド ノードの HPC ジョブ スケジューラ サービスが、計算ノードの HPC ノード マネージャ サービスと通信するために使用。

    8677

    ヘッド ノードの HPC MPI サービスと計算ノードの HPC MPI サービスの間の通信に使用。

    6729

    計算ノードからヘッド ノードまたは WCF ブローカ ノードに送られる管理サービス トラフィックに使用。

    5800

    エンタープライズ ネットワークの HPC コマンドライン ツールとヘッド ノードの HPC ジョブ スケジューラ サービスの間の通信に使用。

    5801

    エンタープライズ ネットワークのリモート ノード サービスが、ノード グループ内のノードを列挙するため、またはノードをオンラインまたはオフラインにするために使用。

    5999

    エンタープライズ ネットワークの HPC クラスタ マネージャが、ヘッド ノードの HPC ジョブ スケジューラ サービスと通信するために使用。

    443

    エンタープライズ ネットワーク上のクライアントが、ヘッド ノードの HPC Basic Profile Web サービスに接続するために使用。

    アプリケーションが特定のポートでヘッド ノードまたはクラスタ ノードにアクセスする必要がある場合は、これらのポートを Windows ファイアウォールで手動で開く必要がありますので語注ください。

  • HPC 関連の最新 KB や ドキュメントをダウンロードしたい場合

    皆さんこんにちは。 マイクロソフトの柴田です。

     

    先週、今週とワークショップの準備とデリバリで本当に忙しすぎて。。。なのですが、日頃のサポートは容赦無くやってきます。

    やれることは限られていますので、いくら Push されてもプライオリティ付けを自分の中でこっそりしていたりします。 頼んでいる方は納得がいかないと思いますが、徐々にやっていきますのでご勘弁を!! (と、この場を借りてお詫びしています。。)

     

    本題に戻りまして、 本日の話題です。

    今日はタイトルの通り「HPC 関連の最新 KB や ドキュメントをダウンロードしたい場合どうやって調べるか?」について、一番簡単な方法をお知らせします。

    残念ながら弊社の製品ページでは、この手の最新情報はアナウンスしていないので、下記の様にマイクロソフトダウンロードセンターにて、 「 HPC 」 と検索し、 USサイトの検索にチェックをいれ、時系列でソートすると、わかりやすいと思います。 是非お試しくださいませ。 よろしくお願いします。

     

     

     

  • SDKのドキュメントとサンプル等々。。英語版

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    今週の東京はとても寒いです。 2回も雪を見ながら今週行われた、パートナー様向けワークショップをデリバリしておりました。 ハードワークでしたが、ワークショップのために足を運んでくれた皆様に Windows HPC を触れていただくことができて本当に良かったです。

    さて本題です。。

    常日頃から、SDK周りの情報が少ないと皆様からご指摘を受けている訳ですが、MSDNのサイトにはSDKのドキュメントと簡単なサンプルも載っております。 英語版なのですが、 参考になれば幸いです。

    また、 SDK も SP1 が出ておりますので、新規でインストールされる場合は是非こちらからダウンロードをお願いします。

     

     

     

  • 来週のワークショップにむけて準備中

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    今週は、 来週、再来週で開催予定の パートナー様向けワークショップの準備の真っ最中です。。。

     

    これまでは、どちらかというとシステム構築と管理系のワークショップを開催してきたのですが、今回はより運用に的を絞った形で実践的な使用方法、アプリ開発方法に焦点をあてた内容としました。(もちろん、システム構築と管理系もあります!!) ここ数ヶ月でより多くのワークショップの機会を作り、Windows HPC Server の具体的な利用イメージをつかんでいただければと考えおります。

     

    さらに、今回は講師が3人に増え、パワーアップしております。 日本のマイクロソフトでもHPC担当の技術者が増えてきている訳ですが、このあたりはまた時期を見て皆様にもご紹介させていただきます。

     

    今回作成した資料は何らかの形で皆様へお届けできるようにします!! どうぞご期待ください。 

  • Office 製品と Windows HPC Server の組合せを今更ながら考える。。

    皆さん、 こんにちは。 マイクロソフトの柴田です。

     

    先週は、同志社大学での授業登壇、  Windows HPC コンソーシアムでの発表 + 体調不良でアッという間に終わってしまいました。 今週は来週パートナー様向けに行う予定のワークショップについて鋭意準備をしています。

     

    さて、本題です。 今週弊社の Visio 担当の SE と立ち話をする機会がありました。 Visio のワークフローモデリングとHPC Server の管理などを組み合わせた面白いソリューションができないかなぁ。。という思いをすかさずインプットしました。 HPC と Office 製品の組み合わせのソリューションができるのは、いかにも マイクロソフト らしいのですが、 これまで積極的にソリューションを考えたり、 デモを構築したりすることはありませんでした。  もちろん、 Sharepoint を組み合わせたジョブポータル的なデモなどは、先の SC09 でお披露目しているわけですが、 日本でも容易に HPC システムを導入できるような訴求ネタとして準備しようと決めました。 時間がかかるかもしれませんが、 何とか頑張ってみようと思います(あとは時間をどれだけ作れるか。。。。 )

     

    やりたいことはいっぱいです。。  もう少し考えを煮詰めてこの Blog でも発信していきたいと思いますので、何か要望やアイデアのある方は是非お知らせください。 よろしくお願いします。

  • 新しい Windows HPC Server 2008 R2 Beta1 を是非お試しください!!

    皆さん、 こんにちは。 マイクロソフトの柴田です。

     

    今週は京都、大阪と出張していたのですが、とーっても寒かったです!! 雪と風でキンキンに冷え切っていました。 東京も寒いですが、さらに上を言ってました。。

     

    さて、今日はまたまた、改めまして Windows HPC Server 2008 R2 Beta1 のご案内です。

    弊社の Web から ダウンロード先へのリンクを張っております。(ダウンロードサイトと、提供は英語版になります。。) 是非、ダウンロードしてお試しいただければ幸いです。

    その中でご意見、ご質問等がありましたら、ご遠慮無く弊社担当までご連絡いただければ幸いです。

    Windows HPC Server の Web を是非チェックしてみてください。 よろしくお願いします。 

     

  • 本年もお世話になりました。+ 告知!!

    皆さん、こんにちは。 マイクロソフトの柴田です。

     

    早いもので、年末です。 柴田も明日で本年の業務を終了する予定です。 本年も皆様には大変お世話になりました。 今年は、自分にとって HPC 関係者として大きな経験をさせていただきました。 昨年に引き続き、Windows HPC コンソーシアムの共同研究員として、同志社大学での授業登壇、 HPC関連書籍の執筆と発売、 そして念願の SC へ行けたことなど、 本当に充実した年になりました。また、日頃の業務ではお客様、パートナー様に多大なるご協力を頂き、この場をお借りしまして感謝申し上げます。 来年もさらに気合いを入れてがんばって参りますのでよろしくお願いします!!

    で、今年の最後に1つ告知です。

    来年、1月20日に Windows HPC コンソーシアムのセミナーを開催します。 なんとあの University of TennesseeのJack Dongarra教授も登壇します。 是非皆さんのお越しをお待ちしております。 詳細は下記をご覧くださいませ。

    http://www.is.doshisha.ac.jp/WindowsHPC/meetings/100120.html

    それでは、皆様良いお年を!! 

     

  • ジョブの出力ファイル名にジョブIDをつけたい時

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    最近、 ちょっとしたことでも ブログで情報を発信していければと気合いを入れ直して更新頻度をあげております。 中には、そんなことは知っているよー という内容も入っていることはありますが、どうか暖かく見守ってくださいませ。

     今日は、ジョブを投入する際の環境変数の活用ネタです。

     GUIでも、コマンドラインでも ジョブを投入すると、ジョブIDが振られているのはご存じと思います。 例えば、同じジョブを何度も投入する際、出力ファイル名をその都度書き換えるのは面倒な作業です。 そこで出力ファイル名にジョブIDが自動的付加されているとファイル名の見通しも良くなると思います。

    そんな時に活躍するのが、 「CCP_JOBID」環境変数です。 この値を出力ファイル名にしておけばOKです。 例えば、 ジョブID 200 のジョブの出力ファイル名を

    output-200.out

    としたい場合、 出力ファイル名指定を

    output-%CCP_JOBID%.out

    としておけば、ジョブを投入する度に出力ファイル名を任意で出力することが可能になります。 以外に重宝しますので、是非ご活用頂ければ幸いです。 先日、 「CCP_SCHEDULER 」 環境変数の話を書きましたが、 これら以外にも有用な環境変数がありますので、随時この場で共有させて頂ければと思います。

     

  • Dryad LINQ と Windows HPC Server 2008 R2

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    Windows HPC の 開発系ワークショップからようやく帰国 ( 上海でやっていました。。 ) して今日からフル回転でがんばっています!!

     

    さて、今日は最近話題の Dryad LINQ と Windows HPC Server 2008 R2 についてです。

    先日ご報告した、 SC09 でも展示がありましたが、より詳細な発表は同時期に行われておりました 「 PDC09 」 で行われておりました。

    Dryad LINQ について柴田があれこれ語るのはいろいろとよろしくないようなので、ご興味のある皆様はここ から PDC09 のセッションと発表資料が入手できますので、ご覧いただければと思います。。

    最近よく思うのが、 Windows HPC って本当にいろいろな可能性があって 他のOSや他社さんのソリューションと比べればまだまだなのかもしれないですが、開発者の方や、利用者の方が楽しめるインフラが作れそうだなとつくづく感じます。 じゃあ、それは何なのかというところに関しては、このブログで積極的に発信していきたいと思っておりますので、引き続きご覧いただければと思います。

     

  • HPC TTT in Shanghai

    皆さん、こんにちは。 マイクロソフトの柴田です。

    今週は寒いみたいですね。。。 柴田も今週は出張で上海に来ていますが、こちらも日本と同じく寒いです!!

    なぜ上海に来ているかというと、「TTT(Technial Training for Trainers)」に参加するためでした。 今後日本の皆様に新たな HPC トレーニングを企画しているのですが、 その内容も今回参加したトレーニングの内容をデリバリする予定です。 是非ご期待ください。

    今週は月曜から金曜までびっちり上記の研修で、内容はいままでご提供してきた構築系よりも開発系な内容になっていました。 おもに Windows で行うHPCプログラミングとうい形で、

    ・ マルチスレッディング

    ・ OpenMP

    ・PFX (Parallel Extension)

    ・MPI (デバッグ、トレースも含む)

    ・HPC SDKを使用したアプリケーションの作成

    と言う流れで、実習も交えた研修でした。 この内容を皆様へお届けできると思うとわくわくします。 日本でのセッションの内容についてはまた追って内容が決まり次第ご案内しますのでご期待ください。 今回は日本から 他2名の マイクロソフトの技術者を派遣していまして、今後テクニカルな情報のデリバリは3人でお届けすることになると思いますので、よりパワフルになるマイクロソフト HPC に是非ご期待くださいませ。

     

  • クライアントPCからジョブをサブミットする時

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    今週は、研修で上海に来ています。今年の後半は海外出張が意外にも多く、体調が万全ではありませんが年末年始はしっかり休んでリフレッシュする予定です。 皆さんも師走で多忙と思いますが、体調管理をしっかりとしてください!!

    さて、今日の内容は最近よく聞かれる「 クライアント PC から HPC Server を制御する」為の tips です。

    もちろん、 HPC クラスタマネージャ ( 管理者向け ) 、ジョブマネージャ( ユーザー向け ) を使用しますが、コマンドベースで利用する場合は、「 /scheduler 」 オプションを利用します。 たとえば、 job submit コマンドを利用する場合は下記の様に入力します。

    c:\> job submit /scheduler:hpchead /numcores:2 mpiexec a.out ..

    もちろん、上記の使用方法でなんら問題ないのですが、/scheduler を入力する手間を省きたい場合は、 CCP_SCHEDULER 環境変数を設定します。 上記の例であれば、 CCP_SCHEDULER に hpchead を設定すれば、 job コマンドだけでなく HPC Pack の各種コマンド( clusrun コマンドなど) もこの設定で、 /scheduler オプションを省略できます。 GUIで環境変数を設定したい場合は、コンピュータのプロパティ内のシステム詳細設定の中で指定が可能ですので、 一度試してみてください。

     

  • キット(!?) どこよりも遅いSC09レポート・・・ その2

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    先日、 SC09 に関する記事をポストしましたが、 本日は第二弾です。

    SC09 の マイクロソフトブースで行われた東工大様のセッションがありましたので、その状況をご報告します。

    講演者は、東工大の松岡教授で、東工大の次期システムである 「TSUBAME 2.0」 について講演されました。 本セッションはマイクロソフトの Windows HPC Server の開発責任者である、 Kyril Faenov との共同プレゼンテーションの形で行われました。 下記がその様子です。

    SCS09-4

    松岡先生からは、 TSUBAME の歴史から、TSUBAME で行われている各種計算の内容の説明、 そして来年構築が予定されている TSUBAME 2.0 のデザインについても触れられていました。 CPUとGPUを用いるシステムは 3Pflops を実現予定とのことでした。 日本のスパコンが、 Top500で再び上位に返り咲く日はそれほど遠くないところまで来ていることがわかり、なんだか胸高まりました!! 講演中は座席も埋まり、通路に立ち見が大勢並ぶ、非常に人気の高かったセッションだと思います。 

    この講演以外にも、パートナー各社様に登壇頂いたセッションはいずれも盛況だったと思っています。 いろいろな意味でマイクロソフトはHPC の世界では、期待されていると実感したのでした。。 (これは、 最近の日本のお客様からの要望もより実践的な内容にじゃって来ていることからもひしひしと感じる毎日です。。)

    もっともっと、いろいろな情報を皆様に展開しないとと思いつつ、 1人ではなかなか手が回らずですが。。。 今後ともよろしくお願いします。

     

  • キット(!?) どこよりも遅いSC09レポート・・・ その1

    皆さん、 こんにちは。 マイクロソフトの柴田です。

    もうすっかり冬で、 しかも師走の12月。。 ちょっと前にSC09から帰国したと思ったらあっという間に12月になってしまいました。。

    帰国後も何かと忙しかったり、 休暇を頂いたりしていて SC09の話題をポストするのが今日になってしまいました。。 でちょっと古いですがレポートをしたいと思います。

    柴田自身が HPC を長年携わっての初めての SC に期待と不安で、会場のある オレゴン州 ポートランド に乗り込みました。。 で、第一印象は HPC イベントとしては、本当に大きな そして HPC に関わるたくさんの皆様が日本からも多く押し寄せているという印象でした。 ( キット、景気が良ければもっと大勢の日本の皆様が訪れていたのかもしれません。。)

    展示会場ですが、マイクロソフトは最大級のブースを構え目立つ存在になっていました。  ブースは Windows HPC Server 2008 R2 ( 来年発売予定の新製品、 マイクロソフトの HPC 製品では3世代目になるので、 V3 と呼ぶ場合もあります。 ) のデモを中心に、 パートナー様製品 + Windows HPC Server のデモが行われました。 また、シアターセッションブースもあり、 パートナー様のセッションがあったり、 ブース中央にはフライトシミュレータ体験コーナー(乗っていないのでわかりませんが、結構行列でした。。)、 XBOXラウンジ等があり 大勢の方でブースは盛り上がっていました。 いい意味にとらえて 非常に注目されていたと思います!!

     こちらは、マイクロソフトブースを遠目から撮影したものです。

     SC1

    Windows HPC Server 2008 R2 を含めたデモセッションは盛りだくさんで主なコンテンツは、下記の通りでした。

    • Sharepoint を活用した HPC ポータル
    • Excel 高速化ソリューション
    • ジョブスケジューラ 
    • Windows HPC Server の管理ツール
    • Dryad LINQ
    • VAMPIR7 による MPIアプリケーションのプロファイル
    • Moab による Windows HPC と Linux HPC の相互運用
    • IBM GPFS + Windows HPC Server 2008 などなど。。 他多数。

    その他にもデモが準備され、どれもお客様が多数デモステーションに立ち寄られおかげさまで盛況となっていました。

    柴田自身も、 Windows HPC Server 2008 R2 のジョブスケジューラの機能のデモ担当をさせて頂きました。 何人か日本からのお客様にも立ち寄っていただきましたので、日本の方には先日リリースさせていただいたHPC書籍をプレゼントさせて頂きました。 (下がそのデモステーションの様子です。)

    SC2

    担当ブースでは、ジョブスケジューラのデモということで新機能のジョブプログレス表示の実演、 ユーザアプリケーションに組み込み可能なジョブプログレスAPI、 ジョブの優先度に応じてリソース割り当て比率がリアルタイムに変わるプライオリティベースのジョブスケジューリングのデモの実演を行いました。  このデモは日本でも皆さんにお見せできるように準備していきたいと思います。 また、このブースでは併設して Dryad LINQ のデモも行われており、 たくさんの方が興味を持って質問も活発に行われていました。 特に HPC Server との組み合わせアプローチも非常に興味深い内容になっています。 デモも、もちろん準備したいところですが、 今月からお客様、パートナー様にも HPC Server の新しいトピックをアップデートさせていただきたいと思っておりますので、 ご興味のある方は、弊社担当までお気軽にお問い合せください。

    Windows HPC Server 2008 R2 の新機能詳細については、 また別のポストで共有させていただきたいと思います。 来週は研修で海外出張してしまいますが、できるだけ時間を空けないよう努力はしたいと思います。。。。  

  • SQL Express Edition からStandard Editionへのアップグレードの必要性

    皆さん、こんにちは。 マイクロソフトの柴田です。

    季節の変わり目ですっかり体調を崩し、処理能力が落ちております。。 体調管理はしっかりしないといけないですね。。

     

    さて、今日は技術的な話題です。 最近よく聞かれる項目として「ヘッドノードにインストールされる SQL Server の限界値」、通常版のSQL Serverに変更する為に検討する項目について、よく聞かれるようになりました。 今日は、弊社ドキュメントに記載されている本項目について少しまとめてみます。 システム構築、もしくは導入を検討されている方は是非参考にして頂きたいと思います。

    まず、 Windows HPC Server 2008 にはジョブスケジューラや各種ログを管理する為に SQL Server を利用しています。 実際にシステムではヘッドノードにて  「COMPUTECLUSTER」 というインスタンスが動いています。 HPC Pack をインストールする際に SQL Server は無償の SQL Server 2005 Express Edition がインストールされます。 デフォルトではこちらを使用しています。 もちろんこのまま利用しても問題が無いのですが、 SQL Server Standard Edition の下記の機能を利用したい場合はアップグレードを検討する必要があります。

    • データベースの容量制限の排除したい場合  (SQL Server 2005 Express Edtion の DB サイズ制限は 4GB です。)
    • SQL Server Management Studio で SQL データベースの設定やメンテナンスを行う必要がある。
    • ヘッドノードの冗長化 (HA構成を組む) の必要がある。
    • ヘッドノードがマルチCPU(コア)構成の場合で、マルチスレッドの高性能性を生かしたDB運用をしたい場合(要はSQLの性能向上を目指す場合)。
    • DBキャッシングで無制限のメモリを使用したい場合。

    また、 システムが大規模かつ大人数での利用。 そしてたくさんのジョブを処理しなければならない場合はパフォーマンス維持の観点から SQL Server のアップグレードも検討しなければなりません。 あくまでも参考値ですが下記の様なシステムになる場合は SQL Server のエディションの検討をお願いします。 (あくまでも参考値です。 )

    • 128ノード以上のクラスタを大人数で使用する場合。
    • クラスタシステムで大量のジョブを処理させたい場合(例えば、1日で 10000ジョブ以上を処理したい場合)。
    • SQL Server の豊富なフル機能を使いたい場合
    • Windows HPC Server 2008 のDBサイズが制限値を超えてしまった場合(4GB以上)

    あくまで参考値では有りますが、システム設計時の参考にして頂ければ幸いです。 

     

     

  • 11月発売決定。 Windows HPC Server 2008 関連書籍

    皆さん、こんにちは。 マイクロソフトの柴田です。

    もうすっかり秋の装いですね。 朝晩はかなり涼しくなってきていますので季節の変わり目の体調管理をしっかりせねばと思っている今日この頃です。

     

    さて、実はかなり長らく作成を続けておりました Windows HPC Server 2008 の書籍がようやくリリースされることになりました。 現在マイクロソフトで非定期に開催させて頂いているトレーニングのマテリアルの内容も活用させて頂いています。 内容的にはまず WIndows HPC Server 2008 をインストールし、基本的な操作ができる部分までをサポートした内容になっております。 ディープなHPCユーザーの皆様には物足りなさも感じるとは思いますが、是非お時間のあるときにチェック頂ければと思います。

    書籍は11月9日発売予定です。 詳細はこちらもご覧ください。

    書籍名: 徹底解説Microsoft Windows HPC Server 2008

    発行元: 日経BPソフトプレス(マイクロソフトプレス)

    価格: 4200円(税込み)

     

    よりディープな内容の解説に関しては何らかの形で皆様へ配信できるようプランしますので、 「こういう内容がほしい、聞きたい」など是非ご意見をお寄せください。 よろしくお願いします。 

     

     

     

More Posts Next page »

© 2010 Microsoft Corporation. All rights reserved. Terms of Use  |  Trademarks  |  Privacy Statement
Microsoft
Page view tracker