Microsoft Japan HPC Team Blog (From Naoki Shibata)

SQL Express Edition からStandard Editionへのアップグレードの必要性

nshibata — Thu, 29 Oct 2009 05:34:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

季節の変わり目ですっかり体調を崩し、処理能力が落ちております。。体調管理はしっかりしないといけないですね。。

さて、今日は技術的な話題です。最近よく聞かれる項目として「ヘッドノードにインストールされる SQL Server の限界値」、通常版のSQL Serverに変更する為に検討する項目について、よく聞かれるようになりました。今日は、弊社ドキュメントに記載されている本項目について少しまとめてみます。システム構築、もしくは導入を検討されている方は是非参考にして頂きたいと思います。

まず、 Windows HPC Server 2008 にはジョブスケジューラや各種ログを管理する為に SQL Server を利用しています。実際にシステムではヘッドノードにて「COMPUTECLUSTER」というインスタンスが動いています。 HPC Pack をインストールする際に SQL Server は無償の SQL Server 2005 Express Edition がインストールされます。デフォルトではこちらを使用しています。もちろんこのまま利用しても問題が無いのですが、 SQL Server Standard Edition の下記の機能を利用したい場合はアップグレードを検討する必要があります。

データベースの容量制限の排除したい場合 (SQL Server 2005 Express Edtion の DB サイズ制限は 4GB です。)
SQL Server Management Studio で SQL データベースの設定やメンテナンスを行う必要がある。
ヘッドノードの冗長化 (HA構成を組む) の必要がある。
ヘッドノードがマルチCPU(コア)構成の場合で、マルチスレッドの高性能性を生かしたDB運用をしたい場合(要はSQLの性能向上を目指す場合)。
DBキャッシングで無制限のメモリを使用したい場合。

また、システムが大規模かつ大人数での利用。そしてたくさんのジョブを処理しなければならない場合はパフォーマンス維持の観点から SQL Server のアップグレードも検討しなければなりません。あくまでも参考値ですが下記の様なシステムになる場合は SQL Server のエディションの検討をお願いします。 (あくまでも参考値です。 )

128ノード以上のクラスタを大人数で使用する場合。
クラスタシステムで大量のジョブを処理させたい場合(例えば、1日で 10000ジョブ以上を処理したい場合)。
SQL Server の豊富なフル機能を使いたい場合
Windows HPC Server 2008 のDBサイズが制限値を超えてしまった場合(4GB以上)

あくまで参考値では有りますが、システム設計時の参考にして頂ければ幸いです。

11月発売決定。 Windows HPC Server 2008 関連書籍

nshibata — Thu, 15 Oct 2009 00:55:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

もうすっかり秋の装いですね。朝晩はかなり涼しくなってきていますので季節の変わり目の体調管理をしっかりせねばと思っている今日この頃です。

さて、実はかなり長らく作成を続けておりました Windows HPC Server 2008 の書籍がようやくリリースされることになりました。現在マイクロソフトで非定期に開催させて頂いているトレーニングのマテリアルの内容も活用させて頂いています。内容的にはまず WIndows HPC Server 2008 をインストールし、基本的な操作ができる部分までをサポートした内容になっております。ディープなHPCユーザーの皆様には物足りなさも感じるとは思いますが、是非お時間のあるときにチェック頂ければと思います。

書籍は11月9日発売予定です。詳細はこちらもご覧ください。

書籍名: 徹底解説Microsoft Windows HPC Server 2008

発行元: 日経BPソフトプレス(マイクロソフトプレス)

価格: 4200円(税込み)

よりディープな内容の解説に関しては何らかの形で皆様へ配信できるようプランしますので、「こういう内容がほしい、聞きたい」など是非ご意見をお寄せください。よろしくお願いします。

CEDEC 2009 に行ってきました

nshibata — Fri, 04 Sep 2009 08:46:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

先日、CEDEC 2009に行ってきました。 HPCな皆様にはあまり馴染みのないイベントかと思います。簡単に言えば、ゲーム開発者向けの技術フォーラムという感じです。
なぜ、そんなところへ行ったかというと、スクウェア・エニックス様の講演を聴きに行ったのでした。

で、なぜ聞きに行ったかといいますと、「GPGPUを利用した高速グローバルイルミネーションレンダラー」に関する講演内容だったからでした。

実際には6枚のGPGPUを利用して高速なレンダリングを行う技術ということでデモも実演されていました。

(講演されていた理論等はなかなか柴田にとっては高度でしたが、実際のレンダリングもデモを見てそのCGの自然な表現に驚かせられました!!)

この記事内では数字を語ることは控えますが、従来環境と比べ遙かに高い性能を発揮しているということでした。まさにHPCの世界です。

そしてこのデモ環境で使用していただいたOSは、そう「Windows HPC Server 2008」です。講演の最後に使用された環境ということで製品のロゴまで大々的に出していただきました!! スクウェア・エニックス様ありがとうございました。

今まで、HPCとしては個人的にあまり携わってないゲーム業界の片鱗に触れられた貴重な体験でした。この分野でも Windows HPC Server 2008 をご選択いただける機会が増えるといいなと思います。

HPC の夏 TechEd 2009 のご案内

nshibata — Tue, 18 Aug 2009 08:06:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

マイクロソフトの夏のイベントといえば「TechEd」です。毎年様々な技術情報を皆様へお届けしています。今年も8月26日からパシフィコ横浜にて開催されます。今年の目玉はなんといっても「Windows 7 」と「Windows Server 2008 R2」ですが、もちろん HPC 関連のセッションも開催されます。下記の3セッションを是非チェックしてみてください。

「オープンステージ」

MSR-02 身近な処理をスパコンで高速化!! - Windows HPC Server 2008 と Excel で実現するハイパフォーマンスコンピューティング –

スピーカー:マイクロソフト株式会社柴田直樹 http://www.microsoft.com/japan/teched/2009/connect/openstage/msr_02.aspx

日時: 8月26日 16:30-16:45

SPL-01 インテル Parallel Studio のご紹介

スピーカー: インテル株式会社田中智子様 http://www.microsoft.com/japan/teched/2009/connect/openstage/spl_01.aspx

日時: 8月26日 14:55-15:10

「テクニカルセッション」

T1-402: Effective Hyper-V R2 - 仮想マシンはクラスタの夢を見るか?

スピーカー: マイクロソフト株式会社佐々木邦暢, 柴田直樹, 並木知己 http://www.microsoft.com/japan/teched/2009/session/tech_abstract.aspx?T1-402

日時:8月26日 16:50 - 18:00

テクニカルセッションに関しては、配布物には上記の情報は含まれておりません。TechEdのWebにて内容をご確認ください。

このセッションでは、今までのHPCとはかなり違ったデモもお見せできる予定です。是非ご出席予定の方はご参加よろしくお願いします。

64 ビット Windows プログラミングガイド

nshibata — Wed, 12 Aug 2009 04:23:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

今週はほとんどの皆さんがお盆休みなのではと思います。毎年この時期は社内向けの技術がカンファレンスがあったりで技術者にとってはスキルアップの季節という感じです。 Windowsn HPC Server 2008 関連の新ネタも集めて来ましたので、機会を見て皆さんにもご案内参ります。

本日は、MSDNで公開されているドキュメントのご紹介です。 Windows HPC Server 2008 は 64 bit OS なのですが、良くお客様から 64bitに移行する上での技術情報が無いか良く聞かれます。そこで今日はMSDNのドキュメントをご紹介します。

64 ビット Windows プログラミングガイド

ドキュメントは日本語で公開されていますので、是非ご覧ください。よろしくお願いします。

HPC Pack 2008 SP1 とHPC Pack 2008 MPI Cluster Debugger リリース

nshibata — Wed, 15 Jul 2009 09:02:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

早々と梅雨明けしてしましたね。 Windows HPC Server 2008 周りも活気づいてきています。本日は最近リリースされた HPC Pack 2008 SP1 と HPC Pack 2008 MPI Cluster Debugger のご案内です。いずれも下記のリンクよりダウンロード可能です。

HPC Pack 2008 MPI Cluster Debugger は Visual Studio 2008 から利用可能です。詳細な使用レポートが後日またお知らせしたいと思います。

Microsoft HPC Pack 2008 Tool Pack 出ました!!

nshibata — Mon, 29 Jun 2009 10:03:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

弊社は今月が年度末で、最後の追い込みや来期のプランの作成などでバタバタしております。そんな中、今日は久しぶりに新しいキットのご紹介を致します。

その名も「 Microsoft HPC Pack 2008 Tool Pack 」です。中身は HPL(High Performance Linpack) をお持ちのクラスタ (Windows HPC Server 2008 )でウィザード形式で、そのシステムに的確な HPL.datを作成して自動実行までしてくれるもので「lizard」というパッケージが収録されています。

インストールしたら、即使用出来ます。下記に実行イメージを示します。

5回計測してピーク性能を出してくれます。クラスタの動作確認(ネットワークインフラのテストも含めて)にも使用出来ます。

是非利用してみてください。入手はここからお願いします。

講習会の日程変更です。

nshibata — Thu, 21 May 2009 12:14:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

新型インフルエンザが流行していますが、皆さんの会社や学校等の生活に影響が出ている方もいらっしゃるかもしれませんね。早く沈静化することを祈るばかりです。。。

ところで、先日ご案内しました Windows HPC コンソーシアムの講習会ですが、他のイベントと日程が重なるとの理由から下記の日程に変更になっておりますのでご確認よろしくお願いいたします。内容については変更ございません。

Windows HPC　講習会

http://www.is.doshisha.ac.jp/WindowsHPC/meetings/090610.html

* 主催：同志社大学　Windows HPCコンソーシアム

* 日程・会場

o 日時：2009年6月10日（水）　13:00－16:30　（受付開始　12:30）

o 場所：同志社大学　東京オフィス　セミナールーム

〒100-0004 東京都千代田区大手町2-6-2　日本ビルヂング５階

http://www.doshisha.ac.jp/access/tokyo_access.html

* 参加費：無料

場所も変更なく、同志社大学の東京オフィスのセミナールームで開催予定です。当初の予定であった 5/27 が都合が悪かった方は是非参加をご検討ください。よろしくお願いいたします。

講習会開催のお知らせ

nshibata — Tue, 12 May 2009 10:46:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

GWから1週間が過ぎ、皆様もようやく仕事のペースが戻ってきている頃ではないでしょうか。

今日は、 Windows HPC コンソーシアム主催の講習会のお知らせです。来る5月27日に東京で開催します。詳細は下記のAgendaをご覧ください。

Windows HPC　講習会

http://www.is.doshisha.ac.jp/WindowsHPC/meetings/090527.html

* 主催：同志社大学　Windows HPCコンソーシアム

* 日程・会場

o 日時：2009年5月27日（水）　14:00－17:00　（受付開始　13:30）

o 場所：同志社大学　東京オフィス　セミナールーム

〒100-0004 東京都千代田区大手町2-6-2　日本ビルヂング５階

http://www.doshisha.ac.jp/access/tokyo_access.html

* 参加費：無料

概要

Windows HPC Server 2008にてHPCを行う利点は、MPIができるだけではありませ

ん。豊富なSDKが用意されていたり、Popwer Shellなどの各種ツールが使えたり

することなどがあげられます。さらにService-Oriented Architecture、SOAに対

応するなど次世代のHPCのアプローチが検討されています。

本講習会では、座学形式にて、これらの開発系の話題を詳しくご紹介します。ま

た、コンソーシアム企業メンバーから使用の事例紹介やベンチマークの結果など

情報交換も行います。

ふるってご参加ください。

プログラム

14:00 - 14:30

オープニングとWindows HPCコンソーシアムのご紹介

同志社大学　生命医科学部　

教授　廣安　知之

14:30-15:30

HPC Pack SDK 2008 詳解と SOA HPCアプリケーションシナリオ

マイクロソフト株式会社システムテクノロジー統括本部

シニアテクノロジースペシャリストHPC　柴田　直樹

15:30-16:00

Excel高速化への取り組み

マイクロソフト株式会社システムテクノロジー統括本部

シニアテクノロジースペシャリストHPC　柴田　直樹

16:00-16:15

休憩

16:15-16:45

Windows HPC server 利用実例

株式会社　ソフトウェアクレイドル技術部

黒石　浩之

16:45-17:00

事例紹介とベンチマーク

株式会社ビジュアルテクノロジー技術開発本部

西村　圭央

17:00

Q and Aとエンディング

申し込み方法は、上記URL内の連絡先へお願いします。是非ご参加頂ければ幸いです。

よろしくお願いします。

ヒートマップがグレーになってちゃんと表示されない場合

nshibata — Wed, 22 Apr 2009 05:31:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

今週は、とても初夏な感じの気候でなんだか気分も柔らかくなる感じがします。慢性的な肩こりもこの気候でほぐれてくれないかな。。と思っています。。

さて、先日なんですが同僚のドイツのエンジニアにあるサポートのヘルプをしたときに、「それやる代わりに今自分が持っている質問対応してほしい」と言われました。質問は「 HPC クラスタマネージャでヒートマップがグレーになってちゃんと表示されない」ということでした。

以前、何度か見た現象だったので、下記の方法を教えました。

1. ヘッドノード、計算ノードで HPC Node Manager サービスを再起動

2. ヘッドノードで HPC SDM Store service を再起動

これで、大抵うまくいきます。この問題を教えたことで、その10倍くらいすばらしいヘルプをしてもらい、なんだか得した気分です。もし、皆様も同じ現象がでたら、この方法をチャレンジしてみてください。ちなみにサービスを再起動はサーバマネージャから「構成」->「サービス」で UI を開き必要なサービスをクリックして、再起動などの動作をしてみてください。なお、この現象は、単にノードの再起動では解決しない場合がほとんどですので、まずはこの方法を試してみることをおすすめします。

この件に関する情報で何かアップデートがありましたらまた記事を書かせて頂きますのでよろしくお願いいたします。

今さらですが。。Turning a Mac Mini into a Virtual Windows HPC Cluster

nshibata — Tue, 07 Apr 2009 05:52:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

今日は穏やかな気候ですね!! 先日千鳥ヶ淵に桜を見に行ってきました。その時は寒かったのですが、今日はちょうど見頃な感じかもですね!!

今更なんですが、USのサイトに Turning a Mac Mini into a Virtual Windows HPC Cluster なる Video があります。最近 Mac OS をみる機会が実はなぜか多くなっていて、このビデオセッションをみてみました。というかOSのインストールも初めてみたんですが。。

アカデミックな方は、Macユーザーが多いと聞きます。実際に仕事でお邪魔すると使っている方を結構みます。元来UNIXユーザーの方なんかは特に好んで利用しているのかもしれませんね(勝手な推測ですが。。) そんな方でも Windows HPC Server 2008 に触れることもできるんだなぁと今更ながら関心してしまいました。皆さんもお時間の空いている時に是非見てみてください(少し古い発行ですが。。)

こちらからたどることができます。

Windows HPC 製品情報サイト

nshibata — Tue, 31 Mar 2009 05:15:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

弊社は6月が会計年度末となっており、今月で第三四半期が終了し、明日から年度最後の四半期に入ります。日本のお客様は3月が年度末となっていることが多く、 Windows HPC Server 2008 へのお問い合わせやご購入を多く頂きましてありがとうございます。また、最近HPC Server 2008が皆様のお近くに来たという方もいらっしゃると思います。是非ご活用いただければ幸いです。

そこで、今日は Windows HPC Server 2008 関連のURLをまとめてみましたので是非ご覧いただければと思います。

1. マイクロソフトの Windows HPC

マイクロソフト日本のWindows HPC のポータル的なサイトです。 Windows HPC server 2008 の製品情報から評価版へのリンク、有用な情報発信を行っているニュースレターの登録、マイクロソフトの HPC パートナー様の紹介や、プレスリリース、各種メディアの掲載記事などがまとまっています。その他たくさんのコンテンツがありますので、是非ご覧ください。

2. HPC TechCenter

Windows HPC Server 2008 に関する技術情報 ( 主に ITpro 向け ) が掲載されています。まず使ってみたいという方に最適な情報が集まっておりますので、是非ご覧ください。製品ドキュメントに関しては日本語版で提供しております。(一部英語サイトへのリンクもございます。) また、本Blogをはじめマイクロソフトで HPC に関する Blog 3サイトのリンクもございます。

3. HPCニュースレター

Windows HPC Server 2008 製品担当者によるハイ・パフォーマンス・コンピューティング（HPC）に関する様々な最新情報を、定期的（毎月１回）に配信するニュースレターです。 WindowsプラットフォームならではのHPC活用方法、Office連携や対応アプリケーションなどのご紹介、最新導入事例、イベント・セミナー、ウェブキャストやヴァーチャルラボなどの情報をお届けいたします。

今後とも、 Windows HPC Server 2008 をどうぞよろしくお願いします。

ハンズオンセミナー用テキスト完成!!

nshibata — Tue, 24 Mar 2009 11:54:00 GMT

皆様、こんにちは。マイクロソフトの柴田です。

明日は、主にパートナー様向けの1dayハンズオンセミナーを実施します。現在実習用の PC に Hyper-V イメージを仕込んで明日の準備の真っ最中です。

今回から、製本されたテキストも完成し今後セミナーを受講された皆様に配布することになります。 60ページ以上の力作です!!

このセミナーは1日で、インストールからMPIプログラムのコンパイル実行までを体験頂く内容になっております。この資料はもう少し体裁を整えて Windows HPC Server 2008 の製品サイトにも Upload してみたいと考えています。また、このブログをご覧になって「是非受けたい」という方がいらっしゃいましたら、お近くの弊社スタッフまでお問い合わせくださいませ。

この資料は今原稿執筆中の書籍にも内容を反映する予定ですので、ご期待頂ければ幸いです。

GPGPU アプリケーションを Windows HPC Server 2008 から利用する

nshibata — Wed, 18 Mar 2009 04:34:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

諸事情によりまして長期間お休みを頂いておりました。前回の記事でGPGPUの詳細について書きますと言ってしばらく経ってしまいました。。で、この記事にてUpdateを致します。

GPGPUアプリケーションを実行する場合、アプリケーションはコンソールにアタッチする必要があります。ですので HPC Server 2008 のジョブスケジューラを使用する場合は、下記の要領でコンソールにアタッチするオプションをつける必要があります。

job submit /env:HPC_ATTACHTOCONSOLE=TURE your-gpgpu-app.exe

HPC_ATTACHTOCONSOLE 環境変数を設定することで、GPGPUアプリケーションがコンソールセッションで起動の許可を制御できます。

また実行時のTipsとしては、GPGPUアプリケーションを実行可能なマシン ( GPGPU搭載マシンのことです ) を管理コンソールでノードのグループ分けをしておくと良いと思います。ジョブをサブミットする際はGPGPUマシングループにのみサブミットしやすくなると思います。

また、各マシンのコンソールを使用する前にコマンドでロックをしたい場合は下記のコマンドを例にマシンをロックすることが可能です。事前タスクとして使用するとよいでしょう。

rundll32.exe user32.dll LockWorkStation

こちらでは、小さな環境でテストしただけですのでチャレンジされた方は是非フィードバックをお願いします。

Windows HPC コンソーシアム講習会レポートとGPGPUについて

nshibata — Wed, 04 Mar 2009 13:04:00 GMT

皆さん、こんにちは。マイクロソフトの柴田です。

ここ2週間は本当に寒いですね。先週27日に Windows HPC コンソーシアム主催のインストール講習会に講師として参加してきました(去年もこの時期にワークショップでした。) 講習会場の窓から強く降る雪景色を眺めながらの講習会でした。

今回の講習会は、人数も少人数に絞り、各グループへサーバを配置しハンズオン形式でインストールと管理ツールについてトレーニングを提供させていただきました。午前中に製品の概要と WDS をベースにした計算ノードへの OS 配信と HPC Packの自動インストールを説明し、インストールを仕掛けて昼食を兼ねたお昼休みに出ていただき、戻ってきたら計算ノードがインストール終了しているというシナリオで実施しました。　

計算ノードのインストールの容易さを体験頂き、有意義なトレーニングを提供できたと思います。 Hyper-V で 1台のサーバの上に4台の仮想サーバを設定して講習会の実習環境も簡単に用意できるようになったのは Windows Server 2008 のおかげです。

トレーニングコンテンツも充実して参りましたのでできるだけ多くの皆様にご提供できるよう努力して参ります。

また、本日ようやく Windows HPC Server 2008 のジョブスケジューラを利用しGPGPUを使ったアプリケーション( CUDA アプリケーション)を流す検証を社内で行うことができました。要はスケジューラがコンソールを使えることですが、環境変数とrundll32 を使ったコンソールロックを組み合わせることです。詳細は後ほどご報告いたします。まずは速報でした。

Microsoft Japan HPC Team Blog (From Naoki Shibata)

SQL Express Edition からStandard Editionへのアップグレードの必要性

11月発売決定。 Windows HPC Server 2008 関連書籍

CEDEC 2009 に行ってきました

HPC の夏 TechEd 2009 のご案内

64 ビット Windows プログラミング ガイド

HPC Pack 2008 SP1 とHPC Pack 2008 MPI Cluster Debugger リリース

Microsoft HPC Pack 2008 Tool Pack 出ました!!

講習会の日程変更です。

講習会 開催のお知らせ

ヒートマップ が グレー になってちゃんと表示されない場合

今さらですが。。Turning a Mac Mini into a Virtual Windows HPC Cluster

Windows HPC 製品情報サイト

ハンズオンセミナー用テキスト完成!!

GPGPU アプリケーションを Windows HPC Server 2008 から利用する

Windows HPC コンソーシアム講習会レポートとGPGPUについて

64 ビット Windows プログラミングガイド

講習会開催のお知らせ

ヒートマップがグレーになってちゃんと表示されない場合