HOME > システム > FX10 > FX10 スーパーコンピュータシステム 試験運転開始のお知らせ

FX10 スーパーコンピュータシステム 試験運転開始のお知らせ

 2012 年 4 月 2 日 (月) 10:00 より、FX10 スーパーコンピュータシステム の試験運転を開始しました。ここでは、本システムの基本的な仕様並びに、サービス概要についてお知らせいたします。
 なお、試験運転期間中は、システムの設定変更等のため、予告なく運用の停止、運用仕様の変更を行う場合がありますので、予めご了承ください。


 本ページでは最新の情報を随時更新します。( 最終更新年月日:2012 年 6 月 22 日 )

お知らせ

システム構成

 FX10 スーパーコンピュータシステムは、計算ノード群、ログインノード群、インタラクティブノード群、ローカルファイルシステム、共有ファイルシステム、管理サーバ群から構成されるシステムです (図 1)。


FX10システム構成図

ハードウェア構成

FX10 スーパーコンピュータシステムのハードウェア構成は、以下の通りです (表 1)。


表 1. 機器構成
項目 機器諸元
システム全体
(計算ノード)
総理論演算性能 1.135 PFlops
総主記憶容量 150 TByte
総ノード数 4,800
インターコネクト 6 次元メッシュ / トーラス
ローカルファイルシステム 1.1 PByte
共有ファイルシステム 2.1 PByte
仕様 ノード 理論演算性能 236.5 GFlops
プロセッサ数 (コア数) 16
主記憶容量 32 GB
プロセッサ プロセッサ名 SPARC64TM IXfx
周波数 1.848 GHz
理論演算性能 (コア) 14.78 GFlops

ソフトウェア構成

FX10 スーパーコンピュータシステムのソフトウェア構成は、以下の通りです (表 2)。


表 2. ソフトウェア構成
項目 ソフトウェア
計算・インタラクティブノード群 ログインノード群
OS 専用OS(XTCOS) Red Hat Enterprise Linux
コンパイラ 富士通社製コンパイラ
 Fortran 77/90 コンパイラ
 C コンパイラ
 C++ コンパイラ
GCC,g95
富士通社製コンパイラ (クロス環境)
 Fortran 77/90 コンパイラ
 C コンパイラ
 C++ コンパイラ
GCC,g95 (クロス環境)
ライブラリ 富士通社製ライブラリ
 SSL II (Scientific Subroutine Library II)
 C-SSL II
 SSL II/MPI
その他ライブラリ
 BLAS、LAPACK、ScaLAPACK、FFTW、SuperLU、PETSc、METIS、
 SuperLU_DIST、Parallel NetCDF、ParMETIS
アプリケーション OpenFOAM
ABINIT-MP
PHASE
FrontFlow/blue
FrontISTR
REVOCAP
ファイルシステム FEFS
フリーソフトウェア bash, tcsh, zsh, emacs, autoconf, automake, bzip2, cvs, gawk, gmake, gzip, less, sed, tar, vim など

▲ TOPへ

利用申込

試験運転期間の利用申込みについて

 FX10 スーパーコンピュータシステムでは、研究者個人単位で利用するための「パーソナルコース」、研究・グループ単位でまとまって利用するための「グループコース」を準備しています。それぞれのコースでのサービス内容、利用負担金については、以下の通りです。

利用申込

 FX10 スーパーコンピュータシステムのご利用にあたっては、利用申込書の提出が必要です。試験運転期間中は、無料でご利用いただけますが、正式サービス時には利用負担金が必要となります。試験運転期間中の利用申込はできるだけ正式サービス後に利用する予定のコース、ノード数にてお願いいたします。FX10 スーパーコンピュータシステムでは、従来のサービスとは異なりトークンによる利用となりますので、正式サービス後の利用実態に即した利用申込となるよう、申込ノード数の試算を行うようにしてください。

トークン

 FX10 スーパーコンピュータシステムでは、利用するコース (パーソナルコース、グループコースなど)、利用申込したノード数に応じて、計算ノードの利用可能時間である「トークン」を割当てます。この割り当てられたトークン内であれば (一部のコース、サービスを除き) 利用できるノード数制限などはなく、最大利用可能ノード数まで、バッチジョブの実行を可能とします。
 以下に、トークンを利用するにあたり、注意すべき事項がありますのでご確認ください。詳細は、「トークンについて」のページをご覧ください。

  • トークンは、バッチジョブ単位 (計算ノードを利用したバッチジョブ単位) で消費するトークンを計算します。
  • 従来のサービスとは異なり、申込を行ったノード数以上のジョブ実行を可能とします。ただし、申込ノード数を超過したジョブを実行する場合には、消費係数が異なり、トークンが高めに設定されます。
  • トークンは「経過時間 ×ノード数 × 消費係数」で計算されます。消費係数は、申込ノード数を超えないジョブ実行時には、1.00 が設定されますが、申込ノード数を超過するジョブ実行時には、2.00 が設定されて計算されます。
  • 計算資源に余裕がある場合にのみ、トークンを追加することが可能です。
  • トークンは、利用を許可された有効期間内に全量が利用できることを保証するものではありません。また、利用を許可された期間のみを有効期間としていますので、トークンに残量があった場合でも、次年度への繰り越しや返金等はできません。

パーソナルコース

 パーソナルコースは研究者が個人単位でお使いいただくためのコースで、FX10 スーパーコンピュータシステムで利用できる最大ノード数により以下の 2 コースを用意しています。


表 3.パーソナルコース利用負担金表
コース 利用負担金(年額、税込) 利用可能
ノード数
割当トークン量(年間)
及び消費係数
ディスク量
/home
大学・公共機関等
パーソナルコース1 120,000円/年 最大
24ノード
25,920 ノード時間
消費係数 :
  12 ノードまでは 1.00
  12 ノード超過は 2.00
200GB
パーソナルコース2 250,000円/年 最大
96ノード
51,840 ノード時間
消費係数 :
 24 ノードまでは 1.00
 24 ノード超過は 2.00

グループコース

 グループコースは、研究グループなどで利用されるためのコースで、12 ノード単位で利用申込が行えます (提供できる資源量に限りがあるため、利用申込単位 (ノード数) によってはご希望に添えない場合があります)。標準で割り当てられるディスク容量は12 ノードあたり4TB です。また、それ以外にもグループに所属する利用者ごとに 50 GB のディスク容量が割り当てられます。
 グループに登録できる利用者数には制限はありませんが、割り当てられたトークンをグループに登録された利用者で共有することになります。そのため、利用申込時に設定して頂くグループ管理者には、グループ内の利用者ごとに割り当てるトークン量などを変更できる仕組みを導入しています。


グループコース利用イメージ

表 4.グループコース利用負担金表
利用負担金(年額、税込) 利用可能
ノード数
割当トークン量(年間)
及び消費係数
ディスク量
/group
/home
大学・公共機関等 企業
500,000円/年 1,400,000円/年 最大
1,440ノード
103,680 ノード時間
消費係数 :
 申込ノードまでは 1.00
 申込ノード超過は 2.00
グループ (/group)
 4TB/12 ノード
利用者 (/home)
 50GB

▲ TOPへ

利用負担金

 2012 年 4 月 2 日から 2012 年 6 月 29 日(6 月 29 日 9:00 ~ 7 月 2 日 9:00 までは、月末処理のためサービスを休止いたします)までは、「試験運転期間」として無料でご利用いただけます。本節は、正式サービス開始以降にご負担いただく利用負担金についてご説明いたします。
 現在の SR16000、HA8000 クラスタシステムとは独立した利用負担金が設定されています。利用負担金額は、従来、申込者のご所属先により、「大学等」、「公共機関等」、「企業」の 3 区分となっておりましたが、本システムでは、「大学・公共機関等」、「企業」の 2 区分となります。
 パーソナルコース、グループコースの利用負担金額は以下の通りとなります。

FX10利用負担金

ディスク容量追加

 500 GB 単位で追加申込が行えます。利用負担金額は、450 円/月・500 GB (年間 5,400 円) です。


トークン追加

 計算資源に余裕がある場合にのみ、トークンを追加購入することが可能です。


トークン追加利用負担金

▲ TOPへ

提供サービス

 FX10 スーパーコンピュータシステムでは、HA8000 クラスタシステムで実施しておりました各サービスを、2012年度より実施します。サービス概要ついては、以下をご覧ください。

  • トライアルユース
    HA8000 クラスタシステムで実施しておりました、「有償トライアルユース」を2012年度より、FX10 スーパーコンピュータシステムで実施します。
  • 教育利用
    HA8000 クラスタシステムで実施しておりました、「教育利用」を2012年度より FX10 スーパーコンピュータシステムで実施します。提供資源は、FX10 スーパーコンピュータシステム 12 ノード、1 ジョブの経過時間制限値は 15 分です。
    申込は原則として学期単位での受付とし、申込多数の場合には、システム全体の利用状況を考慮のうえ、利用の制限または利用をお断りする場合があります。
  • 若手利用
    HA8000 クラスタシステムで実施しておりました、「若手利用」を2012年度より FX10 スーパーコンピュータシステムで実施します。
  • 企業利用
    HA8000 クラスタシステムで実施しておりました、「企業利用」を2012年度より FX10 スーパーコンピュータシステムで実施します。
  • 大規模 HPC チャレンジ
    HA8000 クラスタシステムで実施しておりました、「512 ノード利用大規模 HPC 研究」をより大規模化したサービスを、2012年度より実施します。FX10 スーパーコンピュータシステム 4,800ノード(全計算ノード)を、正式サービス開始後は最大 24 時間占有利用することができます(試験運転期間中は最大 48 時間)。
    課題を公募し、優れた研究提案を採択します。採択は、スーパーコンピューティング部門教員の他、外部委員を含む審査委員会による課題審査を行い決定します。
    現在、正式サービス開始後に実施する「大規模 HPC チャレンジ」の課題申込を受け付けています。

▲ TOPへ

利用方法

 FX10 スーパーコンピュータシステムでは、ログインノード、インタラクティブノード、計算ノードで、ぞれぞれの特徴に合わせた計算サービスを行っています。
 FX10 スーパーコンピュータシステムの利用イメージは以下の図をご覧ください。


システムのご利用イメージ

ログインノードの利用

 ログインノードは、プログラムの編集・コンパイル、バッチジョブ投入などの利用環境を提供しています。

公開鍵登録 (利用支援ポータル)

 FX10 スーパーコンピュータシステムは、公開鍵認証を行っているため、利用に先立ち公開鍵の登録を行う必要があります。公開鍵の登録は利用支援ポータルで行います。
 利用支援ポータルには、本センターから利用登録時に通知された利用者番号 (ユーザ名) とパスワード (登録する SSH 公開鍵ではありません) を用いて接続します。接続 (認証) が成功すると、「SSH 公開鍵登録」、「パスワード変更」などのメニュー画面が表示されますので、「SSH 公開鍵登録」を選択して公開鍵の登録作業を行ってください。詳細は、鍵登録のページをご覧ください。

接続先 (ログインノードのホスト名一覧)

 プログラムの編集、コンパイルやバッチジョブの投入などに利用するための環境として、ログインノードを 6 台用意しています。ログインノードは、計算ノードとは異なるアーキテクチャとなるため、計算ノード (インタラクティブノード) 上で実行可能なバイナリを生成するためのクロスコンパイル環境等を用意しています。
 ログインノードは、本センターでサービスを行っている他のスーパーコンピューターシステムと同様に、公開鍵認証方式による接続となります。


表 5.接続ホスト名一覧
ホスト名 oakleaf-fx.cc.u-tokyo.ac.jp
 ※以下のホストの何れかに接続します。
  また、どのホストに接続しても同じ環境です。負荷分散にご協力ください。
 oakleaf-fx-1.cc.u-tokyo.ac.jp
 oakleaf-fx-2.cc.u-tokyo.ac.jp
 oakleaf-fx-3.cc.u-tokyo.ac.jp
 oakleaf-fx-4.cc.u-tokyo.ac.jp
 oakleaf-fx-5.cc.u-tokyo.ac.jp
 oakleaf-fx-6.cc.u-tokyo.ac.jp
接続方法 SSH Protocol Version 2
認証方法 鍵による認証 (センター発行のパスワードは SSH ログインには使用しません)
初回は Web による鍵登録が必要です

コンパイル

 FX10 スーパーコンピュータには、富士通社製コンパイラ (Fortran 77/90、C、C++) とGCC、g95 を用意しています。ログインノードと計算ノード・インタラクティブノードでは、ハードウェアアーキテクチャが異なる (バイナリ互換がない) ため、プログラムを実行する計算機にあわせてコンパイルする必要があります。そのため、それぞれの言語について、ログインノードではクロスコンパイル環境 (コマンド) を用意しています。各コンパイルコマンドの詳細については、「コンパイルコマンド」をご覧ください。


表 6.エンディアンの違い
エンディアン 備考
ログインノード リトルエンディアン クロスコンパイル環境を提供
インタラクティブノード ビッグエンディアン
計算ノード ビッグエンディアン

コンパイルコマンド

 FX10 スーパーコンピュータでコンパイルするコマンドは以下の表の通りです (表 7)。ログインノードで計算ノード・インタラクティブノード実行ができるバイナリを生成する場合には、クロスコンパイラを使用します。また、バッチジョブやインタラクティブジョブ中でコンパイルする場合にはオウンコンパイラを使用します。


               表 7. コンパイルコマンド一覧

表 7. コンパイルコマンド一覧

Fortran 77/90 言語

 FX10 スーパーコンピュータで使用できる富士通社製 Fortran 77/90 コンパイラの仕様は以下の通りです (表 8)。また、自動並列化、OpenMP・MPI 実行する場合などは、以下のオプションを指定してください (表 9)。なお、コンパイル時に使用できる最適化オプションなどの詳細については、利用者マニュアルを参照してください。


               表 8. 言語仕様 (Fortran 77/90 言語)

表 8.言語仕様 (Fortran 77/90 言語)

               表 9. Fortran コンパイルコマンド

表 9.Fortran コンパイルコマンド

C、C++ 言語

  FX10 スーパーコンピュータで使用できる富士通社製 C、C++ コンパイラの仕様は以下の通りです (表 10)。また、自動並列化、OpenMP・MPI 実行する場合などは、以下のオプションを指定してください (表 11、表 12)。なお、コンパイル時に使用できる最適化オプションなどの詳細については、利用者マニュアルを参照してください。


               表 10.言語仕様 (C、C++ 言語)

表 10. 言語仕様 (C、C++ 言語)

               表 11. C コンパイルコマンド

表 11. C コンパイルコマンド

               表 12. C++ コンパイルコマンド

表 12. C++ コンパイルコマンド

インタラクティブジョブ・バッチジョブの実行

 FX10 スーパーコンピュータでは、インタラクティブジョブ、バッチジョブの実行が行えます。主なジョブ操作コマンドは、以下の通りです (表 13)。


                  表 13. ジョブ操作コマンド

表 13. ジョブ操作コマンド

インタラクティブジョブサービス

 ログインノードの他に、計算ノードと同じアーキテクチャであるインタラクティブノード (環境) を用意しています。インタラクティブノードでは、インタラクティブジョブを実行することで、会話的にプログラム実行が出来ますので、プログラムのデバッグ利用等にご利用ください。


表 14.インタラクティブジョブサービス ジョブクラス制限値の抜粋
キュー名 最大ノード数 制限(経過)時間 メモリー容量(GB)
(interactive)
interactive_n1
interactive_n8

1
8

2 h
10 min

28

インタラクティブジョブ実行

 インタラクティブジョブを実行する場合には、pjsub コマンドに --interact オプションを指定し、実行します。


インタラクティブジョブの実行例(1)

インタラクティブジョブの実行例(2)

バッチジョブサービス

 長時間、複数ノードを利用するジョブは、バッチジョブとして実行します (HA8000 クラスタシステム、SR16000 等で利用しているジョブ実行スクリプトとは互換性はありませんので、新たに作成して頂く必要があります)。


表 15.バッチジョブサービス ジョブクラス制限値 (試験運転期間)の抜粋
キュー名 ノード数 制限(経過)時間 メモリー容量(GB)
debug 1 ~ 240 30 min 28
short 1 ~ 72 2 h 28
(regular)
small
medium
large
x-large

12 ~ 216
217 ~ 372
373 ~ 480
481 ~ 1,440

12 h


6 h

28



表 16.バッチジョブサービス ジョブクラス制限値 (正式サービス開始後 (予定) )の抜粋
キュー名 ノード数 制限(経過)時間 メモリー容量(GB)
debug 1 ~ 240 30 min 28
short 1 ~ 72 6 h 28
(regular)
small
medium
large
x-large

12 ~ 216
217 ~ 372
373 ~ 480
481 ~ 1,440

48 h


24 h

28



バッチジョブの同時実行数、投入数は以下の通りです。


表 17.ジョブの同時実行数、投入数制限値
最大ノード数 同時実行数 最大投入数
パーソナルコース1 24 2 8
パーソナルコース2 96 4 16
グループコース 1,440 申込ノード数が96 ノードまでは 4 本。96 ノード以降、24 ノード単位で 1 本づつ追加される。 同時実行数に 4 を乗じた数。96 ノードまでは 16。120 ノードの場合は、20 となる。

バッチジョブ実行

 バッチジョブを投入するには、pjsub コマンドを実行します。ここでは、スクリプトファイルを作成してバッチジョブを実行する例を示します。
 なお、基本的な利用方法 (簡単なバッチジョブ投入方法等) についてのみ記載しておりますが、FX10 スーパーコンピュータシステムでは、ローカルファイルシステムを利用するためのジョブステージング機能や、ジョブの実行ノード形状 (1 次元・2 次元・3 次元) などを指定することも可能となっています (この場合、どの計算ノードでプロセスを生成するかなどの、細かな指定 (設定) が必要となります)。FX10 スーパーコンピュータ利用の上での基本的な動作、チューニングに関する事項・詳細等については、今後利用支援ポータルなどでお知らせしていく予定です。


ジョブの実行形態 例示
逐次ジョブ (1 ノードあたり 1 プロセス実行) 実行例 (1) を参照
スレッド並列ジョブ実行 (1 ノードあたり 1 プロセス、複数スレッド) 実行例 (2) を参照
MPI ジョブ実行 (1 ノードあたり 1 プロセス実行) 実行例 (3) を参照
MPI ジョブ実行 (1 ノードあたり複数プロセス実行) 実行例 (4) を参照
ハイブリッド並列ジョブ実行 (1 ノードあたり複数プロセス、複数スレッド実行) 実行例 (5) を参照

バッチジョブの実行例(1)~(3)
バッチジョブの実行例(4)~(5)

バッチジョブの実行結果ファイル

 バッチジョブを実行すると、バッチジョブの標準出力 (-o 指定で出力ファイルの指定)、標準エラー出力 (-e 指定で出力ファイルの指定)、統計情報 (-s 指定) を出力することが出来ます。


図 5.バッチジョブの実行例

バッチジョブで設定される主な環境変数

 バッチジョブ実行環境で設定される主な環境変数は以下の通りです。


設定される主な環境変数

バッチジョブの削除

 バッチジョブを削除するには、pjdel コマンドを実行します。


バッチジョブの削除例

バッチジョブの状態確認、参照

 バッチジョブの状態 (実行待ち、実行中など) を確認、参照するには、pjstat コマンドを実行します。


バッチジョブの状態確認(イメージ)

ファイルシステム

 ファイルシステムは、ローカルファイルシステム、共有ファイルシステム、外部ファイルシステムの 3 ファイルシステムで構成されます。各ファイルシステムの主な特徴については、以下をご覧ください。また、以下の点についてもご注意ください。

  • 本センターでサービスを行っている他のスーパーコンピュータシステム (HA8000 クラスタシステム・SR16000 (SMP)) とはファイル共有は行っておりませんので、利用者の皆様でファイルのコピーなどをお願いいたします。
  • ホームディレクトリをはじめとする FX10 スーパーコンピュータシステムで利用可能なすべてのファイルシステムにおいて、本センターでは、作成されたデータなどはバックアップなどの取得は行っておりません。利用者の皆様でバックアップの取得等をお願いいたします。

共有ファイルシステム

 共有ファイルシステムは、ログインノード、インタラクティブノード、計算ノードからアクセスすることが可能で、ホームディレクトリとして利用します。パーソナルコースでは、ホームディレクトリとして、標準で 200 GB 利用可能となっていますが、グループコースでは、ホームディレクトリ領域の他、グループで利用可能な領域として、1 利用者あたり、50 GB が別途用意されています。

外部ファイルシステム

 外部ファイルシステムは、ログインノード、インタラクティブノード、計算ノードからアクセスすることが可能です。本ディレクトリに保存されたファイルは、定期的に削除する予定です。ただし、試験運転期間中は外部ファイルシステムの容量を圧迫しない限り、ファイルは削除せずに保存する予定です。

▲ TOPへ

マニュアル

 FX10 スーパーコンピュータのマニュアル (言語、チューニングマニュアル、利用の手引きなど) については、利用支援ポータルにて参照可能です。


▲ TOPへ

試験運転期間中のサービススケジュールについて

 FX10スーパーコンピュータシステムのサービススケジュールは以下の通りです。なお、「大規模 HPC チャレンジ」サービス中は、ログインノードサービス、インタラクティブジョブ実行サービスのみとなります。
 詳しくは、「サービススケジュール」をご覧ください。

  • 6 月 25 日 (月) 9:00 ~ 6 月 29 日 (金) 9:00 大規模 HPC チャレンジ
  • 6 月 29 日 (金) 9:00 ~ 7 月 02 日 (月) 9:00 月末処理、正式サービス移行作業のためサービス休止
試験運転期間中のサービススケジュール

▲ TOPへ

問い合わせ先

 最新の情報は、本センター Web Page にて随時ご案内いたします。メールによる問い合わせについては、事前に Web Page で情報がないかご確認の上、相談受付(FX相談受付のメールアドレス)まで電子メールでお問い合わせください。
なお、電話でのお問い合わせはご遠慮ください。


▲ TOPへ