第2章 FX10 スーパーコンピュータシステムについて

　FX10スーパーコンピュータシステムは、一般ジョブ実行用の Oakleaf-FX と長時間ジョブ実行用の Oakbridge-FX の２つのサブシステムで構成されています。 それぞれは、計算ノード群、ログインノード群、インタラクティブノード群、ローカルファイルシステム、共有ファイルシステム、管理サーバ群で構成されています。
　本章では、FX10 スーパーコンピュータシステム（Oakleaf-FX,Oakbridge-FX）のハードウェア・ソフトウェアの構成ならびに概要について紹介しています (詳細は、利用支援ポータル内にある各種マニュアル等をご覧ください)。

　　　　　　　　　　　　　　　図1 FX10システム構成図

　FX10 スーパーコンピュータシステムは、図 1 で示す通り、複数の計算機システムで構成されています。
　計算ノード群・インタラクティブノード群は「富士通 PRIMEHPC FX10」 システムで構成され、Oakleaf-FX は 4,800 , Oakbridge-FX は 576 の計算ノードを擁しています (FX10 の主な機器構成については、表 1 をご覧ください)。

表 1. 機器構成

項目		仕様
		Oakleaf-FX	Oakbridge-FX
システム全体 (計算ノード)	総理論演算性能	1.135 PFlops	136.2 TFlops
	総主記憶容量	150 TByte	18 TByte
	総ノード数	4,800	576
	インターコネクト	6 次元メッシュ / トーラス	6 次元メッシュ / トーラス
	ローカルファイルシステム	1.1 PByte	147 TByte
	共有ファイルシステム	2.1 PByte	295 TByte

2.2.1 ノード・CPU (SPARC64^TM IXfx) 仕様

　計算ノード群・インタラクティブノード群を構成する PRIMEHPC FX10 のノード仕様および、CPU (SPARC64^TM IXfx) 仕様は 表 2 の通りです。
　PRIMEHPC FX10 の 1 ノードは 16 コア、32 GB メモリ (利用者が利用可能なメモリ容量は 28 GB)、ノード間ネットワーク接続するための機器で構成され、CPU は SPARC64^TM IXfx を使用しています。
　SPARC64^TM IXfx は、1 CPU で 16 個のコア、コア間で共有する 12MB の L2 キャッシュ、およびメモリコントローラなどから構成されるプロセッサです。また、コアごとに 32KB の L1 命令キャッシュ (I) とデータキャッシュ (D) をそれぞれ内蔵しています。
　また、PRIMEHPC FX10 で使用されるプロセッサの命令アーキテクチャは、従来の SPARC-V9 ベースであるものの、HPC 向けに大幅に命令拡張が行われています (HPC-ACE (High Performance Computing - Arithmetic Computational Extensions))。

• レジスタ拡張
  SPARC-V9 における浮動小数点演算レジスタの数は 32 本でしたが、HPC-ACE では浮動小数点レジスタ本数を 256 本に強化しています。
• セクタキャッシュ
  HPC-ACE は、従来のキャッシュとローカルメモリの長所を兼ね備えた、ソフトウェア制御可能なキャッシュ (セクタキャッシュ) 機能を有します。
  通常のキャッシュでは、利用頻度の低いデータがメモリに読み込まれる際に、再利用頻度の高いデータをキャッシュメモリから追い出してしまう場合がありました。これに対して、セクタキャッシュ機能は、キャッシュ上のデータをグループ分けし、再利用頻度の高いデータを別の領域 (セクタ) に割り当てることにより、再利用頻度の高いデータをキャッシュメモリに保持する機能が提供されています (セクタキャッシュ機能は、必要に応じてソフトウェアによる制御を行うことで性能向上が期待される機能です)。

2.2.2 インターコネクト (Tofu)

　PRIMEHPC FX10 は 表 1 にある通り、Oakleaf-FX は 4,800 , Oakbridge-FX は 576 の計算ノードがあります。それぞれの計算ノード間は高速なノード間通信・アプリケーションプログラムの容易さに配慮し、独自開発された 6 次元メッシュ/トーラスインターコネクト (Tofu : "Torus fusion") で接続されています。Tofu は、ハードウェア接続としては 6 次元ですが、アプリケーションレベルでは、3 次元 (メッシュトーラス) 空間として利用可能になっています。

• ノード間通信
  5 GB/秒 ×双方向の帯域を有しており、かつ、4 方向に対して同時に通信することも可能です。
• RDMA 転送
  RDMA 通信が可能です。RDMA 通信とは、宛先ノードのソフトウェアを介在せずに、データの読み出しや書き込みを行う通信で、1 コマンドあたり最大16MB のデータ (データは最大 2KB のパケットに分割) 転送を行います。
• ハードウェアによる集団通信 (Barrier やAllreduce など) の高性能化

　FX10 スーパーコンピュータシステムのソフトウェア構成は 表 3 の通りです。
　FX10 スーパーコンピュータシステムは、システム構成図 (図 1) にある通り、複数のシステムで構成されています。そのため、提供しているソフトウェアの一部はログインノード群でのみサービスを行っている、または、計算ノード群・インタラクティブノード群でのみサービスを行っている場合があります。また、ログインノード群は、計算ノード群・インタラクティブノード群とは異なる計算機アーキテクチャのため、計算ノード群・インタラクティブノード群で実行可能なバイナリを生成するためのクロスコンパイル環境等を用意しています (詳細は、「第5章 ログインノードの使用」をご覧ください)。
　ログインノードではSSHによるログインおよびコマンドの対話的実行が可能です。主にプログラムの作成・編集、コンパイル、バッチジョブ・インタラクティブジョブの投入に使用します。ログインノードの資源は多くの利用者で共有しますので、重い処理 (システムに高負荷をかける処理) は行わないようにしてください。
　計算ノード群・インタラクティブノード群はジョブ管理システムを通じて使用します (詳細は、「第8章 プログラムの実行」をご覧ください)。ジョブを投入してから実行されるまでに待ち時間がありますが、自分の順番が回ってきた際には計算ノード群・インタラクティブノード群の資源を専有してジョブが実行できます。
　FX10 スーパーコンピュータシステムにインストールしていないソフトウェアは、利用者個人のホームディレクトリにインストールしていただくことで利用可能です (ただし、管理者権限が必要なソフトウェアは使用できません)。

2.3.1 OS (Red Hat Enterprise Linux、XTCOS)

　FX10 スーパーコンピュータシステムでは、表 3 にあるとおり、ログインノードでは Red Hat Enterprise Linux が動作します。一般的な PC クラスタなどでも動作している OS ですので、それらの計算機とほぼ同様の操作が可能です。
　計算・インタラクティブノードでは、FX10 スーパーコンピュータシステム用に Linux (カーネル 2.6.25.8) ベースで (拡張) 開発された HPC 向けの OS、XTCOS が動作しています。XTCOS は、ログインノードで動作する Red Hat Enterpeise Linux と同じく、Linux ベースの OS ですが、一部提供されていないコマンド等があります。

2.3.2 Technical Computing Suite

　FX10 スーパーコンピュータシステムのハードウェア性能を最大限引き出すためのソフトウェア環境 (HPC-ACE 対応など) として、富士通社製コンパイラ、ライブラリ、ジョブ管理システムなどが提供されています。

• コンパイラ (Fortran77/90、C、C++)
  SPARC64^TM IXfx の HPC 向けに拡張された命令 (HPC-ACE) を効果的に利用するための最適化機能を有しています。また、自動並列化、SIMD 命令、VISIMPACT 対応などの特徴があります。
• MPI ライブラリ
  MPI 2.1 に準拠するメッセージ・パッシング・インターフェース (MPI)ライブラリが提供されています。FX10 スーパーコンピュータシステムのインタコネクトである Tofu の性能を最大限に引き出すための機能を有しています。
• 数学ライブラリ
  富士通社製ライブラリ SSL II や、BLAS、LAPACK、ScaLAPACK など、SPARC64^TM IXfx の性能を引き出すためのチューニングを行った数学ライブラリを提供しています。
• プログラム支援ツール
  アプリケーションプログラムの開発サポートのため、プログラミング支援ツールを提供しています。