Reedbushスーパーコンピュータシステムの紹介
システムの特徴
ReedbushはCPU のみのノードからなるReedbush-U と、演算アクセラレータとしてGPUを2基搭載したノードからなるReedbush-H、GPUを4基搭載したノードからなるReedbush-Lの3つのサブシステムから構成されています。それぞれは独立のシステムとして運用可能です。スーパーコンピュータシステムへの演算アクセラレータの採用は、東京大学情報基盤センターとしては初の試みであり、ビッグデータ解析、機械学習などの新たな分野の要求に対応する狙いがあります。
ハードウェア構成
全体構成
| 項目 | Reedbush-U | Reedbush-H | Reedbush-L | ||
|---|---|---|---|---|---|
| システム全体 (計算ノード) |
総理論演算性能 | 508.03 TFLOPS | 1418.2 TFLOPS | 1435.3 TFLOPS | |
| 総ノード数 | 420 | 120 | 64 | ||
| 総主記憶容量 | 105 TByte | 30 TByte | 16 TByte | ||
| ネットワークトポロジー | Full-bisection Fat Tree | ||||
| 並列ファイル システム |
システム名 | Lustreファイルシステム | |||
| サーバ(OSS) | DDN SFA14KE | ||||
| サーバ(OSS)数 | 3 | ||||
| ストレージ容量 | 5.04 PB | ||||
| 転送速度 | 145.2 GB/sec | ||||
| 高速ファイル キャッシュ システム |
サーバ | DDN IME14K | DDN IME240 | ||
| サーバ数 | 6 | 8 | |||
| 容量 | 209 TB | 153.6 TB | |||
| 転送速度 | 436.2 GB/sec | 166.4 GB/sec | |||
ノードの構成
| 項目 | Reedbush-U | Reedbush-H | Reedbush-L | |
|---|---|---|---|---|
| マシン名 | SGI Rackable C2112-4GP3 |
SGI Rackable C1102-GP8 |
SGI Rackable C1102-GP8 |
|
| CPU | プロセッサ名 | Intel Xeon E5-2695v4 (Broadwell-EP) | ||
| プロセッサ数(コア数) | 2 (36) | |||
| 周波数 | 2.1 GHz (Turbo boost 時最大 3.3 GHz) | |||
| 理論演算性能 | 1209.6 GFLOPS | |||
| メモリ容量 | 256 GB | |||
| メモリ帯域幅 | 153.6 GB/sec | |||
| GPU | プロセッサ名 | None | NVIDIA Tesla P100 (Pascal) | |
| コア数（単体） | 56 | |||
| メモリ容量（単体） | 16 GB | |||
| メモリ帯域幅（単体） | 732 GB/sec | |||
| 理論演算性能（単体） | 5.3 TFlops | |||
| 搭載数 | 2 | 4 | ||
| CPU-GPU間接続 | PCI Express Gen3 x16レーン (16 GB/sec) |
|||
| GPU間接続 | NVLink 2 brick (20 GB/sec x2) |
NVLink 2 brick (20 GB/sec x1 or 2) |
||
| インターコネクト | InfiniBand EDR 4x (100 Gbps) |
InfiniBand FDR 4x 2リンク (56 Gbps x2) |
InfiniBand EDR 4x 2リンク (100 Gbps x2) |
|
ソフトウェア構成
| 項目 | Reedbush-U | Reedbush-H/L |
|---|---|---|
| OS | Red Hat Enterprise Linux 7 | |
| コンパイラ | GNU コンパイラ Intel コンパイラ(Fortran77/90/95/2003/2008、C、C++) |
|
| XcalableMP | PGI コンパイラ (Fortran77/90/95/2003/2008、C、C++、OpenACC 2.0、CUDA Fortran) NVCC コンパイラ (CUDA C) |
|
| メッセージ通信 ライブラリ |
Intel MPI、SGI MPT、Open MPI、MVAPICH2、Mellanox HPC-X | |
| None | GPUDirect for RDMA: OpenMPI、MVAPICH2-GDR | |
| ライブラリ | Intel 社製ライブラリ(MKL) BLAS、LAPACK、ScaLAPACK その他ライブラリ FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、Xabclib、ppOpen-HPC、ppOpen-AT、MassiveThreads、OpenJDK |
|
| SuperLU、SuperLU MT、SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Boost、Xcrypt | cuBLAS、cuSPARSE、cuFFT、MAGMA、OpenCV、ITK、Theano、Anaconda、ROOT、TensorFlow | |
| アプリケーション | OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP、OpenMX、xTAPP、AkaiKKR、MODYLAS、ALPS、feram、GROMACS、BLAST、R、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、K MapReduce、Spark、HyperWorks※１、FDS、Haskell、Horovod、ChainerMN、Keras、NTChem※３、SALMON※３、HΦ※３、SMASH※３ | Torch、PyTorch、Caffe、Chainer、GEANT4、GROMACS、HyperWorks※１※２、Horovod、ChainerMN、Keras |
| デバッガ、プロファイラ | Total View、Intel VTune、Intel Trace Analyzer & Collector、PerfSuite、NVIDIA Visual Profiler | |
| フリーソフトウェア | autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、cmake、HDF5、git など | |
| コンテナ仮想化 | singularity (dockerイメージ利用可) | |
※１ ご利用にあたっては制限事項があるため、必ずお知らせをご覧ください。
※２ GPU 対応版は nanoFluidX、ultraFluidX のみ。
※３ RIST が利用支援の一環として整備したアプリケーションの利用については
HPCI ポータルサイトをご覧ください。