東京大学情報基盤センター スーパーコンピューティング部門

Reedbushスーパーコンピュータシステムの紹介

システムの特徴

ReedbushはCPU のみのノードからなるReedbush-U と、演算アクセラレータとしてGPUを2基搭載したノードからなるReedbush-H、GPUを4基搭載したノードからなるReedbush-Lの3つのサブシステムから構成されています。それぞれは独立のシステムとして運用可能です。スーパーコンピュータシステムへの演算アクセラレータの採用は、東京大学情報基盤センターとしては初の試みであり、ビッグデータ解析、機械学習などの新たな分野の要求に対応する狙いがあります。

システム概念図

ハードウェア構成

全体構成

項目 Reedbush-U Reedbush-H Reedbush-L
システム全体
(計算ノード)
総理論演算性能 508.03 TFLOPS 1418.2 TFLOPS 1435.3 TFLOPS
総ノード数 420 120 64
総主記憶容量 105 TByte 30 TByte 16 TByte
ネットワークトポロジー Full-bisection Fat Tree
並列ファイル
システム
システム名 Lustreファイルシステム
サーバ(OSS) DDN SFA14KE
サーバ(OSS)数 3
ストレージ容量 5.04 PB
転送速度 145.2 GB/sec
高速ファイル
キャッシュ
システム
サーバ DDN IME14K DDN IME240
サーバ数 6 8
容量 209 TB 153.6 TB
転送速度 436.2 GB/sec 166.4 GB/sec

ノードの構成

項目 Reedbush-U Reedbush-H Reedbush-L
マシン名 SGI Rackable
C2112-4GP3
SGI Rackable
C1102-GP8
SGI Rackable
C1102-GP8
CPU プロセッサ名 Intel Xeon E5-2695v4 (Broadwell-EP)
プロセッサ数(コア数) 2 (36)
周波数 2.1 GHz (Turbo boost 時最大 3.3 GHz)
理論演算性能 1209.6 GFLOPS
メモリ容量 256 GB
メモリ帯域幅 153.6 GB/sec
GPU プロセッサ名 None NVIDIA Tesla P100 (Pascal)
コア数(単体) 56
メモリ容量(単体) 16 GB
メモリ帯域幅(単体) 732 GB/sec
理論演算性能(単体) 5.3 TFlops
搭載数 2 4
CPU-GPU間接続 PCI Express Gen3 x16レーン
(16 GB/sec)
GPU間接続 NVLink 2 brick
(20 GB/sec x2)
NVLink 2 brick
(20 GB/sec x1 or 2)
インターコネクト InfiniBand EDR 4x
(100 Gbps)
InfiniBand FDR 4x
2リンク
(56 Gbps x2)
InfiniBand EDR 4x
2リンク
(100 Gbps x2)
Reedbush-Hノードのブロック図
Reedbush-H ノードブロック図
Reedbush-Lノードのブロック図
Reedbush-L ノードブロック図

ソフトウェア構成

項目 Reedbush-U Reedbush-H/L
OS Red Hat Enterprise Linux 7
コンパイラ GNU コンパイラ
Intel コンパイラ(Fortran77/90/95/2003/2008、C、C++)
XcalableMP PGI コンパイラ
(Fortran77/90/95/2003/2008、C、C++、OpenACC 2.0、CUDA Fortran)
NVCC コンパイラ
(CUDA C)
メッセージ通信
ライブラリ
Intel MPI、SGI MPT、Open MPI、MVAPICH2、Mellanox HPC-X
None GPUDirect for RDMA: OpenMPI、MVAPICH2-GDR
ライブラリ Intel 社製ライブラリ(MKL)
BLAS、LAPACK、ScaLAPACK
その他ライブラリ
FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、Xabclib、ppOpen-HPC、ppOpen-AT、MassiveThreads、OpenJDK
SuperLU、SuperLU MT、SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Boost、Xcrypt cuBLAS、cuSPARSE、cuFFT、MAGMA、OpenCV、ITK、Theano、Anaconda、ROOT、TensorFlow
アプリケーション OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP、OpenMX、xTAPP、AkaiKKR、MODYLAS、ALPS、feram、GROMACS、BLAST、R、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、K MapReduce、Spark、HyperWorks※1、FDS、Haskell、Horovod、ChainerMN、Keras、NTChem※3、SALMON※3、HΦ※3、SMASH※3 Torch、PyTorch、Caffe、Chainer、GEANT4、GROMACS、HyperWorks※1※2、Horovod、ChainerMN、Keras
デバッガ、プロファイラ Total View、Intel VTune、Intel Trace Analyzer & Collector、PerfSuite、NVIDIA Visual Profiler
フリーソフトウェア autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、cmake、HDF5、git など
コンテナ仮想化 singularity (dockerイメージ利用可)

※1 ご利用にあたっては制限事項があるため、必ずお知らせをご覧ください。
※2 GPU 対応版は nanoFluidX、ultraFluidX のみ。
※3 RIST が利用支援の一環として整備したアプリケーションの利用については
  HPCI ポータルサイトをご覧ください。