HOME > システム > Reedbush > Reedbushスーパーコンピュータシステムの紹介

Reedbushスーパーコンピュータシステムの紹介

システムの特徴

 ReedbushはCPU のみのノードからなるReedbush-U と、演算アクセラレータとしてGPUを2基搭載したノードからなるReedbush-H、GPUを4基搭載したノードからなるReedbush-Lの3つのサブシステムから構成されています。それぞれは独立のシステムとして運用可能です。スーパーコンピュータシステムへの演算アクセラレータの採用は、東京大学情報基盤センターとしては初の試みであり、ビッグデータ解析、機械学習などの新たな分野の要求に対応する狙いがあります。

システム概念図

ハードウェア構成

全体構成

項目 Reedbush-U Reedbush-H Reedbush-L
システム全体
(計算ノード)
総理論演算性能 508.03 TFlops 1418.2 TFlops 1435.3 TFlops
総ノード数 420 120 64
総主記憶容量 105 TByte 30 TByte 16 TByte
ネットワークトポロジー Full-bisection Fat Tree
並列ファイル
システム
システム名 Lustreファイルシステム
サーバ(OSS) DDN SFA14KE
サーバ(OSS)数 3
ストレージ容量 5.04 PB
転送速度 145.2 GB/sec
高速ファイル
キャッシュ
システム
サーバ DDN IME14K DDN IME240
サーバ数 6 8
容量 209 TB 153.6 TB
転送速度 436.2 GB/sec 166.4 GB/sec

ノードの構成

項目 Reedbush-U Reedbush-H Reedbush-L
マシン名 SGI Rackable
C2112-4GP3
SGI Rackable
C1102-GP8
SGI Rackable
C1102-GP8
CPU プロセッサ名 Intel Xeon E5-2695v4 (Broadwell-EP)
プロセッサ数(コア数) 2 (36)
周波数 2.1 GHz (Turbo boost 時最大 3.3 GHz)
理論演算性能 1209.6 GFlops
メモリ容量 256 GB
メモリ帯域幅 153.6 GB/sec
GPU プロセッサ名 None NVIDIA Tesla P100 (Pascal)
コア数(単体) 56
メモリ容量(単体) 16 GB
メモリ帯域幅(単体) 732 GB/sec
理論演算性能(単体) 5.3 TFlops
搭載数 2 4
CPU-GPU間接続 PCI Express Gen3 x16レーン
(16 GB/sec)
GPU間接続 NVLink 2 brick
(20 GB/sec x2)
NVLink 2 brick
(20 GB/sec x1 or 2)
インターコネクト InfiniBand EDR 4x
(100 Gbps)
InfiniBand FDR 4x
2リンク
(56 Gbps x2)
InfiniBand EDR 4x
2リンク
(100 Gbps x2)

Reedbush-Hノードのブロック図

Reedbush-H ノードブロック図


Reedbush-Lノードのブロック図

Reedbush-L ノードブロック図


ソフトウェア構成

項目 Reedbush-U Reedbush-H/L
OS Red Hat Enterprise Linux 7
コンパイラ GNU コンパイラ
Intel コンパイラ(Fortran77/90/95/2003/2008、C、C++)
None PGI コンパイラ
(Fortran77/90/95/2003/2008、C、C++、OpenACC 2.0、CUDA Fortran)
NVCC コンパイラ
(CUDA C)
メッセージ通信
ライブラリ
Intel MPI、SGI MPT、Open MPI、MVAPICH2、Mellanox HPC-X
None GPUDirect for RDMA: OpenMPI、MVAPICH2-GDR
ライブラリ Intel 社製ライブラリ(MKL)
 BLAS、LAPACK、ScaLAPACK
その他ライブラリ
 FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、Xabclib、ppOpen-HPC、ppOpen-AT、MassiveThreads、OpenJDK
SuperLU、SuperLU MT、SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Boost cuBLAS、cuSPARSE、cuFFT、MAGMA、OpenCV、ITK、Theano、Anaconda、ROOT、TensorFlow
アプリケーション OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP、OpenMX、xTAPP、AkaiKKR、MODYLAS、ALPS、feram、GROMACS、BLAST、R、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、K MapReduce、Spark Torch、Caffe、Chainer、GEANT4
デバッガ、プロファイラ Total View、Intel VTune、Intel Trace Analyzer & Collector、PerfSuite、NVIDIA Visual Profiler
フリーソフトウェア autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、gzip、less、m4、python,perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、cmake、HDF5、git など