HOME > システム > Reedbush > Reedbushスーパーコンピュータシステムの紹介

Reedbushスーパーコンピュータシステムの紹介

システムの特徴

 ReedbushはCPU のみのノードからなるReedbush-U と、演算アクセラレータとしてGPUを搭載したノードからなるReedbush-Hの2つのサブシステムから構成され、それぞれは独立のシステムとして運用可能です。スーパーコンピュータシステムへの演算アクセラレータの採用は、東京大学情報基盤センターとしては初の試みであり、ビッグデータ解析、機械学習などの新たな分野の要求に対応する狙いがあります。


システム概念図

ハードウェア構成

全体構成

項目 Reedbush-U Reedbush-H
システム全体
(計算ノード)
総理論演算性能 508.03 TFlops 1287.4 ~ 1418.2 TFlops
総ノード数 420 120
総主記憶容量 105 TByte 30 TByte
ネットワークトポロジー Full-bisection Fat Tree
並列ファイルシステム システム名 Lustreファイルシステム
サーバ(OSS) DDN SFA14KE
サーバ(OSS)数 3
ストレージ容量 5.04 PB
メモリ帯域幅 145.2 GB/sec
高速ファイルキャッシュシステム サーバ DDN IME14K
サーバ数 6
容量 209 TB
メモリ帯域幅 436.2 GB/sec

ノードの構成

項目 Reedbush-U Reedbush-H
マシン名 SGI Rackable C2112-4GP3 SGI Rackable C1102-GP8
CPU プロセッサ名 Intel Xeon E5-2695v4 (Broadwell-EP)
プロセッサ数(コア数) 2 (36)
周波数 2.1 GHz (Turbo boost 時最大 3.3 GHz)
理論演算性能 1209.6 GFlops
Memory 容量 256 GB
メモリ帯域幅 153.6 GB/sec
GPU プロセッサ名 None NVIDIA Tesla P100 (Pascal)
コア数(単体) 56
メモリ容量(単体) 16 GB
メモリ帯域幅(単体) 732 GB/sec
理論演算性能(単体) 4.8 〜 5.3 TFlops
搭載数 2
CPU-GPU間接続 PCI Express Gen3 x16レーン
(16 GB/sec)
GPU間接続 NVLink 2 brick (20 GB/sec x2)
インターコネクト InfiniBand EDR 4x
(100 Gbps)
InfiniBand FDR 4x 2リンク
(56 Gbps x2)
Reedbush-Hノードのブロック図

ソフトウェア構成

項目 Reedbush-U Reedbush-H
OS Red Hat Enterprise Linux 7
コンパイラ GNU コンパイラ
Intel コンパイラ(Fortran77/90/95/2003/2008、C、C++)
None PGI コンパイラ
(Fortran77/90/95/2003/2008、C、C++、OpenACC 2.0、CUDA Fortran)
NVCC コンパイラ
(CUDA C)
メッセージ通信
ライブラリ
Intel MPI、SGI MPT、Open MPI、MVAPICH2、Mellanox HPC-X
None GPUDirect for RDMA: Open MPI、MVAPICH2-GDR
ライブラリ Intel 社製ライブラリ(MKL)
 BLAS、LAPACK、ScaLAPACK
その他ライブラリ
 FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、Xabclib、ppOpen-HPC、ppOpen-AT、MassiveThreads、OpenJDK
SuperLU、SuperLU MT、SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Boost cuBLAS、 cuSPARSE、 cuFFT、 MAGMA、 OpenCV、 ITK、 Theano、 Anaconda、 ROOT、 TensorFlow
アプリケーション OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP、OpenMX、xTAPP、AkaiKKR、MODYLAS、ALPS、feram、GROMACS、BLAST、R、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、K MapReduce、Spark Torch、Caffe、Chainer、GEANT4
フリーソフトウェア autoconf、automake、bash、bzip2、cvs、emacs、 findutils、gawk、gdb、make、grep、gnuplot、gzip、 less、m4、python,perl、ruby、screen、sed、 subversion、tar、tcsh、tcl、vim、zsh、cmake、 HDF5、git など