東京大学情報基盤センター スーパーコンピューティング部門

Wisteria/BDEC-01スーパーコンピュータシステムの紹介
※ システムトップページはこちら

システムの特徴

Wisteria/BDEC-01システムは、東京大学情報基盤センターが運営するスーパーコンピュータシステムです。Wisteria/BDEC-01はシミュレーションノード群(Odyssey(オデッセイ))とデータ・学習ノード群(Aquarius(アクエリアス))の2つの計算ノード群を有したシステムです。シミュレーションノード群(Odyssey)は、世界最高性能を有するスーパーコンピュータ「富岳」と同じ富士通株式会社の「FUJITSU Processor A64FX」を搭載した計算ノード7,680台から構成されます。データ・学習ノード群(Aquarius)はインテル社製第3世代Xeonスケーラブルプロセッサ(開発コード名Ice Lake)およびNVIDIA A100 Tensorコアを搭載した計算ノード45台から構成されます。

システム概念図

ハードウェア構成

全体構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
総理論演算性能 25.9 PFLOPS 7.2 PFLOPS
総ノード数 7,680 45
総主記憶容量 240.0 TiB 36.5 TiB
インターコネクト TofuインターコネクトD InfiniBand HDR
(200Gbps) x 4
ネットワークトポロジー 6 次元メッシュ / トーラス Full-bisection Fat Tree
共有ファイルシステム システム名 FEFS(Fujitsu Exabyte File System)
サーバ(OSS) DDN SFA7990XE
サーバ(OSS)数 16
ストレージ容量 25.8 PB
ストレージデータ転送速度 504 GB/s
高速ファイルシステム システム名 FEFS(Fujitsu Exabyte File System)
サーバ(OSS) DDN SFA400NVXE
サーバ(OSS)数 16
ストレージ容量 1.0 PB
ストレージデータ転送速度 1.0 TB/s

ノードの構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
マシン名 FUJITSU Supercomputer
PRIMEHPC FX1000
FUJITSU Server PRIMERGY GX2570 M6
CPU プロセッサ名 A64FX Intel Xeon Platinum 8360Y
(開発コード名:Ice Lake)
プロセッサ数 (コア数) 1 (48+アシスタントコア2 or 4) 2 (36+36)
周波数 2.2 GHz 2.4 GHz
理論演算性能 3.3792 TFLOPS 5.53 TFLOPS
メモリ容量 32 GB 512 GiB
メモリ帯域幅 1,024 GB/s 409.6 GB/s
GPU プロセッサ名 - NVIDIA A100
SM数(単体) 108
メモリ容量(単体) 40 GiB
メモリ帯域幅(単体) 1,555 GB/s
理論演算性能(単体) 19.5 TFLOPS
搭載数 8
CPU-GPU間接続 PCI Express Gen4 x 16レーン
(1レーンあたり片方向32 GB/s)
GPU間接続 NVLink x 12本
(1本あたり片方向25GB/s)

ソフトウェア構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
OS Red Hat Enterprise Linux 8
コンパイラ GNU コンパイラ
富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、C++) Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)
NVIDIA HPC SDK
(Fortran77/90/95/2003/2008、C、C++、OpenACC 2.7)
NVIDIA CUDA SDK
(CUDA C、CUDA C++)
メッセージ通信ライブラリ 富士通社製MPI Intel MPI、Open MPI
ライブラリ SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、mpiJava
富士通社製ライブラリ(BLAS、CBLAS、LAPACK、 ScaLAPACK) Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK)、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL
アプリケーション OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、PyTorch、Keras、Horovod、MXNet
- Theano
フリーソフトウェア autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
- Globus Toolkit、Gfarm、FUSE
コンテナ仮想化 singularity