東京大学情報基盤センター スーパーコンピューティング部門

Wisteria/BDEC-01スーパーコンピュータシステムの紹介
※ システムトップページはこちら

システムの特徴

Wisteria/BDEC-01システムは、東京大学情報基盤センターが運用するスーパーコンピュータシステムです。Wisteria/BDEC-01はシミュレーションノード群(Odyssey(オデッセイ))とデータ・学習ノード群(Aquarius(アクエリアス))の2つの計算ノード群を有したシステムです。シミュレーションノード群(Odyssey)は、世界最高性能を有するスーパーコンピュータ「富岳」と同じ富士通株式会社の「FUJITSU Processor A64FX」を搭載した計算ノード7,680台から構成されます。データ・学習ノード群(Aquarius)はインテル社製第3世代Xeonスケーラブルプロセッサ(開発コード名Ice Lake)およびNVIDIA A100 Tensor コア GPUを搭載した計算ノード45台から構成されます。

システム概念図

ハードウェア構成

全体構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
総理論演算性能 25.9 PFLOPS 7.2 PFLOPS
総ノード数 7,680 45
総主記憶容量 240.0 TiB 36.5 TiB
インターコネクト TofuインターコネクトD InfiniBand HDR
(200Gbps) x 4
ネットワークトポロジー 6 次元メッシュ / トーラス Full-bisection Fat Tree
共有ファイルシステム システム名 FEFS(Fujitsu Exabyte File System)
サーバ(OSS) DDN SFA7990XE
サーバ(OSS)数 16
ストレージ容量 25.8 PB
ストレージデータ転送速度 504 GB/s
高速ファイルシステム システム名 FEFS(Fujitsu Exabyte File System)
サーバ(OSS) DDN SFA400NVXE
サーバ(OSS)数 16
ストレージ容量 1.0 PB
ストレージデータ転送速度 1.0 TB/s

ノードの構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
マシン名 FUJITSU Supercomputer
PRIMEHPC FX1000
FUJITSU Server PRIMERGY GX2570 M6
CPU プロセッサ名 A64FX Intel Xeon Platinum 8360Y
(開発コード名:Ice Lake)
プロセッサ数 (コア数) 1 (48+アシスタントコア2 or 4) 2 (36+36)
周波数 2.2 GHz 2.4 GHz
理論演算性能 3.3792 TFLOPS 5.53 TFLOPS
メモリ容量 32 GiB 512 GiB
メモリ帯域幅 1,024 GB/s 409.6 GB/s
GPU プロセッサ名 - NVIDIA A100
SM数(単体) 108
メモリ容量(単体) 40 GiB
メモリ帯域幅(単体) 1,555 GB/s
理論演算性能(単体) 19.5 TFLOPS
搭載数 8
CPU-GPU間接続 PCI Express Gen4 x 16レーン
(1レーンあたり片方向32 GB/s)
GPU-GPU間接続 NVLink x 12本
(1本あたり片方向25 GB/s)

ソフトウェア構成

項目 Wisteria-O (Odyssey) Wisteria-A (Aquarius)
OS Red Hat Enterprise Linux 8
コンパイラ GNU コンパイラ
富士通社製 コンパイラ(Fortran、C、C++) Intel コンパイラ(Fortran、C、C++)
NVIDIA HPC SDK
(Fortran、C、C++、OpenACC)
NVIDIA CUDA SDK
(CUDA C、CUDA C++)
メッセージ通信ライブラリ 富士通社製MPI Intel MPI、Open MPI
ライブラリ SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、mpiJava
Archiconda
富士通社製ライブラリ(BLAS、CBLAS、LAPACK、 ScaLAPACK)
Miniconda
Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK)、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL
アプリケーション OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、LAMMPS、NWChem、DeepVariant、ParaView、Vislt、POV-Ray、TensorFlow、Chainer、PyTorch、Keras、Horovod、MXNet
- HyperWorksMATLAB、CP2K、Theano
フリーソフトウェア python、emacs、vim、gawk、git、gnuplot、make、screen、sed、tar など
- Globus Toolkit、Gfarm、FUSE
コンテナ仮想化 singularity