Wisteria/BDEC-01スーパーコンピュータシステムの紹介
※ システムトップページはこちら
システムの特徴
Wisteria/BDEC-01システムは、東京大学情報基盤センターが運用するスーパーコンピュータシステムです。Wisteria/BDEC-01はシミュレーションノード群(Odyssey(オデッセイ))とデータ・学習ノード群(Aquarius(アクエリアス))の2つの計算ノード群を有したシステムです。シミュレーションノード群(Odyssey)は、世界最高性能を有するスーパーコンピュータ「富岳」と同じ富士通株式会社の「FUJITSU Processor A64FX」を搭載した計算ノード7,680台から構成されます。データ・学習ノード群(Aquarius)はインテル社製第3世代Xeonスケーラブルプロセッサ(開発コード名Ice Lake)およびNVIDIA A100 Tensor コア GPUを搭載した計算ノード45台から構成されます。
ハードウェア構成
全体構成
項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) | |
---|---|---|---|
総理論演算性能 | 25.9 PFLOPS | 7.2 PFLOPS | |
総ノード数 | 7,680 | 45 | |
総主記憶容量 | 240.0 TiB | 36.5 TiB | |
インターコネクト | TofuインターコネクトD | InfiniBand HDR (200Gbps) x 4 |
|
ネットワークトポロジー | 6 次元メッシュ / トーラス | Full-bisection Fat Tree | |
共有ファイルシステム | システム名 | FEFS(Fujitsu Exabyte File System) | |
サーバ(OSS) | DDN SFA7990XE | ||
サーバ(OSS)数 | 16 | ||
ストレージ容量 | 25.8 PB | ||
ストレージデータ転送速度 | 504 GB/s | ||
高速ファイルシステム | システム名 | FEFS(Fujitsu Exabyte File System) | |
サーバ(OSS) | DDN SFA400NVXE | ||
サーバ(OSS)数 | 16 | ||
ストレージ容量 | 1.0 PB | ||
ストレージデータ転送速度 | 1.0 TB/s |
ノードの構成
項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) | |
---|---|---|---|
マシン名 | FUJITSU Supercomputer PRIMEHPC FX1000 |
FUJITSU Server PRIMERGY GX2570 M6 | |
CPU | プロセッサ名 | A64FX | Intel Xeon Platinum 8360Y (開発コード名:Ice Lake) |
プロセッサ数 (コア数) | 1 (48+アシスタントコア2 or 4) | 2 (36+36) | |
周波数 | 2.2 GHz | 2.4 GHz | |
理論演算性能 | 3.3792 TFLOPS | 5.53 TFLOPS | |
メモリ容量 | 32 GiB | 512 GiB | |
メモリ帯域幅 | 1,024 GB/s | 409.6 GB/s | |
GPU | プロセッサ名 | - | NVIDIA A100 |
SM数(単体) | 108 | ||
メモリ容量(単体) | 40 GiB | ||
メモリ帯域幅(単体) | 1,555 GB/s | ||
理論演算性能(単体) | 19.5 TFLOPS | ||
搭載数 | 8 | ||
CPU-GPU間接続 | PCI Express Gen4 x 16レーン (1レーンあたり片方向32 GB/s) |
||
GPU間接続 | NVLink x 12本 (1本あたり片方向25GB/s) |
ソフトウェア構成
項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) |
---|---|---|
OS | Red Hat Enterprise Linux 8 | |
コンパイラ | GNU コンパイラ | |
富士通社製 コンパイラ(Fortran、C、C++) | Intel コンパイラ(Fortran、C、C++) NVIDIA HPC SDK (Fortran、C、C++、OpenACC) NVIDIA CUDA SDK (CUDA C、CUDA C++) |
|
メッセージ通信ライブラリ | 富士通社製MPI | Intel MPI、Open MPI |
ライブラリ | SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、mpiJava | |
Archiconda 富士通社製ライブラリ(BLAS、CBLAS、LAPACK、 ScaLAPACK) |
Miniconda Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK)、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL |
|
アプリケーション | OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、LAMMPS、CP2K、NWChem、DeepVariant、ParaView、Vislt、POV-Ray、TensorFlow、Chainer、PyTorch、Keras、Horovod、MXNet | |
- | MATLAB、Theano | |
フリーソフトウェア | python、emacs、vim、gawk、git、gnuplot、make、screen、sed、tar など | |
- | Globus Toolkit、Gfarm、FUSE | |
コンテナ仮想化 | singularity |