Wisteria/BDEC-01スーパーコンピュータシステムの紹介
※ システムトップページはこちら
システムの特徴
Wisteria/BDEC-01システムは、東京大学情報基盤センターが運用するスーパーコンピュータシステムです。Wisteria/BDEC-01はシミュレーションノード群（Odyssey（オデッセイ））とデータ・学習ノード群（Aquarius（アクエリアス））の2つの計算ノード群を有したシステムです。シミュレーションノード群（Odyssey）は、世界最高性能を有するスーパーコンピュータ「富岳」と同じ富士通株式会社の「FUJITSU Processor A64FX」を搭載した計算ノード7,680台から構成されます。データ・学習ノード群（Aquarius）はインテル社製第3世代Xeonスケーラブルプロセッサ（開発コード名Ice Lake）およびNVIDIA A100 Tensor コア GPUを搭載した計算ノード45台から構成されます。
ハードウェア構成
全体構成
| 項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) | |
|---|---|---|---|
| 総理論演算性能 | 25.9 PFLOPS | 7.2 PFLOPS | |
| 総ノード数 | 7,680 | 45 | |
| 総主記憶容量 | 240.0 TiB | 36.5 TiB | |
| インターコネクト | TofuインターコネクトD | InfiniBand HDR (200Gbps) x 4 |
|
| ネットワークトポロジー | 6 次元メッシュ / トーラス | Full-bisection Fat Tree | |
| 共有ファイルシステム | システム名 | FEFS（Fujitsu Exabyte File System） | |
| サーバ(OSS) | DDN SFA7990XE | ||
| サーバ(OSS)数 | 16 | ||
| ストレージ容量 | 25.8 PB | ||
| ストレージデータ転送速度 | 504 GB/s | ||
| 高速ファイルシステム | システム名 | FEFS（Fujitsu Exabyte File System） | |
| サーバ(OSS) | DDN SFA400NVXE | ||
| サーバ(OSS)数 | 16 | ||
| ストレージ容量 | 1.0 PB | ||
| ストレージデータ転送速度 | 1.0 TB/s | ||
ノードの構成
| 項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) | |
|---|---|---|---|
| マシン名 | FUJITSU Supercomputer PRIMEHPC FX1000 |
FUJITSU Server PRIMERGY GX2570 M6 | |
| CPU | プロセッサ名 | A64FX | Intel Xeon Platinum 8360Y （開発コード名：Ice Lake） |
| プロセッサ数 (コア数) | 1 (48+アシスタントコア2 or 4) | 2 (36+36) | |
| 周波数 | 2.2 GHz | 2.4 GHz | |
| 理論演算性能 | 3.3792 TFLOPS | 5.53 TFLOPS | |
| メモリ容量 | 32 GiB | 512 GiB | |
| メモリ帯域幅 | 1,024 GB/s | 409.6 GB/s | |
| GPU | プロセッサ名 | - | NVIDIA A100 |
| SM数（単体） | 108 | ||
| メモリ容量（単体） | 40 GiB | ||
| メモリ帯域幅（単体） | 1,555 GB/s | ||
| 理論演算性能（単体） | 19.5 TFLOPS | ||
| 搭載数 | 8 | ||
| CPU-GPU間接続 | PCI Express Gen4 x 16レーン (1レーンあたり片方向32 GB/s) |
||
| GPU間接続 | NVLink x 12本 (1本あたり片方向25GB/s) |
||
ソフトウェア構成
| 項目 | Wisteria-O (Odyssey) | Wisteria-A (Aquarius) |
|---|---|---|
| OS | Red Hat Enterprise Linux 8 | |
| コンパイラ | GNU コンパイラ | |
| 富士通社製 コンパイラ(Fortran、C、C++) | Intel コンパイラ(Fortran、C、C++) NVIDIA HPC SDK (Fortran、C、C++、OpenACC) NVIDIA CUDA SDK (CUDA C、CUDA C++) |
|
| メッセージ通信ライブラリ | 富士通社製MPI | Intel MPI、Open MPI |
| ライブラリ | SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、mpiJava | |
| Archiconda 富士通社製ライブラリ(BLAS、CBLAS、LAPACK、 ScaLAPACK) |
Miniconda Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK）、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL |
|
| アプリケーション | OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、LAMMPS、CP2K、NWChem、DeepVariant、ParaView、Vislt、POV-Ray、TensorFlow、Chainer、PyTorch、Keras、Horovod、MXNet | |
| - | MATLAB、Theano | |
| フリーソフトウェア | python、emacs、vim、gawk、git、gnuplot、make、screen、sed、tar など | |
| - | Globus Toolkit、Gfarm、FUSE | |
| コンテナ仮想化 | singularity | |