Miyabiスーパーコンピュータシステムの紹介
※ システムトップページはこちら
システムの特徴
Miyabiシステムは、東京大学情報基盤センターと筑波大学計算科学研究センターが共同運営する、最先端共同HPC基盤施設（JCAHPC：Joint Center for Advanced High Performance Computing） の共同利用スーパーコンピュータシステムです。Miyabiは、米国NVIDIA社による超高速CPU-GPU専用リンクNVLink-C2Cで接続したGH200 Grace-Hopper Superchipを搭載した計算ノード1,120ノード(Miyabi-G)と、米国Intel社によるXeon Max 9480を2基搭載した計算ノード190ノード(Miyabi-C)をInfiniBand NDR200で結合した、倍精度演算性能80.1 PFLOPSを有する超並列クラスタ型スーパーコンピュータであり、GH200を搭載した国内初の汎用大規模システムです。さらに全ドライブにNVMe-SSDを採用した11.3 PBの並列ファイルシステムを備えます。
ハードウェア構成
全体構成
| 項目 | Miyabi-G | Miyabi-C | |
|---|---|---|---|
| 総理論演算性能 | 78.8 PFLOPS | 1.29 PFLOPS | |
| 総ノード数 | 1,120 | 190 | |
| 総主記憶容量 | 241.9 TB | 23.75 TiB | |
| インターコネクト | InfiniBand NDR (200Gbps) |
||
| ネットワークトポロジー | Full-bisection Fat Tree | ||
| 共有ファイルシステム | システム名 | Lustre（DDN EXAScaler） | |
| サーバ(OSS) | DDN ES400NVX2 | ||
| サーバ(OSS)数 | 10 | ||
| ストレージ容量 | 11.3 PB | ||
| ストレージデータ転送速度 | 1.0 TB/s | ||
ノードの構成
| 項目 | Miyabi-G | Miyabi-C | |
|---|---|---|---|
| マシン名 | Supermicro ARS-111GL-DNHR-LCC | FUJITSU Server PRIMERGY CX2550 M7 | |
| CPU | プロセッサ名 | NVIDIA Grace CPU | Intel Xeon Max 9480 |
| プロセッサ数 (コア数) | 1 (72) | 2 (56+56) | |
| 周波数 | 3.0 GHz | 1.9 GHz | |
| 理論演算性能 | 3.456 TFLOPS | 6.8096 TFLOPS | |
| メモリ容量 | 120 GB | 128 GiB | |
| メモリ帯域幅 | 512 GB/s | 3.2 TB/s | |
| GPU | プロセッサ名 | NVIDIA Hopper H100 GPU | - |
| メモリ容量（単体） | 96 GB | ||
| メモリ帯域幅（単体） | 4.02 TB/s | ||
| 理論演算性能（単体） | 66.9 TFLOPS | ||
| 搭載数 | 1 | ||
| CPU-GPU間接続 | NVLink C2C Cache-coherent (片方向 450 GB/s) | ||
ソフトウェア構成
| 項目 | Miyabi-G | Miyabi-C |
|---|---|---|
| OS | Rocky Linux 9 (ログインノードはRed Hat Enterprise Linux 9) | |
| コンパイラ | GNU コンパイラ | |
| NVIDIA HPC SDK (Fortran、C、C++、OpenMP、OpenACC) NVIDIA CUDA Toolkit (CUDA C、CUDA C++) |
Intel コンパイラ(Fortran、C、C++) | |
| メッセージ通信ライブラリ | Open MPI、NVIDIA HPC-X | Intel MPI |
| ライブラリ | cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL | - |
| BLAS、CBLAS、LAPACK、ScaLAPACK、SuperLU、SuperLU MT、SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、OpenCV、Xabclib、ppOpen-HPC、MassiveThreads、Standard Template Library (STL)、Boost C++ | アプリケーション | OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、PyTorch、JAX、Keras、Horovod、MXNet、Miniforge、Kokkos |
| フリーソフトウェア | autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git、Julia、CMake、Ninja、Java JDK、Grid Community Toolkit、Gfarm、FUSE など | |
| コンテナ仮想化 | Apptainer、Singularity Community Edition | |