MIG について
NVIDIA GH200 Grace Hopper Superchip を搭載している Miyabi-G では、MIG (Multi-Instance GPU) と呼ばれる、GPUリソース(SM(演算コア)、メモリ)を複数のインスタンスに分割する機能を一部のキューにおいて有効としております。MIG に関する詳細は「NVIDIA マルチインスタンス GPU」(外部サイト)をご参照ください。
想定される活用場面
- NVIDIA GH200 Grace Hopper Superchip 1基の演算リソースを使い切れない
→ MIG 利用キューを使用することでトークン消費量を抑えることが可能 - 実装・開発中のコードのデバッグ・動作テスト・機能テスト
→ MIG 利用キューも使用して混雑しているキューを避けることで、ジョブ投入後の待ち時間を短縮可能 - 大学における講義等の教育利用
→ MIG 利用キューも使用することで、多数の受講者によるジョブ同時実行が可能
Miyabi-G における MIG 利用形態
Miyabi-G の MIG 利用キューでは、NVIDIA GH200 Grace Hopper Superchip を4分割して提供いたします。それぞれに割り当てられるリソースは以下表のとおりです。GPU リソース(SM数)の少ない MIG#3 を回避するジョブ投入オプションはございません。
MIG#0 | MIG#1 | MIG#2 | MIG#3 | |
---|---|---|---|---|
GPU リソース | 32 SMs, 24 GB | 32 SMs, 24 GB | 32 SMs, 24 GB | 26 SMs, 24 GB |
CPU リソース | 18コア, 25 GiB | 18コア, 25 GiB | 18コア, 25 GiB | 18コア, 25 GiB |
MIG 利用キュー
インタラクティブジョブキュー
キュー名 | MIG インスタンス数 | 制限(経過)時間 | メモリー容量(GiB) |
---|---|---|---|
interact-mig | 1 | 2 時間 | 25 |
- トークンを消費しません。
バッチジョブキュー
キュー名 | MIG インスタンス数 | 制限(経過)時間 | メモリー容量(GiB) |
---|---|---|---|
debug-mig | 1, 2, 4 | 30 分 | 25 |
short-mig | 1, 2, 4 | 8 時間 | 25 |
regular-mig | 1, 2, 4 | 48 時間 | 25 |
トークンの計算
バッチジョブ実行毎にトークンを消費します。MIG利用キューにおけるトークン消費係数は1MIGインスタンスあたり 0.25 です。以下の計算式並びに、具体的な計算例をご覧ください。
トークン = 経過時間 × 要求ノード数もしくはMIGインスタンス数 × 消費係数トークンの計算例 (Miyabi-G で24 時間、MIG 1インスタンスジョブを実行した場合のトークン量)
トークン = 24(時間) × 1(インスタンス) × 0.25(Miyabi-G MIG利用時の消費係数)
= 6(トークン)