大規模 HPC チャレンジ FAQ

「大規模 HPC チャレンジ」について教えてください。

「大規模 HPC チャレンジ」とは、FX10 スーパーコンピュータシステム（Oakleaf-FX）の全計算ノード (4,800 ノード) を専有利用することができる公募型プロジェクトです。 詳しくは、「大規模 HPC チャレンジ」をご覧ください。

「大規模 HPC チャレンジ」を利用するにあたり必要な手続き等がありますか。

「大規模 HPC チャレンジ」を利用するには、年複数回行われている課題募集に応募の上、課題採択される必要があります。詳しくは、「大規模 HPC チャレンジ」をご覧ください。

「大規模 HPC チャレンジ」を利用するための条件は何がありますか。

最大4,800ノード (76,800 コア)」を使用する大規模計算を実施する研究に限定します。また、申込者及び研究グループのメンバーは、国内外の並列計算機を利用した大規模計算の実績があることを前提としていますが、HPC に関連した幅広い分野の研究を対象としています。ただし、ソフトウェアベンダ開発ソフトウェアを利用するなどの利用ではなく、自作プログラム、オープンソースプログラムを利用した課題に限定いたします。 詳細は、「大規模 HPC チャレンジ」の研究対象をご覧ください。

「大規模 HPC チャレンジ」が利用できるメンバーについて何か制限がありますか。

申込者は「国内の大学、公共機関に所属する研究者、および民間企業に所属する者」とします。また、研究グループのメンバー又は申込者が企業の方の場合は、以下の書類のいずれかを提出していただく必要があります。 詳細は、「大規模 HPC チャレンジ」の応募資格をご覧ください。
研究グループのメンバーに企業の方が含まれる場合
以下の書類のいずれかを提出していただく必要があります。
・「共同研究契約書の写し」
・「適切に監督を行うことを記した誓約書及び請負契約書の写し」
・「利用規程にある利用目的を遵守することを記した誓約書」
研究グループのメンバーに外国人利用者が含まれる場合
輸出貿易関連法規に違反しないことを確認してください。詳しくは、「外国人及び海外在住者のスパコン利用について」をご覧ください。

「大規模 HPC チャレンジ」の利用が許可されましたが、課題応募時の利用者以外の利用者追加は認められますか。また、ディスク量等の追加は認められますか。その場合の申込み方法等について教えてください。

問い合わせ窓口（）までメールでお問い合わせください。
「大規模 HPC チャレンジ」の課題提出時に利用環境を含めた課題審査を行っています。そのため、利用者の追加やディスク量の追加等については、再度課題審査による再審査が行われます。再審査の結果、追加等が認められる場合もありますが、再審査には時間を要することから、利用開始までに間に合わない場合もあります。応募には、FX10 スーパーコンピュータシステムの利用者およびディスク量等の必要事項を精査の上、ご応募ください。

「大規模 HPC チャレンジ」が利用できるまでの流れを教えてください。

「大規模 HPC チャレンジ」は、利用者の皆様から申し込まれた課題を審査委員会により審査を行い、採択課題を選考します。課題が採択された場合は、申込書に記載されている利用希望時期の中からセンターが設定した利用日時と、利用申込書をメールに添付してご連絡いたしますので、必要事項をご記入の上、東京大学 情報システム部 情報戦略課 研究支援チームへご提出いただきます。ご利用の約 1 ヶ月前に、利用期間等が記載された「利用登録のお知らせ」が送付されます。ご利用後は、実績報告書の提出、スーパーコンピューティングニュースへの成果報告記事の執筆、査読付国際会議への投稿 (速報) などを行っていただきます。センターの主催、共催するセミナー、ワークショップ等でご発表いただく場合があります。

旧システムの HA8000 クラスタシステムで行われていた「512 ノード利用大規模 HPC 研究」では、利用が認められた場合には、新たな利用者番号が発行されていました。「大規模 HPC チャレンジ」でも同様に「大規模 HPC チャレンジ」利用のための新しい利用者番号が発行されるのでしょうか。

「大規模 HPC チャレンジ」に採択された利用者が既に本センターの利用者である場合には、新たな利用者番号は発行されずに、「大規模 HPC チャレンジ」利用のためのトークンが追加されるだけです (「大規模 HPC チャレンジ」グループメンバ全員で利用可能なトークンが追加されます)。また、本センターの利用者でない場合 (メンバー) には、「512 ノード大規模 HPC 研究」と同様に、「大規模 HPC チャレンジ」利用期間のみ利用可能な利用者番号と、トークンが付与されます。
既に利用者番号（グループコース（gc10））を取得している場合の利用イメージ

１．大規模HPCチャレンジが利用許可された場合
(1) 既存のグループコース（gx10）利用者①、利用者②を大規模HPCチャレンジの利用者として応募申込み
　
(2) 大規模HPCチャレンジご利用の約 1 ヶ月前に、利用期間等が記載された「利用登録のお知らせ」が送付され、大規模HPCチャレンジ用のグループコース（gx10）が追加される。利用者２名（c10000、c10001）が登録され、大規模HPCチャレンジ用のトークン（8,640ノード時間）及び、利用者ごとにディスク容量（50 GB）が割り当てられる。
　
２．大規模HPCチャレンジの利用許可期間（ご利用の翌月に実施される「大規模 HPC チャレンジ」前日まで）が終了した時点で、大規模HPCチャレンジ用のグループコース（gx10）が利用取消される（大規模HPCチャレンジ用に割り当てられたトークン及びディスク容量（50 GB）が削除される）。
　

新規に利用者番号を取得する場合の利用イメージ

１．大規模HPCチャレンジが利用許可された場合は、ご利用の約 1 ヶ月前に、利用期間等が記載された「利用登録のお知らせ」が送付され、大規模HPCチャレンジ用のグループコース（gx10）へ利用者が登録される。また、大規模HPCチャレンジ用のトークン（8,640ノード時間）及び、利用者ごとにディスク容量（50 GB）が割り当てられる。
　
２．大規模HPCチャレンジの利用許可期間（ご利用の翌月に実施される「大規模 HPC チャレンジ」前日まで）が終了した時点で、大規模HPCチャレンジ用のグループコース（gx10）が利用取消される。
　

利用可能なディレクトリ (ファイルシステム) について教えてください。

利用可能なファイルシステムは、ローカルファイルシステム、共有ファイルシステム、外部ファイルシステムの 3 ファイルシステムで構成されます。各ファイルシステムの主な特徴については、以下をご覧ください。

共有ファイルシステム (FEFS)
ログインノード、インタラクティブノード、計算ノードからアクセスすることが可能です。
Oakleaf-FX
パーソナルコースでは標準で /home 200 GB のディスク容量を利用できます。
グループコースではグループ内の利用者で共有するディスク領域 /group として申込 12 ノードあたり 4 TB のディスク容量を利用できます。また、グループを構成するグループ内利用者ごとに /home 50 GB のディスク容量を利用できます。
Oakbridge-FX
パーソナル、グループコースにかかわらず各利用者は /home 10 GBを利用できます（増量はできません）。
一時領域 /scratch については、本ディレクトリに保存されたファイルのうち、最終更新日から1ヶ月経過したファイルは毎月月末処理日に削除されます。
ローカルファイルシステム (FEFS)
ローカルファイルシステムは、バッチジョブのジョブステージング機能 (一時領域。ジョブの実行が終了した時点でファイルは削除されます) で使用できます。ジョブステージングで使用できる容量は、バッチジョブで使用するノード数により決まり、1 ノードあたり約 200 GB です。例えば 12 ノードジョブの場合、約 2.4 TB の容量がステージング領域として使用できます。
外部ファイルシステム (FEFS)　※ Oakleaf-FX のみ
外部ファイルシステムは、ログインノード、インタラクティブノード、計算ノードからアクセスすることが可能です。本ディレクトリに保存されたファイルのうち、最終更新日から 1 年経過したファイルは、毎月月末処理日に削除されます。

「大規模 HPC チャレンジ」利用で、新たなディレクトリ (ファイル容量等) は追加されるのでしょうか。

「大規模 HPC チャレンジ」利用のためのグループとして利用登録されます。そのため、「大規模 HPC チャレンジ」利用期間中だけ利用可能なディレクトリが追加されます。ただし、利用期間終了後には追加されたディレクトリ・ファイル等、全て削除されます。

成果報告書等を英文で提出 (記載) しても良いでしょうか。また、その場合に記載する謝辞の例などはありますか。

英文でも差し支えありません。例については、「論文等で研究成果を報告する場合の英文表記について」をご覧ください。

▲ 大規模 HPC チャレンジ FAQ TOPへ

トークンに関して

「大規模 HPC チャレンジ」利用で使用できるトークン量はどの程度が割当てられるのでしょうか。

「大規模 HPC チャレンジ」利用期間中に利用できるトークン量は 8,640 ノード時間になります (12 ノード相当)。この割当てられたトークンは、「大規模 HPC チャレンジ」(4,800 ノード利用時) までに debug 等を行うために利用できるものです。

最初に割当られたトークンが 8,640 ノード時間である場合、「大規模 HPC チャレンジ」(4,800 ノード利用時) には、トークンが不足する可能性がありますが。

「大規模 HPC チャレンジ」(4,800 ノード利用時) に使用するキューはトークン対象外となっています。そのため、バッチジョブを実行しても割当てられたトークンを使用せず、バッチジョブ実行が可能です。

「大規模 HPC チャレンジ」利用で利用できるトークンについて何か制限等はありますか。

「大規模 HPC チャレンジ」利用で利用できるトークンは特段の制限はありません。そのため、利用できるキューについても、一般の利用者と変更はありませんが、12 ノードを超えるジョブを実行する場合には、消費係数が 2.00 となります。

「大規模 HPC チャレンジ」利用で割当てられたトークンを全て使用してしまいました。トークンの追加は可能でしょうか。

「大規模 HPC チャレンジ」利用で割当てられたトークン以上のトークンの追加は認められません。

「大規模 HPC チャレンジ」用の利用者番号または、トークンの利用期限について教えてください。また、ファイルをバックアップするのはいつまでに行えばよいですか。

ご利用の翌月に実施される「大規模 HPC チャレンジ」前日までが利用期限となります。
「大規模 HPC チャレンジ」用に利用者番号を取得した場合

上記の通り、ご利用の翌月に実施される「大規模 HPC チャレンジ」前日までが利用期限となります。そのため、この期間中 (利用を許可された期間中) にファイルのバックアップ、移行等を実施してください (利用期限が終了した時点で、利用者番号・ファイル等は削除されます。センターではファイルのバックアップは取得しておりませんので、必ず利用期間中にファイルのバックアップ・移行等を終了してください)。

「大規模 HPC チャレンジ」用のトークンが追加されている場合

上記の通り、ご利用の翌月に実施される「大規模 HPC チャレンジ」前日までがトークンの利用期限となります (利用期間終了後には、「大規模 HPC チャレンジ」で追加されたトークンは利用できなくなりますのでご注意ください)。また、「大規模 HPC チャレンジ」でディスク量の上限値が追加されている場合には、利用期間終了後にはファイル容量が利用登録時の設定値に修正 (元の値に変更) されます。ディスク容量の上限値管理には十分注意をお願いいたします。

▲ 大規模 HPC チャレンジ FAQ TOPへ

ジョブ投入・管理について

「大規模 HPC チャレンジ」で利用できるプロジェクトコード、キュー名 (指定方法) などについて教えてください。

大規模 HPC チャレンジ」で利用できるプロジェクトコード、キュー名などの必要事項は「利用登録のお知らせ」に記載されますのでそちらをご覧ください。
指定例は以下となります。詳細は利用支援ポータル（-ドキュメント閲覧）の利用手引書をご覧ください。
[指定例]

 #!/bin/sh
 #PJM -L "rscgrp=challenge"      キュー名を指定(例の場合、"challenge"を指定)
 #PJM -L "node=4800"             ノード数の指定(例の場合、"4,800 ノード"を指定)
 #PJM -L "elapse=5:00:00"        経過時間の指定(例の場合、経過時間を"5時間"に指定)
 #PJM -g gx10                    プロジェクトコードの指定(例の場合、"gx10"を指定)

 mpiexec ./a.out                 MPIプログラムの実行

実行されているジョブの確認方法について教えてください。

pjstat コマンドで確認できます。

「大規模 HPC チャレンジ」で同時投入可能なバッチジョブ数について教えてください。

利用者毎に投入できるジョブの最大投入可能なバッチジョブ数は、10 本です。「大規模 HPC チャレンジ」を構成する利用者が 4 名だった場合には、グループ全体での最大同時投入数は 40 本となります。

「大規模 HPC チャレンジ」で同時実行可能なバッチジョブ数について教えてください。

「大規模 HPC チャレンジ」で利用を許可されたジョブクラスで同時に実行されるジョブの最大数は、10 本です。

「大規模 HPC チャレンジ」のスケジューリング方式について教えてください。

FIFO による実行です。

「大規模 HPC チャレンジ」で登録されている利用者の使用トークン量について確認する方法はありますか。

自分が使用したトークン量は、show_token コマンドで確認することができます。また、グループ管理者は、グループ内利用者のトークン量を確認することができます。

ジョブの実行が開始されません。

以下の点についてご確認ください。

1. 同じグループの他の利用者がジョブを実行している可能性があります。pjstat コマンドで他の利用者ジョブが実行されていないことを確認してください。

2. ジョブ実行時の計算ノード形状が指定されている場合には、利用者が指定したジョブ形状が確保されない場合にはジョブの実行が抑止されます。

「大規模 HPC チャレンジ」実施中にインタラクティブジョブ実行は可能でしょうか。debug キューの利用についても可能でしょうか。

「大規模 HPC チャレンジ」実施中は、計算ノード全てを利用するため debug、short などのキューは全て利用できなくなります。ただし、インタラクティブジョブは実行可能です。

▲ 大規模 HPC チャレンジ FAQ TOPへ

センターへの連絡について

「大規模 HPC チャレンジ」利用中にシステム障害が疑われる現象があります。問い合わせをしたいのですが。

相談受付（）までメールでご連絡ください。

「大規模 HPC チャレンジ」に関連した、プログラム相談を行いたいのですが。

相談受付（）までメールでご連絡ください。ただし内容によっては、「大規模 HPC チャレンジ」実施期間中に回答できない場合がありますので、ご了承ください。

▲ 大規模 HPC チャレンジ FAQ TOPへ