Reedbush FAQ
利用申込
- Reedbushの利用申込を行いたいのですが、申込開始日等について教えてください。
- 提供可能な計算リソースに余裕がある限り随時利用申込を受付けます。Reedbush 利用申込書に必要事項を記入・押印の上、東京大学 情報システム部 情報戦略課 研究支援チームまでお申込ください。
- Reedbush の申込や利用に際して事前に確認 (注意) する点などはありますか。
-
Reedbush の申込方法や、利用方法、各種マニュアル等を用意しています。こちらで利用申込方法や、サービス内容について、ご確認ください (メーカー製の手引書やマニュアルについては、利用者限定になっています)。
・Reedbush コース紹介
・Reedbush トークンについて
・Reedbush 利用負担金
・Reedbush 月数別利用負担金
・QuickStartGuide
(Reedbush 利用方法等の概要を説明しています。
システム利用方法の詳細は、利用支援ポータル内にあります手引書、マニュアルを参照してください)
- グループ内ディスク領域の制限値 (QUOTA) はどの様に設定されていますか。
- グループ内ディスク領域には、グループに登録されているグループ内利用者個々のディレクトリ (以下の例の場合、/lustre/gz00/z3000*) と、グループ内利用者が共有して利用するディレクトリ (以下の例の場合、/lustre/gz00/share)を用意してあります。
それら全体に対してユーザおよびグループの制限値が設定されています。
申込が4ノードの場合、ユーザ及びグループの制限値はいずれも4TBとなります。
- グループ管理者が必要とありますが、グループ管理者とはどの様なこと (管理) を行うのでしょうか。
- Reedbush では、バッチジョブ実行時に利用するトークンとノード数がグループ全体に割当てられますが、グループ管理者は利用者ごとに、これらの計算資源の上限値を設定・変更することができます。なお、トークン上限値、ノード数はグループに割当られた上限値を超過して変更することはできません。
グループ管理者機能
・グループ内利用者のトークン量の上限値変更 (初期値：グループ上限)
・グループ内利用者のノード数の上限値変更 (初期値：グループ上限)
- パーソナル (グループ) コースの利用者を自分のグループに追加することは可能ですか。この場合、新たにユーザIDが割り振られるのでしょうか。
- グループに追加することは可能です。ただし、既に本センターの利用者をグループに追加する場合には、現在使用しているユーザIDに対してグループ追加登録処理を行いますので、新たにユーザIDを割り振ることはありません。
- パーソナル (グループ) コースの利用者を自分のグループに追加した場合、グループ内利用者に割り当てられる資源 (トークン、ディスク容量) はどの様に扱われますか。
-
新たにグループに追加した利用者に対しては、グループ内で利用可能なトークンの利用許可とグループ内利用者用領域に利用者ディレクトリが作成されます。
グループにユーザ「z40000」を追加した場合
グループからユーザ「z40000」を削除した場合
ユーザの制限値について
複数のコースに所属する場合，/lustre 領域のユーザ単位の利用量上限値は各コースそれぞれの割り当て量のうち最大のものが適用されます（合算とはなりません）。
例えば、割り当てが4TBのグループコースでは4TBが上限値になりますが、他のコースの割り当て量がこれを超えない限り上限値は変わりません（ただし、ファイルを書き込めるディレクトリの選択肢は増えます）。
この状況で割り当てが8TBとなるグループコースに所属するとユーザの利用量上限値は8TBになります。以下に例を示します。
ユーザの利用量上限値は4TB複数のコースに所属する例（その１） 所属するコース 利用量上限値 パーソナルコース 1TB グループコースA 4TB
ユーザの利用量上限値は8TB複数のコースに所属する例（その２） 所属するコース 利用量上限値 パーソナルコース 1TB グループコースA 4TB グループコースB 8TB
なお，ユーザの制限値とは別に各コース（グループ※）の制限値はそれぞれ有効ですので，ファイルの所有グループについてはご注意ください。
※パーソナルコースにも一意のグループが割り当てられます。
- 複数のグループに登録することは可能ですか。
- 可能です。追加されるグループ代表者から利用申込を行ってください。
- グループの利用者でしたが、登録していたグループの利用が取消されます。引き続き利用したいのですが、どの様にすれば良いでしょうか。
- 現在登録しているグループの利用期限までに、新たに、グループまたは、パーソナルコースに利用申込をお願いいたします。利用期限終了後にグループまたはパーソナルコースに申し込まれた場合、ユーザID並びに利用していたファイルの引き継ぎは行えませんのでご注意ください。
- グループコースの利用者は随時追加が可能でしょうか。
- 可能です。Reedbush 変更申込に必要事項を記載の上、東京大学 情報システム部 情報戦略課 研究支援チームまで提出してください。
- グループコースに登録する利用者数の上限はありますか。
- グループコースに申込 (登録) する利用者数に制限はありません。ただし、利用登録者数とは関係なく、グループに割当てられるトークンは一定ですので、登録された利用者全員で使用する (トークンを消費する) ことになります。
- 申込ノード数と最大ノード数との記載があります。これらの違いについて教えてください。
- Reedbush では、申込ノード数を超えて最大ノード数まで利用することができます。ただし、申込ノード数を超えるバッチジョブを実行した場合には、消費するトークン量が増加します。
トークン
- トークンについて教えてください。
- トークンに関する説明やFAQを掲載している「トークンについて」のページをご覧ください。
システム全般、サービス内容
- 教育利用とはどのような利用方法でしょうか。
- 東京大学情報基盤センター（以下、センター）では、大学院や学部の授業において、演習用としてスーパーコンピュータ資源を提供しています。
気候・流体解析・構造解析・分子科学・ナノテクノロジー・航空宇宙など、多方面の研究分野で養われた手法を用いてスーパーコンピュータを演習教材として使用する動きがあり、既に学部の専門課程及び大学院の授業では、構造解析・地球科学・流体関係の演習用としてスーパーコンピュータが使われています。
教育現場でのスーパーコンピュータの利用は、人材育成や利用の拡大に繋げられると期待できることから、センターでは、大学、高等専門学校教員が担当する大学院、大学学部、高等専門学校における講義・演習（集中講義を含む）を対象とし、申込を随時受け付けています。
「教育利用」は、学内の利用に限定せず、東京大学以外からの利用申込も受け付けています。詳細は、「教育利用」をご覧ください。
提供資源
Reedbush-U 1 ジョブあたりの最大実行時間 10 分、最大 ノード数 8 (288 コア)
Reedbush-H 1 ジョブあたりの最大実行時間 10 分、最大 ノード数 2 (GPU 4基)
- ログインシェルは変更可能でしょうか。
- chsh コマンドにて変更可能です。標準では、ログインシェルを bash に設定しています。
コンパイラ
- コンパイラのバージョンアップ情報について確認する方法はありますか。
- 利用支援ポータルでコンパイラのバージョンアップ情報を記載していますのでご確認ください。
- デバッガ・プロファイラなどはありますか。
- Intel Inspector XE, Intel VTune Amplifier, Intel Trace Analyzer & Collector, TotalView, Trace Analyzer & Collector, NVIDIA Visual Profiler 等を用意しています。詳細は利用支援ポータル（-ドキュメント閲覧）にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)、同(Reedbush-H 編)、同(Reedbush-L 編)」等をご覧ください。
ライブラリ
- 提供されているライブラリ、アプリケーションのバージョンを教えてください。
-
センターで提供しているライブラリ、アプリケーションのバージョンは以下の通りです（2017年6月現在）。また、module コマンドでバージョン情報等を取得することが可能です。module コマンドの利用方法については、利用手引書をご覧ください。
ライブラリ バージョン Intel 社製ライブラリ(MKL)
SuperLU
SuperLU MT
SuperLU DIST
METIS
MT-METIS
ParMETIS
Scotch
PT-Scotch
PETSc
GNU Scientific Library
netcdf(C 言語版)
netcdf(C++ 言語版)
netcdf(FORTRAN 言語版)
Parallel netCDF
Xabclib
ppOpen-APPL/FEM
ppOpen-APPL/FDM
ppOpen-MATH/MP
ppOpen-APPL/FDM-AT
ppOpen-APPL/DEM-util
ppOpen-APPL/BEM
ppOpen-APPL/AMR-FDM
ppOpen-APPL/BEM-AT
ppOpen-APPL/FVM
ppOpen-MATH/VIS
ppOpen-AT
MassiveThreads
OpenJDK
Boost
CUDA
MAGMA
OpenCV
ITK
Theano
Anaconda
ROOT
TensorFlow2017 update 2
5.2.0
3.1
5.1.0
4.0.3 5.1.0
0.4.4
4.0.3
6.0.4
6.0.4
3.7.1
2.1
4.4.0
4.3.0
4.4.4
1.7.0
1.03
1.0.1
0.3.1
1.0.0
1.0.0
1.0.0
0.4.0
0.3.0
0.1.0
0.3.0
0.2.0
1.0.0
0.95
1.8.0.91-0.b14
1.61
8.0.44
2.2.0
3.2.0
4.11.0
0.8.2
4.3.0
6.08.00
1.0.0
アプリケーション バージョン OpenFOAM
ABINT-MP
PHASE/0
FrontFlow/blue
FrontISTR
REVOCAP Coupler
REVOCAP Refiner
OpenMX
xTAPP
AkaiKKR
MODYLAS
ALPS
feram
GROMACS
BLAST
R
bioconductor
BioPerl
BioRuby
BWA
GATK
SAMtools
K MapReduce
Spark
Torch
Caffe
Chainer
GEANT43.0.1
7.0
2015.01
8.1
4.4
2.1
1.1.01
3.8
150401
cpa2002v009c
1.0.4
2.1.1-r6176
0.24.02
5.1.2
2.3.0
3.2.5
3.2
1.6.924
1.5.0
0.7.13
3.5
1.3.1
1.8.1
1.6.1
7
1.0.0-rc4
1.24.0
4.10.03
- ライブラリ (xxxx) を利用したいのですが、利用方法について教えてください。
- 利用支援ポータル（-ドキュメント閲覧）にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)、同(Reedbush-H 編)、同(Reedbush-L 編)」を参照してください。
アプリケーション
- 提供されているアプリケーション (xxxx) を利用したいのですが、利用方法について教えてください。
- 利用支援ポータル（-ドキュメント閲覧）にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)、同(Reedbush-H 編)、同(Reedbush-L 編)」を参照してください。
- 個別に購入したソフトウェアを使用することはできますか。
- 利用者ディレクトリにインストールして使用する場合には、ライセンス等をご確認の上、ご使用頂いても問題ありません。
ジョブ管理システム
- ジョブクラスにはどの様な種類がありますか。
- 「ジョブクラス」を参照してください。
- 投入できるジョブクラスを確認するコマンドはありますか。
-
rbstat --rsc コマンドで確認することができます。rbstat コマンドについては、利用支援ポータル内にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)」（- 4.2.1. rbstat コマンド）に記載があります。
- ジョブの最大投入数、最大同時実行本数について教えてください。
-
ご利用になられているコース (パーソナル、グループコース) により異なりますので、下記の表でご確認ください。
Reedush-U システムパーソナル
コースグループコース ユーザ単位 グループ単位 最大同時実行本数 2 制限なし 申込ノード数が4ノードの場合は12本
8ノードの場合は15本
以降8ノード単位で3本ずつ追加される最大投入数 8 制限なし 最大同時実行本数*4
（申込ノード数が4ノードの場合は48本，8ノードの場合は60本）最大ノード数
（ジョブ単位）16128128 128 ただし、u-debugキューについては、実行待ち時間が長期化することを回避するため、1ユーザあたりのジョブの最大同時実行本数を 4（パーソナルコースは 2）としています。
パーソナルコースの最大ノード数を緩和しました。(2018.04.02)
Reedush-H システムパーソナル
コースグループコース ユーザ単位 グループ単位 最大同時実行本数 10010制限なし 10010最大投入数 10010制限なし 10010最大ノード数
（ジョブ単位）32 32 32 ただし、h-debugキューについては、実行待ち時間が長期化することを回避するため、1ユーザあたりのジョブの最大同時実行本数を 1としています。
2017年7月より緩和していた最大同時実行本数および最大投入数について見直しを実施しました。(2018.03.16)
Reedush-L システムパーソナル
コースグループコース ユーザ単位 グループ単位 最大同時実行本数 10010制限なし 10010最大投入数 10010制限なし 10010最大ノード数
（ジョブ単位）16 16 16 2017年7月より緩和していた最大同時実行本数および最大投入数について見直しを実施しました。(2018.03.16)
複数のコースに所属している場合は各コース（申込単位）につき上記が適用されます。
以下のコマンドで最大同時実行本数および最大投入数を確認できます。
$ rbstat --limit PROJECT U-SUBMIT U-RUN H-SUBMIT H-RUN L-SUBMIT L-RUN gXXX 7/60 0/15 0/10 0/10 0/10 0/10 pXXXXX 0/8 0/2 0/10 0/10 0/10 0/10
- バッチジョブ、インタラクティブジョブの起動方法について教えてください。
-
バッチジョブの投入は qsub コマンドで行います。qsub コマンドの詳細は、利用支援ポータル内にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)」（- 4.1.2.3. バッチリクエストの投入, 4.1.2.4 会話型ジョブの投入）を参照してください。
- ジョブの削除方法について教えてください。
-
ジョブの削除には、qdel コマンドを使用します。詳細は、利用支援ポータル内にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)」（- 4.2.2. バッチジョブの削除）を参照してください。
- ジョブの実行状態等について確認する方法を教えてください。
-
ジョブの実行状態等の確認には、rbstat コマンドを使用します。詳細は、利用支援ポータル内にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)」（- 4.2.1. rbstat コマンド）を参照してください。
- ジョブの実行が開始されません。
-
以下の点についてご確認ください。
- 実行待ちジョブの要求する計算資源の確保を待っている場合があります。rbstat --nodeuse コマンドでシステム全体の使用状況が確認できます。
- FIFO運用によるジョブスケジューリングを行っているために、先に投入された他のジョブの終了を待っている場合があります。
- 実行待ちジョブで指定されている計算時間が、サービス休止までの残り時間より大きい時間を指定している場合があります。サービス休止までの残り時間は rbstatコマンドで確認することができます。
- 同時実行数の上限に達している場合があります。他にジョブを実行していないか、また、同じグループの他の利用者がジョブを実行していないか確認してください。rbstat --limit コマンドによりグループ内で実行中のジョブ数および同時実行数の上限を確認できます。
- システム障害が発生している可能性があります。システム利用相談・質問受付のページよりお問い合わせください。
$ rbstat --nodeuse RSCGRP Used/Total u-debug ************------------- 48%( 26/ 54) u-short ************************* 100%( 16/ 16) u-regular ****************--------- 63%(184/294) u-regular-low ------------------------- 0%( 0/294) h-debug ------------------------- 0%( 0/ 16) h-short ******------------------- 25%( 2/ 8) h-regular *******************------ 77%( 74/ 96) l-regular ***---------------------- 11%( 6/ 56)
※ ジョブスクリプトにて walltime (経過時間) を適切に設定することでバックフィル機能が働き、ジョブの開始が早まる場合があります。詳細は、利用支援ポータル内にある「Reedbushシステム利用手引書(概要・Reedbush-U 編)」（- 4.1.2.8. バックフィル機能）を参照してください。
利用支援ポータル・鍵登録について
- 利用支援ポータルでは何が行えるのでしょうか。
- 利用支援ポータルでは、Reedbush へログインする際に利用する公開鍵登録や、利用手引書、チューニングガイド、メーカ提供のマニュアル、コンパイラのバージョンアップ情報などが閲覧できます。また、グループ管理者機能の一部についても利用支援ポータルで実行できます。詳しくは「Reedbushグループ管理者機能の手引き」をご覧ください。
- 利用支援ポータルで公開鍵登録を行おうとしましたが、ログインできません（認証に失敗します）。
- 利用登録のお知らせ（書面）の初期パスワード欄に示されている文字列の入力には注意事項がございます（欄外に赤色で記載）。この点をご確認のうえ、お試しくださいますようお願いいたします。
なお、パスワードが不明な場合は、受付（
）までご連絡ください。
- .ssh ディレクトリのパーミッションを変更してしまい、login できなくなりました。どの様にすれば良いでしょうか。
- システム利用相談・質問受付のページに必要事項をご記入の上、ご連絡ください。なお、当該ディレクトリ、ファイルについてはパーミッション、保存されている鍵の記載内容が不正になると login できなくなりますので、編集等には十分ご注意ください (事前にバックアップ等を取得し、他の端末から接続できることなどを確認の上、logout してください)。