東京大学情報基盤センター スーパーコンピューティング部門

Oakforest-PACS FAQ

利用申込について

Oakforest-PACS の利用申込を行いたいのですが、申込開始日等について教えてください。
計算リソースに余裕がある限り随時利用申込を受付けます。新規申込フォームから必要事項を入力してお申込ください。
Oakforest-PACS の申込や利用に際して事前に確認 (注意) する点などはありますか。
Oakforest-PACS の申込方法や、利用方法、各種マニュアル等を用意しています。こちらで利用申込方法や、サービス内容について、ご確認ください (メーカー製の手引書やマニュアルについては、利用者限定になっています)。

Oakforest-PACS 利用コースについて
Oakforest-PACS トークンの概要について
Oakforest-PACS 利用負担金 (2020年4月1日適用)
Oakforest-PACS 月数別利用負担金 (2020年4月1日適用)

(Oakforest-PACS 利用方法等の概要を説明しています。
システム利用方法の詳細は、利用支援ポータル内にあります手引書、マニュアルを参照してください)

グループ内ディスク領域の制限値 (QUOTA) はどの様に設定されていますか。
グループ内ディスク領域には、グループに登録されているグループ内利用者個々のディレクトリ (以下の例の場合、/work/gz00/z3000*) と、グループ内利用者が共有して利用するディレクトリ (以下の例の場合、/work/gz00/share)を用意してあります。
それら全体に対してユーザおよびグループの制限値が設定されています。
申込が8セットの場合、ユーザ及びグループの制限値はいずれも8TBとなります。

グループコース
トークン
(申込8セットあたり 69,120ノード時間割当)
グループ内ディスク領域
(申込8セットあたり 8TB割当)
/work/gz00/share
/work/gz00/z30000
/work/gz00/z30001
/work/gz00/z30002
グループ管理者が必要とありますが、グループ管理者とはどの様なこと (管理) を行うのでしょうか。
Oakforest-PACS では、バッチジョブ実行時に利用するトークンとノード数がグループ全体に割当てられますが、グループ管理者は利用者ごとに、これらの計算資源の上限値を設定・変更することができます。なお、トークン上限値、ノード数はグループに割当られた上限値を超過して変更することはできません。
グループ管理者機能
・グループ内利用者のトークン量の上限値変更 (初期値:グループ上限)
・グループ内利用者のノード数の上限値変更 (初期値:グループ上限)
パーソナル (グループ) コースの利用者を自分のグループに追加することは可能ですか。この場合、新たにユーザIDが割り振られるのでしょうか。
グループに追加することは可能です。ただし、既に本センターの利用者をグループに追加する場合には、現在使用しているユーザIDに対してグループ追加登録処理を行いますので、新たにユーザIDを割り振ることはありません。
パーソナル (グループ) コースの利用者を自分のグループに追加した場合、グループ内利用者に割り当てられる資源 (トークン、ディスク容量) はどの様に扱われますか。
新たにグループに追加登録された利用者に対しては、グループ内で利用可能なトークンの利用許可とグループ内利用者用領域に利用者ディレクトリが作成されます。
グループにユーザ「z40000」を追加した場合

グループコース
トークン
(申込8セットあたり 69,120ノード時間割当)
z40000はトークンを利用可能
グループ内ディスク領域
(申込8セットあたり 8TB割当)
/work/gz00/share
/work/gz00/z30000
/work/gz00/z30001
/work/gz00/z30002
/work/gz00/z40000 ←z40000用ディレクトリを作成
グループからユーザ「z40000」を削除した場合
グループコース
トークン
(申込8セットあたり 69,120ノード時間割当)
z40000はトークンを利用不可
グループ内ディスク領域
(申込8セットあたり 8TB割当)
/work/gz00/share
/work/gz00/z30000
/work/gz00/z30001
/work/gz00/z30002
/work/gz00/z40000 ←z40000用ディレクトリを削除
複数のグループに登録することは可能ですか。
可能です。追加されるグループ代表者から利用申込を行ってください。
グループの利用者でしたが、登録していたグループの利用が取消されます。引き続き利用したいのですが、どの様にすれば良いでしょうか。
現在登録しているグループの利用期限までに、新たに、グループまたは、パーソナルコースに利用申込をお願いいたします。利用期限終了後にグループまたはパーソナルコースに申し込まれた場合、ユーザID並びに利用していたファイルの引き継ぎは行えませんのでご注意ください。
グループコースの利用者は随時追加が可能でしょうか。
可能です。変更申込フォームから必要事項を入力してお申込ください。
なお、変更手続きの流れにつきましては、こちら をご覧ください。
グループコースに登録する利用者数の上限はありますか。
グループコースに申込 (登録) する利用者数に制限はありません。ただし、利用登録者数とは関係なく、グループに割当てられるトークンは一定ですので、登録された利用者全員で使用する (トークンを消費する) ことになります。
申込セット数と最大ノード数との記載があります。これらの関係について教えてください。
Oakforest-PACS では、申込セット数に関係なく最大ノード数まで利用するとができます。

▲ Oakforest-PACS FAQ TOPへ

トークン

トークンについて教えてください。
トークンに関する説明やFAQを掲載している「トークンについて」のページをご覧ください。

▲ Oakforest-PACS FAQ TOPへ

システム全般、サービス内容

教育利用とはどのような利用方法でしょうか。
東京大学情報基盤センター(以下、センター)では、大学院や学部の授業において、演習用としてスーパーコンピューター資源を提供しています。
気候・流体解析・構造解析・分子科学・ナノテクノロジー・航空宇宙など、多方面の研究分野で養われた手法を用いてスーパーコンピューターを演習教材として使用する動きがあり、既に学部の専門課程及び大学院の授業では、構造解析・地球科学・流体関係の演習用としてスーパーコンピューターが使われています。
教育現場でのスーパーコンピューターの利用は、人材育成や利用の拡大に繋げられると期待できることから、センターでは、大学、高等専門学校教員が担当する大学院、大学学部、高等専門学校における講義・演習(集中講義を含む)を対象とし、申込を随時受け付けています。
「教育利用」は、学内の利用に限定せず、東京大学以外からの利用申込も受け付けています。詳細は、「教育利用」をご覧ください。

提供資源
Oakforest-PACS
1 ジョブあたりの最大実行時間 15 分、最大 ノード数 16 ノード (1088 コア)
ログインシェルは変更可能でしょうか。
chsh コマンドにて変更可能です。標準では、ログインシェルを bash に設定しています。
他グループ(プロジェクト)のユーザが自分のファイルを参照出来るようにする方法はありますか。
初期状態では、/work/グループ名 の保護モードは2750(rwxr-s---)となっているため、このディレクトリ以下のファイルについて他グループ(プロジェクト)のユーザによる参照はできません。
また、このディレクトリの所有者はシステム管理者となっているため、当該グループ内ユーザによるアクセス許可設定の変更も出来ません。
しかし、グループ(プロジェクト)代表者からのご依頼をいただければ、このディレクトリの所有者をグループ(プロジェクト)代表者に変更いたします。
その後、下記の操作にて所属グループのディレクトリの属性をご変更下さい。
その際、ディレクトリの保護モードをchmodコマンドにより変更する方法(例:chmod o+rx やchmod 755)も可能ですが、それでは許可対象が広過ぎることになる場合があります。
許可の範囲を厳密に設定するにはファイルACL設定用のsetfaclコマンドをお使いください。
  1. グループ(プロジェクト)代表者が以下の操作を行なって下さい。
  2. 特定のユーザのみを対象とする場合は
    cd /work/グループ名
    setfacl -n -m u:ユーザ名:rx .
    特定の別グループ全員に許可を与える場合には
    cd /work/グループ名
    setfacl -n -m g:別グループの名前:rx .
  3. グループ内ユーザの操作
  4. /work/グループ名 より下の階層の各ユーザのディレクトリやファイルについては、当該ファイルの所有者である利用者が
    setfacl -n -m u:ユーザ名:rx ファイル名
    あるいは
    setfacl -n -m g:別グループの名前:rx ファイル名
    により許可の設定を行なって下さい。

    ファイル名の指定にはワイルドカード(*等)も指定可能です。また
    setfacl -R -n -m u:ユーザ名:rx ディレクトリ名
    のようにすることで指定したディレクトリ下のファイル全てが対象となります。

    ファイルACLの状態は
    getfacl ファイル名(ディレクトリ名)
    にてご確認頂けます。
テキストファイルの改行コードについて注意するべきことがあれば教えて下さい。
Linux(およびUNIX系全般)とWindowsそれぞれのOSにおける正規の改行コードは
Linuxでは単独のLF(ラインフィード)(16進数表記で0A)
WindowsではCR(キャリッジリターン)(16進数表記で0D)とLFの2バイトの組合せ(CRLF)
です。
ファイル転送ツールでWindowsからLinuxへテキストファイルを転送するときに,「バイナリモード」が選択されているとLinux側で作られるファイルの改行コードが,CRLFとなってしまいます。

最近ではコンパイラ等Linux上の既成ソフトウェアの多くで改行コードがCRLFでも,トラブルなく扱える場合が多くなっているようですが、処理の正常性を確実とするには、正規の改行コードとしておくことをお勧めいたします。
特にシェルスクリプトファイルの改行がCRLFとなっていると、ありふれた1行目の記述である
#! /bin/sh
の解釈時に「/bin/sh」にCRコードを付加した名前でファイルを探してしまうため、
bad interpreter: No such file or directory
というエラーが発生する等の現象が起こり正常に実行出来ません。

改行コードがCRLF、LFのいずれになっているかはfileコマンドで確認出来ます。
file ファイル名
改行コードがCRLFの場合は「ASCII text, with CRLF line terminators」等の「with CRLF line terminators」を含む表示が現われ、単独LFである場合は「ASCII text」のみのような表示となります。
改行コードがCRLFとなっているテキストファイルは以下の記法のnkfコマンドによってLFのみのファイルに変換することが出来ます。
nkf --overwrite -Lu -d ファイル名
Windowsマシンからのファイル転送により作成されている場合は、転送モードを「バイナリ」から「テキスト」に変えて再転送を行なうという方法も有効です。

▲ Oakforest-PACS FAQ TOPへ

コンパイラ

コンパイラのバージョンアップ情報について確認する方法はありますか。
利用支援ポータルでコンパイラのバージョンアップ情報を記載していますのでご確認ください。
デバッガ・プロファイラなどはありますか。
Intel VTune Amplifier XE, Allinea DDT 等を用意しています。詳細は利用支援ポータル(- ドキュメント閲覧)にある「Oakforest-PACS システム利用手引書」等をご覧ください。
コンパイル時に以下のエラーが発生しました。
ifort: エラー#10417: インテル(R) コンパイラーのコンパイル環境の設定に問題があります。'install path'設定('gcc'から取得)が必要です。
環境変数による言語環境の設定が日本語となっているときには、コンパイラ(あるいはオープンソースソフトウェアのインストーラーやmakeの処理)が不調となる場合があります。

また、環境変数LANGまたはLC_ALLは英語の設定(例:en_US.utf8)のままでLC_MESSAGESの設定のみを日本語(ja_JP.utf8等)にしていると不調となる可能性が高くなります。

環境変数LC_MESSAGESのみを日本語に設定している場合は、LC_ALLを日本語にしてお試し下さい。
(例:
export LC_ALL=ja_JP.utf8 )

それでもなお不調の場合は、LC_ALLをCまたは英語(en_US.utf8等)にしてお試し下さい。
(例:
export LC_ALL=C
export LC_ALL=en_US.utf8 )

▲ Oakforest-PACS FAQ TOPへ

ライブラリ

提供されているライブラリ、アプリケーションのバージョンを教えてください。
センターで提供しているライブラリ、アプリケーションのバージョンは以下の通りです(2017年12月現在)。また、module コマンドでバージョン情報等を取得することが可能です。module コマンドの利用方法については、利用手引書をご覧ください。
ライブラリ バージョン
Boost
FFTW
GNU Scientific Library
Intel 社製ライブラリ(MKL)
MassiveThreads
METIS
MT-METIS
NetCDF
Parallel netCDF
ParMETIS
PETSc
ppOpen-APPL/AMR-FDM
ppOpen-APPL/BEM
ppOpen-APPL/BEM-AT
ppOpen-APPL/DEM-util
ppOpen-APPL/FDM
ppOpen-APPL/FDM-AT
ppOpen-APPL/FEM
ppOpen-APPL/FVM
ppOpen-MATH/MP
ppOpen-MATH/VIS
ppOpen-AT
PT-Scotch
Scotch
SuperLU
SuperLU DIST
SuperLU MT
Xabclib
1.53
3.3.5
2.3
2017 update4
0.97
5.1.0
0.6.0
4.4.1
1.7.0
4.0.3
3.7.5
0.3.0
0.4.0
0.1.0
1.0.0
0.3.1
1.0.0
1.0.1
0.3.0
1.0.0
0.2.0
1.0.0
6.0.4
6.0.4
5.2.1
5.1.0
3.1
1.03

アプリケーション バージョン
ABINIT-MP
AkaiKKR
ALPS
bioconductor
BioPerl
BioRuby
BLAST
feram
FrontFlow/blue
FrontISTR
GROMACS
MODYLAS
mpijava
omnicompiler
OpenFOAM
OpenMX
PHASE
R
REVOCAP
xTAPP
open1_rev5
cpa2002v009c
2.2.b4
3.4
1.6.924
1.5.1
2.4.0
0.26.00
8.1
4.5
5.1.4
1.0.4
1.2.7_ojdk1.8
1.1.1
3.0.1
3.8
2015.01.01
3.3.1
2.1
rc-150401
ライブラリ (xxxx) を利用したいのですが、利用方法について教えてください。
利用支援ポータル(- ドキュメント閲覧)にある「Oakforest-PACS システム利用手引書」等をご覧ください。

▲ Oakforest-PACS FAQ TOPへ

アプリケーション

提供されているアプリケーション (xxxx) を利用したいのですが、利用方法について教えてください。
利用支援ポータル(- ドキュメント閲覧)にある「Oakforest-PACS システム利用手引書」等をご覧ください。
個別に購入したソフトウェアを使用することはできますか。
利用者ディレクトリにインストールして使用する場合には、ライセンス等をご確認の上、ご使用頂いても問題ありません。
フリーソフトウェアのインストール時、環境変数等でコンパイラの種類を明示しているにも関わらず、インストーラーが別のコンパイラを起動してしまい、コンパイル時エラーが発生しました。どうすれば良いですか。
言語設定が日本語(ja_JP.utf8)となっている場合に、フリーソフトウェアのインストーラーの動作が不調になる場合があります。環境変数LANGに「C」を設定してお試し下さい。(例: export LANG=C )

▲ Oakforest-PACS FAQ TOPへ

ジョブ管理システム

ジョブクラスにはどの様な種類がありますか。
「ジョブクラス」を参照してください。
投入できるジョブクラスを確認するコマンドはありますか。
pjstat --rsc コマンドで確認することができます。pjstatコマンドについては、利用支援ポータル内にある「Oakforest-PACS システム利用手引書」(- 5.8. ジョブ状態表示)に記載があります。
ジョブの最大投入数、最大同時実行本数について教えてください。 (2018年4月1日より適用)
ご利用になられているコース (パーソナル、グループコース) により異なりますので、下記の表でご確認ください。
パーソナルコース
申込1セット当り
グループコース
ユーザ単位 グループ単位
最大同時実行本数 16 制限なし 申込セット数が 8セットの場合は 16本
16セットの場合は 20本
以降16セット単位で4本づつ追加される

申込セット数が 8セットの場合は 128本
16セットの場合は 160本
以降16セット単位で32本づつ追加される
最大投入数 16 制限なし 最大同時実行本数 × 8
8 セットの場合は 128
16 セットの場合は 160

最大同時実行本数と等しい
最大同時利用可能
ノード数
2,048
(固定値)
2,048 2,048
最大ノード数
(ジョブ単位)
2,048
(固定値)
2,048 2,048

以下のコマンドで最大同時実行本数、最大投入数および最大同時利用可能ノード数を確認できます。

$ pjstat --limit
PROJECT     ACCEPT     RUN     BULK_RUN     NODE
gXXX         7/128    0/128      0/2048    0/2048
pXXXXX        0/16     0/16       0/256    0/2048
バッチジョブ、インタラクティブジョブの起動方法について教えてください。
バッチジョブの投入は pjsub コマンドで行います。詳細は、利用支援ポータル内にある「Oakforest-PACS システム利用手引書」(- 5.4. バッチジョブ実行, 5.5. インタラクティブジョブ実行)を参照してください。
ジョブの削除方法について教えてください。
ジョブの削除には pjdel コマンドを使用します。詳細は、利用支援ポータル内にある「Oakforest-PACS システム利用手引書」(- 5.9. ジョブキャンセル)を参照してください。
ジョブの実行状態等について確認する方法を教えてください。
ジョブの実行状態等の確認には、pjstat コマンドを使用します。詳細は、利用支援ポータル内にある「Oakforest-PACS システム利用手引書」(- 5.8. ジョブ状態表示)を参照してください。
ジョブの実行が開始されません。
以下の点についてご確認ください。

1. 実行待ちジョブの要求する計算資源の確保を待っている場合があります。pjstat --nodeuse コマンドでシステム全体の使用状況が確認できます。

$ pjstat --nodeuse
RSCGRP                                                  Ratio Used/Total
regular-cache                 *****************--------   65%  2513/3846
regular-flat                  ***********************--   90%  3464/3846
debug-cache/interactive-cache -------------------------    0%     0/ 250
debug-flat/interactive-flat   *************------------   52%   129/ 250
prepost                       -------------------------    0%     0/  12

2. FIFO運用によるジョブスケジューリングを行っているために、先に投入された他のジョブの終了を待っている場合があります。

3. 実行待ちジョブで指定されている計算時間が、サービス休止までの残り時間より大きい時間を指定している場合があります。サービス休止までの残り時間は pjstatコマンドで確認することができます。

4. 同時実行数の上限に達している場合があります。他にジョブを実行していない、また、同じグループの他の利用者がジョブを実行していないか確認してください。pjstat --limit コマンドによりグループ内で実行中のジョブ数および同時実行数の上限を確認できます。

5. システム障害が発生している可能性があります。システム利用相談・質問受付のページよりお問い合わせください。

▲ Oakforest-PACS FAQ TOPへ

利用支援ポータル・鍵登録について

利用支援ポータルでは何が行えるのでしょうか。
利用支援ポータルでは、Oakforest-PACS へログインする際に利用する公開鍵登録や、利用手引書、メーカ提供のマニュアル、コンパイラのバージョンアップ情報などが閲覧できます。また、グループ管理者機能の一部についても利用支援ポータルで実行できます。詳しくは、「Oakforest-PACS グループコース プロジェクト管理者用利用手引書」をご覧ください。
利用支援ポータルで公開鍵登録を行おうとしましたが、ログインできません(認証に失敗します)。
利用登録のお知らせを書面で受領した方は初期パスワード欄外に赤色で記載されている注意事項をご確認のうえ、お試しくださいますようお願いいたします。利用登録のお知らせをメールにて受領した方はメール本文内のURLよりパスワードの再設定が可能 です。再設定後に再度お試しください(変更の反映には最大10分程度かかります)。
上記で解決しない場合には、受付(受付のメールアドレス)までご連絡ください。
.ssh ディレクトリのパーミッションを変更してしまい、login できなくなりました。どの様にすれば良いでしょうか。
システム利用相談・質問受付のページに必要事項をご記入の上、ご連絡ください。なお、当該ディレクトリ、ファイルについてはパーミッション、保存されている鍵の記載内容が不正になると login できなくなりますので、編集等には十分ご注意ください (事前にバックアップ等を取得し、他の端末から接続できることなどを確認の上、logout してください)。

▲ Oakforest-PACS FAQ TOPへ