Supercomputing Division, Information Technology Center, The University Tokyo

Tokens

Tokens, which refers to the duration that compute nodes are available for use, are allocated for the Wisteria/BDEC-01 system based on the course of use and the number of sets applied for. There are no restrictions to the number of nodes and GPUs that can be used within the constraints of the allocated tokens (with the exception of some courses and services), and batch jobs can be executed up to the maximum number of nodes and GPUs that can be used. This page explains the concept of tokens, and the important points to be noted.

Overview

The tokens are needed (consumed) during the execution of batch jobs. The amount of allocated tokens is determined beforehand based on the course and number of sets applied for. Batch jobs can be executed up to the maximum number of nodes and GPUs regardless of the course of use applied for. Please refer to the following chart on the relationship between the amount of tokens allocated based on the course of use applied for, and the maximum number of nodes and GPUs.

Amount of tokens allocated for Wisteria/BDEC-01
  Number of usable nodes and GPUs Amount of allocated tokens
(per year)
Consumption coefficient
General Use
(Per set)
Wisteria-O :
Maximum of 2304 nodes

Wisteria-A :
Maximum of 64 GPUs

(Regardless of number of sets)
8,640 tokens Wisteria-O : 1.00 (per node)
* 1.50 for priority nodes (about 15% of the total)

Wisteria-A : 3.00 (per GPU)
Wisteria-A
Fixed nodes
(Per set)
207,360 tokens
* Only 1 set can be applied for.
Wisteria-A
Reserved GPU
(Per set)
25,920 tokens
* Only 1, 2, or 4 set can be applied for.

The tokens are consumed corresponding to the number of nodes, GPUs and execution time of each batch job. Hence, it will no longer be possible to execute a batch job at the point when the tokens run out (or at the point when it becomes clear that the job will exceed the amount of remaining tokens even before the execution of the job). However, even after the tokens have run out, it will still be possible to login to the login nodes and execute an interactive job.

The tokens for Wisteria/BDEC-01, Oakbridge-CX, Oakforest-PACS and Reedbush are compatible with one another, and can be transferred mutually. For details, please refer to the section on “ Transfer of tokens.

Calculation of tokens

As explained in the overview, tokens are consumed for the execution of each batch job. The system allows for the execution of batch jobs above the number of sets applied for. Please refer to the calculation formula and specific examples of calculation shown below.

Calculation formula for tokens

   Tokens = [Lapsed time] × [No. of nodes] × [Consumption coefficient]

 * Example 1: Tokens for the job (24 hours and 128 nodes) on Wisteria-O

   Tokens = 24 hours × 128 nodes × 1.00
       = 3072 Tokens

 * Example 2: Tokens for the job (24 hours and 128 nodes) on priority nodes of Wisteria-O

   Tokens = 24 hours × 128 nodes × 1.50
       = 4608 Tokens

 * Example 3: Tokens for the job (24 hours and 2 nodes, 16GPU) on Wisteria-A

   Tokens = 24 hours × 16 GPUs × 3.00
       = 1152 Tokens

Token sharing with group members

The tokens allocated are shared and consumed among all the users registered in the group. However, it is possible either for just one user registered in the group to consume all the tokens allocated to the group, or to set a maximum amount of tokens that can be used by each user in the group.

Setting a maximum amount of tokens

Points to note when using tokens

The token system allows executing batch jobs flexibly for more than the number of sets applied for. However, it will no longer be possible to execute batch jobs once all the tokens have been consumed. (Please be sure to check the amount of remaining tokens.) For that reason, the addition of tokens is accepted (additional application) only in cases where there are tokens that can be provided. However, there is no guarantee that all tokens can be used within the period in which use is permitted. As use of the tokens is only allowed during the period in which use is permitted (effective validity of the tokens), the remaining tokens cannot be carried out to the next fiscal year or refunded.

FAQ

トークン使用状況について確認する方法はありますか。
show_token コマンドで確認することができます。
投入したジョブについて、どのトークンで投入したジョブか確認する方法はありますか。また、同一トークンで投入しているジョブを確認することはできますか。
pjstat コマンドで確認することができます。
グループ内の利用者に割り当てたトークン量を変更したい場合はどの様にすれば良いでしょうか。
グループ管理者がグループ内の利用者に対してトークン量を設定できます。ご利用いただいているグループの管理者 (グループ管理者) にご相談ください。
8 セットで申込をしていましたが、xxx セットへ増量することは可能でしょうか。
システム資源(追加できるトークン量) に余裕がある場合には可能です。なお、負担金額が減額となる変更はお申込いただけません。
トークンが無くなった場合にはログインできなくなるのでしょうか。
トークンは、バッチジョブ実行時にのみ消費されます。トークンが無くなった (0 になった) 場合でもログイン (インタラクティブジョブ実行) は可能です。
トークンの追加は可能でしょうか。
トークンが無くなった (または残量が極めて少ない) 場合に可能です。
ただし、システム資源 (追加できるトークン量) に余裕がある場合に限ります。
トークンの追加はどの様にすれば、追加されますか。
変更利用申込書を提出して頂きます。ただし、申込内容によっては追加が認められない場合があります。
トークンが無くなったため、トークンを追加しました。8,640 トークンが追加されたはずですが、実際には、残りのトークンは8,640 トークン以下となっています。なぜでしょうか。
トークンを追加する前に超過していたトークン分を加算してトークンを割り当てます。例えば、トークン申込時に 640 トークンを超過していた場合には、8,000 トークンが利用可能なトークンとなります。
追加トークンの残量
超過分については、追加したトークンから差引かれて、残った分が利用可能なトークンとなります。
申込セット数を追加 (トークンが無くなったため、トークンの追加) を行いました。グループ内の利用者に個別に割り当てたトークン上限値は変更されますか。
変更されません。トークン上限値 (グループ管理者が設定した設定値) は、グループ管理者のみ変更可能です。トークン追加による上限値の変更はグループ管理者が行う必要があります。
トークンの有効期間はありますか。
計算機利用を許可された期間内 (利用期限の月末処理日又は、当該年度の年度末サービス終了日) が有効期間です。そのため、トークンに残量があった場合でも、次年度への繰り越し、返金等はできません。
利用が許可されている期間中にトークンを使い切れませんでした。引き続き継続申込をおこなっていますので、残ったトークンについても引き続き使用することはできますか。
割り当てられたトークンは最初に利用を許可された期間内 (利用期限の月末処理日又は、当該年度の年度末サービス終了日) が有効期間です。そのため継続利用を行う場合でも、当初の許可期間を超えての繰り越し、返金等はできません。
複数グループに所属して利用していますが、グループの利用期限内でトークンを使いきることができません。このトークンをグループの利用期限以降も別のグループで利用することはできますか。
トークンは、利用を許可された期間内 (利用期限の月末処理日又は、当該年度の年度末サービス終了日) が有効期間です。そのため、利用者番号が有効であっても、利用期限が超過したグループに割り当てられたトークンを使用することはできません。
トークンの利用期限