アプリケーション全般¶

Info

本ページのコマンドライン例では、以下の表記を使用します。
[login]$ : ログインノード
[rNnN]$ : 計算ノード
[login/rNnN]$ : ログインノードまたは計算ノード
[yourPC]$ : ログインノードへの接続元環境

大量のタスクを連続処理したい(大量のジョブを自動投入したい)¶

TSUBAMEのジョブスケジューラおよび課金システムは、ジョブ開始時の初期化オーバヘッドの観点から細かいジョブを大量に投入することに適しておりません。
また、自動化処理や投入したジョブスクリプトの設定ミスにより大量のジョブが投入されてしまい、課金システムへの過負荷や多額のポイント消費が発生したケースが複数発生しています。
( TSUBAME4ではジョブの実行時間が5分未満の場合に5分間のジョブとして計算されるため、数十秒で終了するエラージョブが大量に投入された場合、無駄な課金が発生します。国立大学法人東京科学大学 TSUBAME4.0 スーパーコンピュータ利用料の課金等に関する取扱い参照 )

細かいタスクを大量に処理したい場合、1つの大きなジョブの中でタスクを逐次的に処理することを推奨します。 簡易型ジョブ内ワークキューにてジョブ内で複数のタスクを逐次処理するスクリプト例を紹介していますので、適宜ご活用ください。

Info

簡易型ジョブ内ワークキューは実験的サービスのため、サポート対象外となります。

なお、ご自身で用意した自動化環境を利用する場合、無限実行や大量同時投入が発生しないように以下の点を十分ご注意ください。

複数のジョブを1つに纏められないか検討してください
本番実行前に、繰り返し数を数回程度に制限したテストを実施してください
想定外の動作が発生していないか、自動処理中は定期的に確認してください

Xアプリケーション(GUI)が動作しません¶

本項目のXアプリケーションはTSUBAME4.0上にインストールされている、X環境上で動作するアプリケーション、いわゆるGUIのアプリケーションのことを指します。
基本的にはユーザ環境のため、窓口ではサポート出来かねます。

Xアプリケーションを利用したい場合には、下記の手順で動作環境のセットアップ・確認を行ってください。

Xサーバアプリケーションがクライアントにインストール、起動しているか¶

Windowsの場合
Windowsの場合は多くのXサーバアプリケーションがあります。
Xサーバアプリケーションがインストールされているか、または起動しているかをご確認ください。
Windowsで利用できるSSHクライアントについてはこちらをご参照ください。

Macの場合
XQuartz がインストール、設定されているかをご確認ください
https://support.apple.com/ja-jp/100724

Linuxの場合
X11サーバアプリケーションと関連ライブラリがインストール、設定されているかをご確認ください

X転送オプションを有効にしているかどうか¶

Windows（その他の端末アプリケーション）
ご利用の端末およびXサーバアプリケーションによって設定が異なります。
各アプリケーションのマニュアルを確認下さい。

Linux/Mac/Windows(Cygwin) SSHコマンドにX転送オプション(-YC)が入っているかをご確認ください。

[yourPC]$ ssh <TSUBAME4.0アカウント名>@login.t4.gsic.titech.ac.jp -i <秘密鍵> -YC

例)アカウント名がtsubame_user、秘密鍵が~/.ssh/tsubame-keyの場合

[yourPC]$ ssh tsubame_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/tsubame-key -YC

SSHのオプションについては下記のコマンドで確認してください。

[yourPC]$ man ssh

端末環境を変えても再現するか¶

Windowsの場合はフリー、有償を含め多くの端末/Xサーバアプリケーションがございます。
別の端末/Xサーバアプリケーションでも再現するかどうかをご確認ください。（もちろん、組み合わせの問題もあります）
isvアプリケーションによって相性があり、再現しない場合はアプリケーション固有の問題である可能性がございます。
その場合はお問合わせ頂いてもご対応できかねますので、ご了承ください。

GL対応/非対応によっても異なります。一例としてGL対応のXサーバには以下のものがございます。

アールワークス社ASTEC-X
マイクロフォーカス社Reflection
PTC社PTC X/Server

また、利用したいXアプリケーションによってはコマンドオプションが必要な場合があります。
利用したいXアプリケーションのマニュアルをご確認下さい。

通常のX転送/VNC接続では動作しないGLアプリケーションでもVirtualGLを使用することで動作する場合がございますので必要であればお試し下さい。
VirtualGLの詳細については利用の手引きをご確認下さい。

動作確認¶

ログインノードでは、以下のコマンドでX Window Systemの標準的なターミナルエミュレータが起動します。ログインノードまでのX転送の設定の確認にご利用ください。

[login]$ xterm

xtermが動作するが、利用したいXアプリケーションが動作しない場合は3をお試しください。

問題がある場合の例

xterm: Xt error: Can't open display: 
xterm: DISPLAY is not set

上記のエラーが出る場合は、1,2をご確認下さい。

アプリケーションの利用¶

ログインノードはCPUを占有するアプリケーションの利用を想定しておりません。可視化を含む本格的な利用には、計算ノードを利用してください。

計算ノードでのGUIアプリケーションの利用については、下記FAQをご参照ください。

FAQ: qrshでX転送する方法

また、node_fでノード全体を確保している場合は、ssh -Y コマンドでX転送を行うこともできます。

問い合わせ時に必要な情報¶

お問い合わせの際は下記をご連絡ください

利用OS(例 Windows11,Debian13,macOS 26)
( 正式サポート範囲内のOSのみ受け付けます )
利用ソフトウェア(windowsのみ、例 Cygwin,PuTTY/VcXsrv,Rlogin/Xming)
利用バージョン windowsの場合は端末/Xサーバアプリケーションの両バージョン　例　2.9.0-3,0.70,2.22.7
バージョンの調べ方はアプリケーションのマニュアルをご確認ください。 Linux/Macの場合はSSHのバージョンをお送りください。下記のコマンドで確認できます。
```
[yourPC]$ ssh -V
```
今まで試した内容について、また、エラーが出る場合はエラーの内容をお送りください。

TSUBAME4.0で提供していないアプリケーションを使用したい¶

TSUBAME4.0で提供していないアプリケーションのインストール方法について¶

TSUBAME4.0で提供していないアプリケーションの利用を検討される場合、以下の項目に当てはまるかをご確認下さい。
全て当てはまる場合のみ、利用者の責任で自由にインストールしてご利用いただけます。
導入したいアプリケーションのインストールマニュアルや利用許諾書をご確認ください。

TSUBAME4.0のOS上で動作する (WindowsやMac OS専用のソフトウェアは動作しません)
インストールや実行に管理者権限(root)が不要
自分のホームディレクトリやグループディスクへのインストールが可能(特定のノードへのインストールは不可)
ライセンス的に問題ない
kernel、ライブラリおよびシステムレベルの設定変更を必要としない
情報基盤センターのサポートが不要

0.注意事項

情報基盤センターが用意するアプリケーションではありませんので基本的にはサポートは致しません。
利用者側でTSUBAMEの問題かアプリケーションの問題かの切り分けを行い、アプリケーションに関する事はソフトウエアの提供元へお問い合わせください。

ライブラリやドライバのバージョンはTSUBAMEの定期メンテナンス等で変更になることがあります。
その結果それまで利用していたアプリケーションの再設定が必要になる場合があります。
場合によっては動作しなくなってしまう可能性も無いとは言えませんのでご注意ください。

1.インストール場所について
インストール場所としては下記の2箇所がございます。インストールされるソフトウェアの運用形態に合わせて選択して下さい。
研究室のメンバーなど、TSUBAMEグループ内で共有する必要がある場合はグループディスクをご利用下さい。
ホームディレクトリはchmod等で権限を変更したとしても共有利用はできません。

ホームディレクトリ
グループディスク

TSUBAME4.0利用の手引き　3.ストレージ環境

2.インストール方法
インストールされるアプリケーションのマニュアル、コミュニティ、READMEを確認し、インストールして下さい。
アプリケーションによっては、ライブラリ等の動作環境含め、御自分でソースからコンパイルする必要がございます。
インストール前に以下をご確認ください。

ユーザインストールとなるため、zypper等のOS基幹のアプリケーション管理ソフトウェアは利用できません。基本的にソースからのコンパイルとなります。
CUDAを利用する場合は計算ノードでのコンパイルが必要となります。(ログインノードにはGPUが搭載されていないため)
並列コンパイルなど多数の資源を一度に使う場合も、計算ノードをご利用ください
TSUBAME4.0のOSはDebian系のディストリビューションではないため、aptコマンドは利用できません。
dnfコマンドについてはroot権限が必要なため利用できません。利用したい場合は、コンテナの利用をご検討ください。

例1)configureスクリプトを実行し、Makefileを生成してからmake,make testおよびmake installする例

[login/rNnN]$ ./configure --prefix=$HOME/install
[login/rNnN]$ make && make test
[login/rNnN]$ make install

例2)ビルド用ディレクトリを生成し、cmakeを行い、make installする例

[login/rNnN]$ mkdir build && cd build
[login/rNnN]$ cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/install
[login/rNnN]$ make install

例3)インストールスクリプトでインストールする例

[login/rNnN]$ ./install.sh

配布アプリケーションに問題がある¶

配布アプリケーションに関して生じるトラブルのほとんどは環境に起因するため、個別のサポートは行いません。
申請にあたって承諾いただいたとおり「自己解決」して頂く必要がございます。

インストール時に生じたトラブル
インストールの手引きに従ってインストールをしてください。
上手くいかない場合はアンインストールして最初からやり直してください。
ライセンスサーバとの通信に失敗している場合は研究室内や建物のネットワーク管理者に問い合わせてください。

利用中に生じたトラブル
実行できない場合はエラーメッセージ等をよく読んでください。
ライセンス関連の問題が生じている場合はインストールの手引きにある通り、ライセンスサーバへの通信の問題がないか確認してください。
設定が正常にできており直前まで利用できていた場合はライセンスがメンテナンス中ではないかお知らせ等を確認してください。
TSUBAMEの利用の手引きを参照してライセンスの状態を確認し、ライセンス数が不足していないか確認してください。他の人が使用中の場合は終わるのを待って再度実行してください。

1ユーザによるライセンスの占有が発生している場合にはお知らせください。利用方法を改めていただくよう情報基盤センターより連絡させていただきます。

segmentation faultなど、プログラム実行時のエラー対応について¶

1.商用アプリケーションの場合
ABAQUS/ABAQUS CAEを除き、お問合わせでサポート可能です。以下をお問い合わせにご連絡下さい。

エラーが発生した商用アプリケーション名
　例)Abaqus/Explicit
発生したエラー
　例)buffer overflow detected
エラーを起こしたJOB_ID(複数ある場合は複数記載してください)
　例)181938
エラーを起こしたホスト名(複数ある場合は複数記載してください)
　例)r6n5
エラーが発生した状況について(できるだけ詳細に記載下さい)
　例)qrshを用いてr6n5にログインし、以下のコマンドを実行したところ、「buffer overflow detected」が発生した。

詳細は以下の通り

コマンド

[rNnN]$ module purge
[rNnN]$ module load abaqus intel
[rNnN]$ abq2017 interactive job=TEST input=Job1 cpus=6 scratch=$T4TMPDIR mp_mode=mpi
 #エラー内容
　Run package
*** buffer overflow detected ***: 
/pathto/package terminated
======= Backtrace: =========
/lib64/libc.so.6(+0x721af)[0x2aaab0c001af]
…以下略

ABAQUSについてはアカデミックライセンスのため、技術サポートがありません。
SIMULIAドキュメンテーションサイトに登録し、ご自分で解決頂く必要がございます。
ドキュメンテーションサイトの情報については「お問い合わせ」よりご連絡ください。

2.自分でコンパイルしたアプリケーションの場合
お問合わせ頂いてもサポートできません。
FAQ「TSUBAME4.0で提供していないアプリケーションを使用したい」を確認したという前提で記載致します。

トレースバックなどのオプションを付けてコンパイルしている場合はエラーを起こしたソースに関する情報が出ますので、そちらを確認して下さい。
オプション無しでコンパイルした場合はエラーを確認して、必要とされるオプションを切り分けて下さい。

コンパイラを利用した場合はそれぞれの手引書をご確認下さい。

MobaXtermでVNCを使う方法¶

TSUBAME上のGUIアプリケーションを利用する際に、X転送で描画に失敗する場合や、性能が不十分な場合には、TurboVNCを利用することで状況が改善する場合があります。
MobaxtermにはVNCクライアント機能が内蔵されているため、比較的簡単に利用できます。
計算ノードにおけるVNCサーバの起動方法やMobaxtermからの接続方法については、利用の手引きを参照してください。

Gaussian実行時、作業ファイルがホームディレクトリに出力される¶

TSUBAMEで提供しているGaussianを利用する場合、環境変数GAUSS_SCRDIRにローカルスクラッチ領域が自動で設定されます。
しかし、以下の条件を全て満たした場合、環境変数GAUSS_SCRDIRに想定外の値が設定されるためホームディレクトリ上に作業ファイルが出力されたりGaussianの実行に失敗します。

ジョブを投入する前に module load gaussian コマンドを実行する。
ジョブ投入時、-Vオプションを指定する
投入したジョブ内部でmodule purgeを実行せずにmodule load gaussianを実行する

TSUBAME4で提供しているアプリケーションを利用する場合、必ず最初にmodule purgeを実行してください。

Module fileの基本構成について¶

Module fileの基本構成について記載します。

[アプリケーション名]/[バージョン] となっています。
module コマンドでバージョンまで指定しなくともデフォルトでloadされる版が設定されています。

複数のバージョンが存在する場合は、デフォルトのバージョンが load されます。

$ module avail cuda
---------------------
cuda/12.0.0  cuda/12.1.0  cuda/12.3.2
$ module list
Currently Loaded Modulefiles:
 1) cuda/12.3.2

MPIやアプリケーションなど依存関係があるものについては、自動的に load されます。

$ module load openmpi/5.0.2-intel
Loading openmpi/5.0.2-intel
  Loading requirement: intel/2024.0.2 cuda/12.3.2

TSUBAME4.0のGPUの活用方法を知りたい。¶

講習会のページで公開されている、以下の資料が参考になるかと思います。
- TSUBAME4のGPUを最大限活用する方法

アプリケーションが使用するキャッシュファイル・ユーザーファイル等の格納先ディレクトリを変更したい¶

アプリケーションが使用するキャッシュファイル・ユーザーファイル等の格納先ディレクトリを変更する場合、以下の手順をご検討ください。

Info

グループディスクの使用容量が設定容量を超えた場合、アクセス不可になります。
グループディスクの設定容量は月ごとに行うため、超過しないようご注意ください。
また、設定変更方法・設定変更に伴うトラブルなどについてはお問い合わせ対象外となります。

アプリケーションが用意した設定を利用する
アプリケーションによっては、キャッシュファイル・ユーザーファイル等の格納場所を変更可能なものがあります。
変更方法は環境変数などアプリケーションによって異なりますので、manなどをご参照ください。
該当するディレクトリをシンボリックリンクに置き換える。
アプリケーション側の設定が存在しない場合、シンボリックリンクを使用したグループディスクへの移動方法があります。
なお、本手順は全てのアプリケーションでの正常実行を保証するものではありません。
ここでは、${HOME}/.cache ディレクトリを /gs/bs/tga-xxxxx/tsubametarou に移動する例を示します。
```
[login]$ cd ${HOME}  
[login]$ mv -i .cache  /gs/bs/tga-xxxxx/tsubametarou     # 現在の.cacheディレクトリを、グループディスクに移動  
[login]$ ln -nfs /gs/bs/tga-xxxxx/tsubametarou/.cache    # シンボリックリンクを${HOME}/.cache に指定  
```