アプリケーションの実行¶
Info
本ページのコマンドライン例では、以下の表記を使用します。
[login]$ : ログインノード
[rNnN]$ : 計算ノード
[login/rNnN]$ : ログインノードまたは計算ノード
[yourPC]$ : ログインノードへの接続元環境
商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。¶
TSUBAME4.0では一部の商用アプリケーションの利用には別途アプリケーション利用料が必要になります。
詳細：利用料の概略のアプリケーション (TSUBAME4.0で一部有償化)
初期状態では対象の商用アプリケーションは利用できませんので、そのアプリケーションがインストールされていないように見えます。
[rNnN]$ module load gaussian
[rNnN]$ g16 inputfile
-bash: g16: command not found
対象の商用アプリケーションを利用するには、TSUBAMEポータルからアプリケーション有効化を行います。
アプリケーション有効化の後、再度実行してください。
[rNnN]$ module load gaussian
[rNnN]$ g16 inputfile
なお、アプリケーションの購入はアカウント単位で実施する必要があります。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。についても併せてご確認ください。
Mathematica 14.1以降利用時¶
Mathematica はバージョン14.1からGUIの実行コマンド名が変更されました。
| バージョン | 実行コマンド名 |
|---|---|
| 14.0 | mathematica |
| 14.1以降 | WolframNB |
詳細についてはMathematicaをご参照ください。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。¶
商用アプリケーションは、所属グループ単位ではなくアカウント単位で購入する必要があります。
例えばグループ管理者が購入した場合、グループ管理者のアカウントのみ利用可能となります。
利用したい全てのアカウントで、個別に購入手続きを行ってください。
（代理購入、一括購入はできません。購入手続きを行ったアカウントのみ有効になります。）
アプリケーションの購入状況については「アプリ購入一覧表示」内の「購入者アカウント」から確認できます。
アプリケーション有効化を参考に、「購入者アカウント」にご自身のアカウントが含まれているかご確認ください。
購入済みの商用アプリケーションが突然使用できなくなりました。¶
購入した商用アプリケーションは、購入の操作を行った時点から、指定した月の月末まで利用可能です。
アプリケーションの購入期間を超過している可能性がありますので、アプリケーション有効化を参考にステータスの確認と必要に応じて購入をお願いします。
PyPI上にあるPythonのパッケージを使いたい (Theano等)¶
以下のコマンドでユーザのホームディレクトリにインストールすることができます。(下記例はTheanoの場合)
[login]$ pip install --user theano
Xアプリケーション(GUI)が動作しません¶
本項目のXアプリケーションはTSUBAME4.0上にインストールされている、X環境上で動作するアプリケーション、いわゆるGUIのアプリケーションのことを指します。
基本的にはユーザ環境のため、窓口ではサポート出来かねます。
Xアプリケーションを利用したい場合には、下記の手順で動作環境のセットアップ・確認を行ってください。
Xサーバアプリケーションがクライアントにインストール、起動しているか¶
Windowsの場合
Windowsの場合は多くのXサーバアプリケーションがあります。
Xサーバアプリケーションがインストールされているか、または起動しているかをご確認ください。
Macの場合
XQuartz がインストール、設定されているかをご確認ください
https://support.apple.com/ja-jp/100724
Linuxの場合
X11サーバアプリケーションと関連ライブラリがインストール、設定されているかをご確認ください
X転送オプションを有効にしているかどうか¶
Windows（その他の端末アプリケーション）
ご利用の端末およびXサーバアプリケーションによって設定が異なります。
各アプリケーションのマニュアルを確認下さい。
Linux/Mac/Windows(Cygwin) SSHコマンドにX転送オプション(-YC)が入っているかをご確認ください。
[yourPC]$ ssh <TSUBAME4.0アカウント名>@login.t4.gsic.titech.ac.jp -i <秘密鍵> -YC
[yourPC]$ ssh tsubame_user@login.t4.gsic.titech.ac.jp -i ~/.ssh/tsubame-key -YC
[yourPC]$ man ssh
端末環境を変えても再現するか¶
Windowsの場合はフリー、有償を含め多くの端末/Xサーバアプリケーションがございます。
別の端末/Xサーバアプリケーションでも再現するかどうかをご確認ください。（もちろん、組み合わせの問題もあります）
isvアプリケーションによって相性があり、再現しない場合はアプリケーション固有の問題である可能性がございます。
その場合はお問合わせ頂いてもご対応できかねますので、ご了承ください。
GL対応/非対応によっても異なります。一例としてGL対応のXサーバには以下のものがございます。
- アールワークス社ASTEC-X
- マイクロフォーカス社Reflection
- PTC社PTC X/Server
また、利用したいXアプリケーションによってはコマンドオプションが必要な場合があります。
利用したいXアプリケーションのマニュアルをご確認下さい。
通常のX転送/VNC接続では動作しないGLアプリケーションでもVirtualGLを使用することで動作する場合がございますので必要であればお試し下さい。
VirtualGLの詳細については利用の手引きをご確認下さい。
動作確認¶
ログインノードでは、以下のコマンドでX Window Systemの標準的なターミナルエミュレータが起動します。ログインノードまでのX転送の設定の確認にご利用ください。
[login]$ xterm
問題がある場合の例
xterm: Xt error: Can't open display:
xterm: DISPLAY is not set
アプリケーションの利用¶
ログインノードはCPUを占有するアプリケーションの利用を想定しておりません。可視化を含む本格的な利用には、計算ノードを利用してください。
計算ノードでのGUIアプリケーションの利用については、下記FAQをご参照ください。
FAQ: qrshでX転送する方法
また、node_fでノード全体を確保している場合は、ssh -Y コマンドでX転送を行うこともできます。
問い合わせ時に必要な情報¶
お問い合わせの際は下記をご連絡ください
-
利用OS(例 Windows10,Debian12,macOS 14.4.1)
-
利用ソフトウェア(windowsのみ、例 Cygwin,PuTTY/VcXsrv,Rlogin/Xming)
-
利用バージョン windowsの場合は端末/Xサーバアプリケーションの両バージョン 例 2.9.0-3,0.70,2.22.7
バージョンの調べ方はアプリケーションのマニュアルをご確認ください。Linux/Macの場合はSSHのバージョンをお送りください。下記のコマンドで確認できます。
[yourPC]$ ssh -V - 今まで試した内容について、また、エラーが出る場合はエラーの内容をお送りください。
TSUBAME4.0で提供していないアプリケーションを使用したい¶
TSUBAME4.0で提供していないアプリケーションのインストール方法について¶
TSUBAME4.0で提供していないアプリケーションの利用を検討される場合、以下の項目に当てはまるかをご確認下さい。
全て当てはまる場合のみ、利用者の責任で自由にインストールしてご利用いただけます。
導入したいアプリケーションのインストールマニュアルや利用許諾書をご確認ください。
- TSUBAME4.0のOS(Red Hat Enterprise Linux 9.3)上で動作する (WindowsやMac OS専用のソフトウェアは動作しません)
- インストールや実行に管理者権限(root)が不要
- 自分のホームディレクトリやグループディスクへのインストールが可能(特定のノードへのインストールは不可)
- ライセンス的に問題ない
- kernel、ライブラリおよびシステムレベルの設定変更を必要としない
- 情報基盤センターのサポートが不要
0.注意事項
情報基盤センターが用意するアプリケーションではありませんので基本的にはサポートは致しません。
利用者側でTSUBAMEの問題かアプリケーションの問題かの切り分けを行い、アプリケーションに関する事はソフトウエアの提供元へお問い合わせください。
ライブラリやドライバのバージョンはTSUBAMEの定期メンテナンス等で変更になることがあります。
その結果それまで利用していたアプリケーションの再設定が必要になる場合があります。
場合によっては動作しなくなってしまう可能性も無いとは言えませんのでご注意ください。
1.インストール場所について
インストール場所としては下記の2箇所がございます。インストールされるソフトウェアの運用形態に合わせて選択して下さい。
研究室のメンバーなど、TSUBAMEグループ内で共有する必要がある場合はグループディスクをご利用下さい。
Homeディレクトリはchmod等で権限を変更したとしても共有利用はできません。
- Homeディレクトリ
- グループディスク
2.インストール方法
インストールされるアプリケーションのマニュアル、コミュニティ、READMEを確認し、インストールして下さい。
アプリケーションによっては、ライブラリ等の動作環境含め、御自分でソースからコンパイルする必要がございます。
インストール前に以下をご確認ください。
- ユーザインストールとなるため、zypper等のOS基幹のアプリケーション管理ソフトウェアは利用できません。基本的にソースからのコンパイルとなります。
- CUDAを利用する場合は計算ノードでのコンパイルが必要となります。(ログインノードにはGPUが搭載されていないため)
- 並列コンパイルなど多数の資源を一度に使う場合も、計算ノードをご利用ください
- TSUBAME4.0のOSはDebian系のディストリビューションではないため、aptコマンドは利用できません。
- dnfコマンドについてはroot権限が必要なため利用できません。利用したい場合は、コンテナの利用をご検討ください。
例1)configureスクリプトを実行し、Makefileを生成してからmake,make testおよびmake installする例
[login/rNnN]$ ./configure --prefix=$HOME/install
[login/rNnN]$ make && make test
[login/rNnN]$ make install
[login/rNnN]$ mkdir build && cd build
[login/rNnN]$ cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/install
[login/rNnN]$ make install
[login/rNnN]$ ./install.sh
配布アプリケーションに問題がある¶
配布アプリケーションに関して生じるトラブルのほとんどは環境に起因するため、個別のサポートは行いません。
申請にあたって承諾いただいたとおり「自己解決」して頂く必要がございます。
インストール時に生じたトラブル
インストールの手引きに従ってインストールをしてください。
上手くいかない場合はアンインストールして最初からやり直してください。
ライセンスサーバとの通信に失敗している場合は研究室内や建物のネットワーク管理者に問い合わせてください。
利用中に生じたトラブル
実行できない場合はエラーメッセージ等をよく読んでください。
ライセンス関連の問題が生じている場合はインストールの手引きにある通り、ライセンスサーバへの通信の問題がないか確認してください。
設定が正常にできており直前まで利用できていた場合はライセンスがメンテナンス中ではないかお知らせ等を確認してください。
TSUBAMEの利用の手引きを参照してライセンスの状態を確認し、ライセンス数が不足していないか確認してください。他の人が使用中の場合は終わるのを待って再度実行してください。
1ユーザによるライセンスの占有が発生している場合にはお知らせください。利用方法を改めていただくよう情報基盤センターより連絡させていただきます。
商用アプリケーションの利用イメージについて¶
TSUBAME4.0上で商用アプリケーションの利用する場合は、下記の2つの場合があるかと思います。
それぞれの場合について簡単に説明します。
- プリ・ソルバ・ポストの全処理を行う場合
- プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
本FAQにでてくる用語がわからない方は下部の用語についてをご確認下さい。
1.プリ・ソルバ・ポストの全処理を行う場合
TSUBAME4.0ではアプリケーションによって異なりますが、基本的にプリ・ソルバ・ポストの全機能が導入されており、インタラクティブノードでの実行の場合は「プリ・ソルバ・ポスト」の全処理を行うことができます。
インタラクティブノードでの実行について、また、プリ、ポスト、ソルバに該当するコマンドやアプリケーションも商用アプリケーションによって異なりますので、各アプリケーションの手引書やマニュアルをご確認下さい。
2.プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
Xサーバの相性問題などを回避する目的など、プリポスト処理をクライアント側で行えるよう、ソフトウェア配布を行っております。
なお、ソフトウェア配布については、利便性向上のために提供しているものですので、状況により配布を中止する可能性がありますのでご注意ください。
この場合は、下記の手順が必要となります。
1) ソフトウェアの利用申請を行い、ソフトウェアを入手する
2) ソフトウェアをクライアントにインストールする
3) クライアントにインストールしたソフトウェアでプリ処理を行う
4) TSUBAME4.0に3.で作成したデータを転送する
5) ジョブスケジューラ投入用のバッチスクリプトを作成する
6) TSUBAME4.0でqsubコマンドを実行し、5で作成したバッチスクリプトを実行する
7) 6の結果データをクライアントに転送する
8) クライアントにインストールしたソフトウェアでポスト処理を行う
用語について
-
プリポスト
下記の2つのこと、低負荷- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
- ポスト(ポストプロセッサの略)：解析結果データの可視化等の解析後の作業
- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
-
ソルバ
解析そのもののこと、高負荷 -
Xサーバ
X転送を行うためのクライアント側のアプリケーション
segmentation faultなど、プログラム実行時のエラー対応について¶
全般
まず、以下の関連FAQをご確認ください。
Linuxのよくあるエラーについて
"Disk quota exceeded" というエラーが出力される
商用アプリケーションで発生したエラーに対する対処方法について
1.商用アプリケーションの場合
ABAQUS/ABAQUS CAEを除き、お問合わせでサポート可能です。以下をお問い合わせにご連絡下さい。
-
エラーが発生した商用アプリケーション名
例)Abaqus/Explicit -
発生したエラー
例)buffer overflow detected -
エラーを起こしたJOB_ID(複数ある場合は複数記載してください)
例)181938 -
エラーを起こしたホスト名(複数ある場合は複数記載してください)
例)r6n5 -
エラーが発生した状況について(できるだけ詳細に記載下さい)
例)qrshを用いてr6n5にログインし、以下のコマンドを実行したところ、「buffer overflow detected」が発生した。
詳細は以下の通り
- コマンド
ABAQUSについてはアカデミックライセンスのため、技術サポートがありません。
[rNnN]$ module load abaqus intel [rNnN]$ abq2017 interactive job=TEST input=Job1 cpus=6 scratch=$TMPDIR mp_mode=mpi #エラー内容 Run package *** buffer overflow detected ***: /pathto/package terminated ======= Backtrace: ========= /lib64/libc.so.6(+0x721af)[0x2aaab0c001af] …以下略
SIMULIAドキュメンテーションサイトに登録し、ご自分で解決頂く必要がございます。
ドキュメンテーションサイトの情報については「お問い合わせ」よりご連絡ください。
2.自分でコンパイルしたアプリケーションの場合
お問合わせ頂いてもサポートできません。
FAQ「TSUBAME4.0で提供していないアプリケーションを使用したい」を確認したという前提で記載致します。
トレースバックなどのオプションを付けてコンパイルしている場合はエラーを起こしたソースに関する情報が出ますので、そちらを確認して下さい。
オプション無しでコンパイルした場合はエラーを確認して、必要とされるオプションを切り分けて下さい。
コンパイラを利用した場合はそれぞれの手引書をご確認下さい。
商用アプリケーションで発生したエラーに対する対処方法について¶
全般
プログラム実行時に以下のようなエラーが発生する場合の対処法
unable to connect to forwarded X server: Network error: Connection refused
Error: Can't open display: localhost:13.0
アプリケーション名: Xt error: Can't open display:
アプリケーション名: DISPLAY is not set
プログラム実行中にGUIプログラムが落ちる
端末上のkeepAliveの設定はお済みでしょうか？
お済みでない場合はFAQ「TSUBAME4.0で作業中にセッションが切れてしまいます」を確認して下さい。
プログラム実行中に突然ジョブがabortした
原因は様々考えられますが、ユーザによる切り分けとして以下を確認下さい。
- バッチエラーファイルの確認(通常、スクリプト名.e.$JOBID)
- プログラム固有のログファイルの確認
- ディレクトリの空き容量の確認
関連FAQ
Linuxのよくあるエラーについて
"Disk quota exceeded" というエラーが出力される
segmentation faultなど、プログラム実行時のエラー対応について
python/3.9.18を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について¶
python/3.9.18を使って自分の環境下にnumpy, mpi4py, chainer, tensorflow等をインストールしたい場合は以下のようにします。
Info
cupy等GPUを用いるモジュールをインストールする場合は、qrshで計算ノードを確保してから行って下さい。
[rNnN]$ module load intel cuda openmpi
[rNnN]$ python3 -m pip install --user python_modules
バージョンを指定したい場合は
[login/rNnN]$ python3 -m pip install --user python_modules==version
商用アプリケーション利用に関するライセンス制限について¶
商用アプリケーションの各種制限を参照してください。
Rで自分のライブラリをインストールして使いたい¶
TSUBAME4.0 ではR-4.3.2が利用できます。
基本パッケージ以外に標準で利用可能なライブラリは以下となります。
Rmpi, rpud
上記以外のライブラリを利用したい場合には、ご自分でのインストール操作が必要となります。
パーミッションの関係で、Rのインストールディレクトリは不可ですので、ライブラリパスを指定の上、自分所有のライブラリをインストール/管理できますます。手順は以下となります。
ライブラリパスを$HOME/Rlib、ライブラリ名はtestlib、testlib.tar.gzはソースパッケージと仮定して、以下のように操作します。
[rNnN]$ module load cuda openmpi R # モジュールの読み込み
[rNnN]$ mkdir ~/Rlib # ライブラリインストールディレクトリの作成（無ければ）
[rNnN]$ wget https://cran.r-project.org/src/contrib/testlib.tar.gz # パッケージのダウンロード
[rNnN]$ R CMD INSTALL -l $HOME/Rlib testlib.tar.gz # ライブラリインストール
[rNnN]$ export R_LIBS_USER=$HOME/Rlib # ご自分のインストールライブラリの設定
[rNnN]$ R # ライブラリの利用
> library(testlib)
openmpiのmpi4pyでmpi4py.futures.MPIPoolExecutorを実行するとエラーになる¶
openmpiを用いたmpi4pyでmpi4py.futures.MPIPoolExecutorを実行すると以下のようなエラーが起こることがあります。
[rNnN:xxxxx] [[60041,0],0] ORTE_ERROR_LOG: Not found in file orted/pmix/pmix_server_dyn.c at line 87
1. 以下のコマンドの実行
[rNnN]$ mpirun -np <NP> python3 **-m mpi4py.futures** ./test.py
各ターミナルソフトでのポートフォワードの設定について¶
各ターミナルソフトでのポートフォワードの設定について以下に記します。
※以下は全てqrshやqsubで計算ノードを確保した状態で実行して下さい。
例として、計算ノードr7n7が確保されていると仮定して、自分のPCのポート5901をr7n7のポート5901に繋げる場合を記します。
1. MobaXterm
Tunneling -> New SSH Tunnel -> My computer with MobaXtermのForwarded portに5901を入力、SSH serverのSSH serverにlogin.t4.gsic.titech.ac.jp、defaultuserにユーザ名、SSH portに22を入力、Remote serverのRemote serverにr7i7n7、Remote portに5901を入力しsave、Settingsの下の鍵マークから秘密鍵を選択、その後設定したトンネルをstart
2. OpenSSH/WSL
[yourPC]$ ssh -L 5901:r7n7:5901 -i <秘密鍵> -f -N <ユーザ名>@login.t4.gsic.titech.ac.jp
3. PuTTY
PuTTY Configuration -> Connection -> SSH -> TunnelsからSource Portに5901, Destinationにr7n7:5901を入力して"Add"をクリックしてOpen
4. teraterm
設定->SSH転送->追加->ローカルのポートに5901、リモート側ホストにr7n7、ポートに5901を入力してOK
intel MPIでmpirun ... >& log.txt &とするとファイル出力が途中で止まってしまいます¶
intel MPIで
[rNnN]$ mpirun ... ./a.out >& log.txt &
その場合は以下のようにすると出力が止まらずに実行できます。
[rNnN]$ mpirun ... ./a.out < /dev/null >& log.txt &
Intel® oneAPI Math Kernel Libraryをリンクしたいが、リンクオプションをどうすればよいですか？¶
Intel® oneAPI Math Kernel Libraryをリンクしたい場合、Intel® oneAPI Math Kernel Library Link Line Advisorに適切な項目を入力し、"Use this link line”からリンクオプションをコピーして下さい。
MobaXtermでVNCを使う方法¶
TSUBAME上のGUIアプリケーションを利用する際に、X転送で描画に失敗する場合や、性能が不十分な場合には、TurboVNCを利用することで状況が改善する場合があります。
MobaxtermにはVNCクライアント機能が内蔵されているため、比較的簡単に利用できます。
計算ノードにおけるVNCサーバの起動方法やMobaxtermからの接続方法については、利用の手引きを参照してください。
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生します¶
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生することがあります。
これはMobaXterm等でX転送でABAQUS CAEを起動してモデリングを実行すると発生するようです。
VNC+VirtualGLを使用することでこのエラーは回避できますのでそちらをご使用下さい。
MobaXtermからのVNCの使い方についてはこちらをご参照下さい。
ポータルからnoVNC経由でVNCを使う場合はこちらをご参照下さい。
VNCからVirtualGLを使用するにはこちらをご参照下さい。
Intel OneAPIでicc,icpcコマンドが使用できません¶
Intel oneAPI 2024から、iccコマンドおよびicpcコマンドが使用できなくなりました。
icxコマンドおよびicpxコマンドを使用してください。
また、ifortコマンドについても将来的な廃止が示唆されているため、ifxコマンドの使用を推奨します。
Intel oneAPI利用時にC++17関連のエラーが発生する。¶
Intel oneAPI 2024から、C++のデフォルトの規格がC++14からC++17に変更になりました。 それに伴い、以下のエラーが発生する場合があります。
- error: ISO C++17 does not allow 'register' storage class specifier [-Wregister]
- error: ISO C++17 does not allow dynamic exception specifications [-Wdynamic-exception-spec]
詳細についてはこちらのページをご参照ください。
本エラーが発生した場合、以下のいずれかをご検討ください。
- C++17規格に適合するよう、ソースコードを修正する。
- 翻訳時オプション -std=c++14 を指定し、C++14規格でコンパイルする。
VASPのビルド、実行がうまくいかない。¶
VASPについてはライセンスの制限上、お問い合わせ頂いても十分な対応が実施できない場合があります。
official users supportとしてVASP Forum が開設されておりますので、そちらの参照、投稿もご検討ください。
また、参考情報としていくつかのFAQを掲載しております。併せてご参照ください。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
VASP実行時に UCX ERROR failed to insert region エラーが発生する
Intel oneAPI利用時にC++17関連のエラーが発生する。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。¶
TSUBAME4.0上でVASP6.4.2をビルドした際の手順について参考情報として公開します。
-
モジュールをロードします。
[rNnN]$ module load nvhpc openmpi intel -
arch/makefile.include.nvhpc_ompi_mkl_omp_acc ファイルをコピーし、以下の箇所を変更します。
[rNnN]$ cp arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include [rNnN]$ vi makefile.include [rNnN]$ diff arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include 20,21c20,21 < FC = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp < FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp -c++libs --- > FC = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp > FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.3 -mp -c++libs 81c81 < MKLROOT ?= /path/to/your/mkl/installation --- > MKLROOT ?= /apps/t4/rhel9/isv/intel/mkl/2024.0/ 87,88c87,88 < SCALAPACK_ROOT ?= /path/to/your/scalapack/installation < LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl --- > #SCALAPACK_ROOT ?= /path/to/your/scalapack/installation > #LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl -
Makeします。
[rNnN]$ make DEPS=1 -j12 2>&1 |tee make.log
実行する際はHCOLLを無効にします。
[rNnN]$ export OMPI_MCA_coll=^hcoll
[rNnN]$ make test
VASP実行時に UCX ERROR failed to insert region エラーが発生する¶
実行時オプション -mca coll_hcoll_enable 0 の追加をお試しください。
実行例：
[rNnN]$ mpirun -mca coll_hcoll_enable 0 vasp_std >vasp.log
python の module load が出来ません¶
TSUBAME4.0ではデフォルトでpython 3が利用可能です。
module load は必要ありません。
OpenMPI/Intel MPI実行時に、hcoll 関連のErrorやsegmentation faultが発生する。¶
以下の環境変数を指定することで改善される場合があります。
OpenMPI利用時：export OMPI_MCA_coll=^hcoll
Intel MPI利用時：export I_MPI_COLL_EXTERNAL=0
Intel Compilerで -lblas を指定してコンパイルしたバイナリが、実行時に異常終了する¶
Intel Compilerでは、Intel MKLという数値計算ライブラリが用意されています。
Intel CompilerでBLASを利用する際は、 -lblasではなくIntel MKLのライブラリをリンクするようオプションを変更してください。リンク用のオプションについてはIntel MKLのリンク方法をご参照ください。
なお、数値計算ライブラリはIntel MKLのような専用ライブラリを含め、多種多様なライブラリが存在しています。その中には、ライブラリ間で依存関係にあるものや競合関係にあるものも存在します。
数値計算ライブラリでエラーが発生した場合、競合関係の確認や別のライブラリの利用もご検討ください。
TensorFlow実行時にGPUが使用されない¶
TensorFlowをGPU上で動作させる場合、利用するTensorFlow,python,cudnn,cudaの組み合わせに条件があります。
詳細については、Tensorflow をご参照ください。
Gaussian 利用時のCPU番号指定(%cpu)について¶
TSUBAME4.0 では、1ノードを複数人で使用します。そのため、node_f以外を利用時にCPU番号が0以外から始まることがあります。
そのため、CPU番号を指定する際には注意が必要です。
TSUBAME4.0で用意したGaussian( module load gaussian )を利用し、CPU番号を意識しない場合¶
指定した資源タイプに合わせて、確保した全CPUのCPU番号が環境変数GAUSS_CDEF に自動的に指定されます。
そのため、%cpuおよび環境変数:GAUSS_CDEFは指定しないでください。
利用するCPU番号を自分で指定する、またはご自身で用意したGaussianを使用する場合¶
CPU番号のズレに対応する方法として、以下の3つの方法があります。
Info
全ての手順において、必ず unset GAUSS_CDEF を先に実施してください。 CPU番号の設定が自動的に行われているため、クリアする必要があります。
- node_fを使用します。ノード占有なので必ずCPU番号0から始まります。
- %NProcSharedもしくは環境変数:GAUSS_PDEFに、利用したい 「CPU数」を指定します。この場合、使用する 「CPU番号」は指定できません。
-
動的に割り当てられるコア番号を確認し、CPU番号として指定します。割り当てられたコア番号は以下のいずれかの方法で確認できます。
- /sys/fs/cgroup/cpuset/AGE/{JOB_ID}.1/master/cpuset.cpus ファイルを参照する
- numactl -s コマンドのphyscpubind で確認する。
以下に、numactl -s コマンドによる例を示します。
例えば、cpu_8の8コアを確保し numactl -s コマンドで以下のように表示された場合は、 %CPU=80-87 と指定します。
( 272から279まではハイパースレッディングによる論理コアであり、指定すると計算効率が低下するため指定しないことを推奨します )
[rNnN]$ numactl -s | grep physcpubind physcpubind: 80 81 82 83 84 85 86 87 272 273 274 275 276 277 278 279
Gaussian実行時「No space left on device」エラーが発生した¶
Gaussian で指定されたスクラッチディレクトリの空き容量が枯渇した可能性があります。
環境変数 GAUSS_SCRDIRを参考に、環境変数GAUSS_SCRDIRを使用してスクラッチディレクトリを変更してください。
Info
TSUBAME3およびTSUBAME4.0初期の利用手引きに掲載されたスクリプト例では、以下の指定が行われていました。
export GAUSS_SCRDIR=$TMPDIR
現在は、より容量の大きい領域(ローカルスクラッチ領域)がデフォルトで設定されるため、本指定は不要となりました。
空き容量が枯渇するリスクが高くなるため、本指定が残っている場合は削除してください。
Alphafold関連のデータベースを使用したい¶
以下のソフトウェアで利用するデータベースをTSUBAME上に用意しました。これらのデータベースファイルは容量が大きいため、可能な限り個別にダウンロードすることはお避け下さい。
利用方法については、それぞれのリンク先をご参照ください。
- Alphafold2用データベース
- Alphafold3用データベース
- LocalColabfold用データベース
ANSYS製品について専門的な問い合わせ、有償サポートへの連絡を行いたい¶
TSUBAME4.0ではANSYS製品の有償サポートが利用可能ですが、直接の問い合わせはできません。
東京科学大が窓口となり依頼を行うため、お問い合わせよりご連絡ください。
その際、以下に記載されたルールを必ず守ってください。不備がある場合は依頼が出来ません。
<< ルール >>
- 「アプリが起動しない」といった基本的な内容については、通常のお問い合わせで対応可能です。
また、問い合わせ内容によっては依頼をお断りさせていただく場合があります。
- 問い合わせ前に、サポートベンダーの公開FAQ(ログイン不要)をご確認ください。
- お問い合わせの件名は「TSUBAME4_ANSYS技術サポート依頼」としてください。
- お問い合わせ内容の「実現したいこと」に、サポートベンダーへの問い合わせ原稿を記載してください。
フリーフォーマットですが、後述の[サポートベンダー向け選択情報 テンプレート]の内容を忘れずに記載してください。
東京科学大の窓口担当にも連絡したいことがある場合、サポートベンダー宛と区別がつくように記載してください。
- 問い合わせに関して添付ファイルがある場合、TSUBAME上に保存してファイルパスを記載するか、Box等のオンラインストレージにファイルをアップロードしアクセスに必要な情報を記載してください。
なお、問い合わせ内容はサポートベンダーが確認するほか、サポートベンダーのFAQとして他利用者に公開される可能性があります。
機密情報が含まれていないかを（ファイルメタデータ含め）ご確認ください。
- 以下の「サポートベンダー向け選択情報 テンプレート」をコピー、更新してお問い合わせの最後に記載してください。
問い合わせ時に選択必須なため、該当項目がない場合は最も類似した項目を選択してください。
[サポートベンダー向け選択情報 テンプレート]
Info
「解析種別」以外は全て必須項目です。選択肢から該当する項目以外を削除してください。
なお、「問合せ対象の製品」のみ項目を抜粋しているため、どうしても選択肢に該当しない方は製品名をご記載ください。
・問合せ対象の製品
ANSYS Workbench Mechanical（MAPDL含む）
ANSYS Fluent
ANSYS Electronics Desktop / ANSYS Icepak
・解析種別 ( ※Workbench Mechanical選択時のみ必須。他製品選択時は本項目ごと削除)
静的構造解析
モーダル / 周波数応答解析
応答スペクトル / ランダム振動解析
時刻歴応答解析（陰解法）
時刻歴応答解析（陽解法）
剛体運動解析
疲労解析
破壊解析
伝熱解析
電磁界解析（旧Emag）
構造、伝熱、電気伝導解析
音響解析
圧電解析
Fluid 製品との連成
Electronics 製品との連成
その他の連成
最適化解析
設計調査（DesignXplorer）
トポロジー最適化
Workbench Mechanical プリポスト
Workbench メッシング
外部データ / 外部モデル / FE Modeler
MAPDL プリポスト
・利用したANSYSのバージョン
ANSYS 2024R1
・利用したOS
RHEL9.3 （※TSUBAME4.0上で実行時はこちら）
Windows10
Windows11
・メニューの言語環境
日本語
英語
・GUI環境
ANSYS Mechanical環境
MAPDL環境
Discovery環境
AIM環境
その他