2. TSUBAME3での利用方法

2.1. LS-DYNAの実行

2.1.1. インタラクティブノードでのLS-DYNAの起動/実行

ログイン方法を参考にログインノードにログイン後、インタラクティブノードを利用したX転送を参考にノードをX転送付きで確保して下さい。
以下以降の例では、全て計算ノードにログインした状態で行います。

以下のコマンドで計算ノードに接続します。

$ qrsh -g [TSUBAME3グループ] -l s_core=1 -l h_rt=2:00:00

CUIの場合は以下のコマンドを実行してください。
コマンドは下表をご確認ください。

$ cd <利用したいディレクトリ>
$ . /etc/profile.d/modules.sh
$ module load lsdyna/R9.1.0
$ <コマンド名> i=<入力ファイル>

LS-DYNAコマンド

プログラム コマンド名
SMP単精度版 smpdynas
SMP倍精度版 smpdynad
MPP単精度版 mppdynas
MPP倍精度版 mppdynad

MPP実行後処理用プログラムl2aコマンド

プログラム コマンド名
MPP単精度版 l2as
MPP倍精度版 l2ad

GUIの場合は以下の方法で実施してください。
例では2時間接続で、割り当てノードとしてr0i0n0が割り当てられた場合を想定しております。
割り当てノードはコマンド実行時に空いているノードですので、明示的にノードを指定することはできません。

#qrshの実行
$ qrsh -g [TSUBAME3グループ] -l s_core=1 -l h_rt=2:00:00
Thu Sep 21 08:17:19 JST 2017
r0i0n0:~> . /etc/profile.d/modules.sh
r0i0n0:~> module load lsdyna/R9.1.0 lsprepost/4.3
r0i0n0:~> lsprepost
 _____________________________________________________
 |                                                   |
 |     Livermore Software Technology Corporation     |
 |                                                   |
 |                L S - P R E P O S T                |
 |                                                   |
 |    Advanced Pre- and Post-Processor for LS-DYNA   |
 |                                                   |
 |         LS-PrePost(R) V4.3.11 - 04Jul2017         |
 |                                                   |
 |            LSTC Copyright (C) 1999-2014           |
 |                All Rights Reserved                |
 |___________________________________________________|

 OpenGL version 1.4 (4.2.0 - Build 10.18.10.3325)

LS-PrePostの起動画面

メニューバーの File > Exit をクリックすると終了します。

2.1.2. バッチジョブスケジューラーUGEによる実行

LS-DYNAはバッチジョブで利用する場合の例を以下に示します。
【SMP単精度版】

$ cd <入力データを置いてあるディレクトリ>
run_smps_r9.1.0.shを実行する場合
$ qsub run_smps_r9.1.0.sh

【SMP倍精度版】

$ cd <入力データを置いてあるディレクトリ>
run_smpd_r9.1.0.shを実行する場合
$ qsub run_smpd_r9.1.0.sh

【MPP単精度版】

$ cd <入力データを置いてあるディレクトリ>
run_mpps_r9.1.0-1node-avx2.shを実行する場合
$ qsub run_mpps_r9.1.0-1node-avx2.sh

【MPP倍精度版】

$ cd <入力データを置いてあるディレクトリ>
run_mppd_r9.1.0-1node-avx2.shを実行する場合
$ qsub run_mppd_r9.1.0-1node-avx2.sh

スクリプト例:SMP単精度版

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash
#$ -cwd
#$ -V
#$ -l h_node=1
#$ -l h_rt=0:30:0

. /etc/profile.d/modules.sh
module load cuda/8.0.44
module load lsdyna/R9.1.0

export base_dir=/home/4/t3-test00/isv/lsdyna
cd $base_dir/smp_s

export exe=smpdynas

#export LSTC_LICENSE=network
#export LSTC_MEMORY=auto

export NCPUS=4
export OMP_NUM_THREADS=${NCPUS}
export INPUT=$base_dir/sample/airbag_deploy.k

${exe} i=${INPUT} ncpus=${NCPUS}

スクリプト例:SMP倍精度版

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/bash
#$ -cwd
#$ -V
#$ -l h_node=1
#$ -l h_rt=0:30:0

. /etc/profile.d/modules.sh
module load cuda/8.0.44
module load lsdyna/R9.1.0

export base_dir=/home/4/t3-test00/isv/lsdyna
cd $base_dir/smp_d

export exe=smpdynad

#export LSTC_LICENSE=network
#export LSTC_MEMORY=auto

export NCPUS=4
export OMP_NUM_THREADS=${NCPUS}
export INPUT=$base_dir/sample/airbag_deploy.k

${exe} i=${INPUT} ncpus=${NCPUS}

スクリプト例:MPP単精度版

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/bin/bash
#$ -cwd
#$ -V
#$ -l h_node=1
#$ -l h_rt=0:30:0

. /etc/profile.d/modules.sh
module load cuda/8.0.44
module load lsdyna/R9.1.0 mpt/2.16

export base_dir=/home/4/t3-test00/isv/lsdyna
cd $base_dir/mpp_s

export exe=mppdynas_avx2
export dbo=l2as_avx2

#export LSTC_LICENSE=network
#export LSTC_MEMORY=auto

export NCPUS=4
export OMP_NUM_THREADS=1
export INPUT=$base_dir/sample/airbag_deploy.k

export MPI_BUFS_PER_PROC=512
export MPI_REMSH=ssh

mpiexec_mpt -v -np 4 dplace -s1 ${exe} i=${INPUT} ncpus=${NCPUS}

${dbo} binout*

スクリプト例:MPP倍精度版

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/bin/bash
#$ -cwd
#$ -V
#$ -l h_node=1
#$ -l h_rt=0:30:0

. /etc/profile.d/modules.sh
module load cuda/8.0.44
module load lsdyna/R9.1.0 mpt/2.16

export base_dir=/home/4/t3-test00/isv/lsdyna
cd $base_dir/mpp_d

export exe=mppdynad_avx2
export dbo=l2ad_avx2

#export LSTC_LICENSE=network
#export LSTC_MEMORY=auto

export NCPUS=4
export OMP_NUM_THREADS=1
export INPUT=$base_dir/sample/airbag_deploy.k

export MPI_BUFS_PER_PROC=512
export MPI_REMSH=ssh
mpiexec_mpt -v -np 4 dplace -s1 ${exe} i=${INPUT} ncpus=${NCPUS}
${dbo} binout*

スクリプトは、利用者の環境に合わせて変更してください。 インプットファイルは、シェルスクリプト内でINPUT=<インプットファイル名>として指定します。

2.1.3. ライセンスの確認

LS-DYNAのライセンス利用状況を以下のコマンドで確認できます。

$ module load lsdyna
$ lstc_qrun -r

詳細な使用状況を確認する場合は以下のオプションで実行ください。

$ module load lsdyna
$ lstc_qrun -R

現在契約しているライセンス数についてはTSUBAME計算サービスのサポートされているアプリケーションのページをご確認ください。