1. TSUBAME3.0概要

運用終了

TSUBAME3 は既に運用を終了しています。 TSUBAME4 のマニュアル類はこちら

1.1. システム概念

本システムは、東京工業大学における種々の研究・開発部門から利用可能な共有計算機です。 本システムの倍精度総理論演算性能は12.15PFLOPS、総主記憶容量は135TiB、磁気ディスク容量は15.9PBです。 各計算ノード及びストレージシステムはOmni-Pathによる高速ネットワークに接続され、また現在は20Gbpsの速度でインターネットに接続、 将来的にはSINET5を経由し100Gbpsの速度でインターネットに接続される予定です（2019年5月時点）。 TSUBAME3.0の全体概念を以下に示します。

1.2. 計算ノードの構成

本システムの計算ノードはSGI ICE XA 540ノードで構成されたブレード型大規模クラスタシステムです。 1台の計算ノードには、Intel Xeon E5-2680 v4(2.4GHz、14core)を2基搭載し、総コア数は15,120コアとなります。 また、主記憶容量は計算ノードあたり256GiBを搭載し、総主記憶容量は、135TiBとなります。 各計算ノードは、Intel Omni-Pathインタフェースを4ポート有しており、Omni-Pathスイッチによりファットツリーで接続されます。

TSUBAME3.0のマシンの基本スペックは次の通りです。

演算部名	計算ノード 540台
ノード構成（１台あたり）
CPU	Intel Xeon E5-2680 v4　2.4GHz× 2CPU
コア数/スレッド	14コア / 28スレッド×2CPU
メモリ	256GiB
GPU	NVIDIA TESLA P100 for NVlink-Optimized Servers ×4
SSD	2TB
インターコネクト	Intel Omni-Path HFI 100Gbps? ×4

1.3. ソフトウェア構成

本システムのオペレーティングシステム(OS)は、下記の環境を有しています。

• SUSE Linux Enterprise Server 12 SP2

OS構成は、サービス実行形態に応じて動的に変更されます。

また、本システムで利用可能なアプリケーションソフトウェアに関しては、 ISVアプリケーション、フリーウェアを参照ください。

1.4. ストレージ構成

本システムでは、様々なシミュレーション結果を保存するための高速・大容量のストレージを備えています。 計算ノードでは高速ストレージ領域としてLustreファイルシステムにより、HomeディレクトリはGPFS+cNFSによりファイル共有されています。 また、各計算ノードにローカルスクラッチ領域として2TBのSSDが搭載されています。 本システムで利用可能な、各ファイルシステムの一覧を以下に示します。

用途	マウント	容量	ファイルシステム
Homeディレクトリ 共有アプリケーション配備	/home /apps	40TB	GPFS+cNFS
高速ストレージ領域1	/gs/hs0	4.8PB	Lustre
高速ストレージ領域2	/gs/hs1	4.8PB	Lustre
高速ストレージ領域3	/gs/hs2	4.8PB	Lustre
ローカルスクラッチ領域	/scr	各ノード1.9TB	xfs（SSD)