1. TSUBAME3.0概要

1.1. システム概念

本システムは、東京工業大学における種々の研究・開発部門から利用可能な共有計算機です。 本システムの倍精度総理論演算性能は12.15PFLOPS、総主記憶容量は135TiB、磁気ディスク容量は15.9PBです。 各計算ノード及びストレージシステムはOmni-Pathによる高速ネットワークに接続され、また現在は20Gbpsの速度でインターネットに接続、 将来的にはSINET5を経由し100Gbpsの速度でインターネットに接続される予定です(2019年5月時点)。 TSUBAME3.0の全体概念を以下に示します。

TSUBAME3 Concept

1.2. 計算ノードの構成

本システムの計算ノードはSGI ICE XA 540ノードで構成されたブレード型大規模クラスタシステムです。 1台の計算ノードには、Intel Xeon E5-2680 v4(2.4GHz、14core)を2基搭載し、総コア数は15,120コアとなります。 また、主記憶容量は計算ノードあたり256GiBを搭載し、総主記憶容量は、135TiBとなります。 各計算ノードは、Intel Omni-Pathインタフェースを4ポート有しており、Omni-Pathスイッチによりファットツリーで接続されます。

TSUBAME3 Image

TSUBAME3.0のマシンの基本スペックは次の通りです。

演算部名 計算ノード 540台
ノード構成(1台あたり)
CPU Intel Xeon E5-2680 v4 2.4GHz× 2CPU
コア数/スレッド 14コア / 28スレッド×2CPU
メモリ 256GiB
GPU NVIDIA TESLA P100 for NVlink-Optimized Servers ×4
SSD 2TB
インターコネクト Intel Omni-Path HFI 100Gbps? ×4

1.3. ソフトウェア構成

本システムのオペレーティングシステム(OS)は、下記の環境を有しています。

  • SUSE Linux Enterprise Server 12 SP2

OS構成は、サービス実行形態に応じて動的に変更されます。

また、本システムで利用可能なアプリケーションソフトウェアに関しては、 ISVアプリケーションフリーウェアを参照ください。

1.4. ストレージ構成

本システムでは、様々なシミュレーション結果を保存するための高速・大容量のストレージを備えています。 計算ノードでは高速ストレージ領域としてLustreファイルシステムにより、HomeディレクトリはGPFS+cNFSによりファイル共有されています。 また、各計算ノードにローカルスクラッチ領域として2TBのSSDが搭載されています。 本システムで利用可能な、各ファイルシステムの一覧を以下に示します。

用途 マウント 容量 ファイルシステム
Homeディレクトリ
共有アプリケーション配備
/home
/apps
40TB GPFS+cNFS
高速ストレージ領域1 /gs/hs0 4.8PB Lustre
高速ストレージ領域2 /gs/hs1 4.8PB Lustre
高速ストレージ領域3 /gs/hs2 4.8PB Lustre
ローカルスクラッチ領域 /scr 各ノード1.9TB xfs(SSD)