運用期間: 2015 年 1 月 ～ 2019 年 3 月

2015 年 4 月から、次期スーパーコンピュータシステム Shirokane3 の運用を開始しました。Shirkoane3 は高速な処理性能、ファイル I/O 性能を備えるだけでなく、運用中の拡張性、省電力性を兼ね備えたシステムです。

なお、一部を 2015 年 1 月から先行して運用開始しました。

システム構成

• 計算ノード Fat: 1 ノードあたり 2 TB のメモリに 1.6 TB の内蔵フラッシュメモリディスクを搭載した計算ノード群です。ホームディスクとは別に 600 TiB の外部ディスク装置に接続します。
  • ノード数: 6
  • Rpeak: 8.17 Tflops
  • CPU: Xeon E7-8857 v2 (3.0 GHz)
  • OS: Red Hat Enterprise Linux
  • CPU コア数: 288
  • メモリ/node: 2 TB
  • ディスク容量: 600 TiB
• 計算ノード Thin: 24 CPU コアの Intel Xeon E5-2670 v3 に 128 GB のメモリを搭載した Shirokane3 で最大の計算ノード群です。計 469 ノードで構成され、うち 24 ノードは演算性能を向上させるためのアクセラレータとして、 Xeon Phi 7120P を搭載します。
  • ノード数: 469
  • Rpeak: 414 Tflops
  • CPU: Xeon E5-2670 v3 (2.3 GHz)
  • OS: Red Hat Enterprise Linux
  • CPU コア数: 11,160
  • メモリ/node: 128 GB
• ホームディスク: Shirokane2 の 5 倍にあたるディスク容量 12 PiB を有する高速・大容量なディスク領域です。
  • ディスク容量: 12 PiB
• アーカイブディスク: ホームディスクと比較して安価で大容量なディスク領域です。高速なストレージ領域 1 PiB と、低速・大容量なテープ領域 21 PB からなります。 階層化ストレージ機能により、アクセス日時やファイルサイズ等の条件に従って、自動で 2 つの領域をデータが移動します。
  • ディスク容量: 1 PiB + 21 PB
• 冷却設備
  • 冷却能力: 600 kW (?)

Shirokane3 の省電力技術

Shirokane3では、限られた電力を最大限活用するための最新の製品、技術が採用されています。

• 間接蒸発式冷却システムを採用します。室内の空気を室外まで排出し、ポリマー製の熱交換器に通します。熱交換器に散布される水の気化熱を用いて室内の空気を冷却します。コンプレッサーをほぼ使用せず、年間を通じてファンのみによる冷却が行えます。理論上の PUE は 1.06 を試算しています
• ヘリウムが充填された 6 TB HDD を採用することで、1 TB あたりの消費電力が半減します。12 PB の広大なファイルシステムの最大消費電力はわずか 65 kW です
• 469 ノードの計算ノード Thin は、最新の CPU である Intel Xeon E5-2670 v3 を搭載します。開発コード名 Haswell と呼ばれていたこの CPU は、1 クロックあたりの理論浮動小数点演算性能が従来の 2 倍と、高い電力使用効率を持ちます

この他にも、ジョブの有無に連動してサーバを自動起動停止する仕組みや、大容量テープライブラリの採用等、大規模な計算を必要最低限の電力で運用するために、様々な配慮を行っています。