​ログインノード  (slogin、snx) は SHIROKANE の入口であり、常に安定して稼働していることが求められます。 低負荷を保てるよう、ログインノードでのプログラムの実行などの作業を禁止し、利用者にはご協力をいただいているところです。参考: ​ログインノードでできること 2024 年 11 月に発生した SHIROKANE のログインノードの過負荷とその原因 2024 年 11 月頃、ログインノードへの SCP によるデータ転送が遅くなるまたは失敗する状態となりました。 この原因は、複数の利用者が Visual Studio Code (VSCode) の Remote SSH による接続をログインノードに対して行っていたことでした。 ログインノード slogin.hgc.jp が過負荷になり、機能を果たせなくなりました。 VSCode の Remote SSH...

ユーザが qlogin し、コマンドラインにジョブを入力するインタラクティブジョブを実行するために、SHIROKANE では計算ノード Thin (以下、intr.q ノードとする) があります。今回は、intr.q ノードで発生する “過負荷” による影響と対策についてご紹介します。 2024 年 8 ～ 9 月に発生した qlogin できなくなった事象 intr.q ノードは 2024/8/11 15:00 頃 ～ 8/13 9:50 頃、8/14 14:30 ～ 15:30 頃、9/23 2:45 ～...

ヒトゲノム解析センターでは、ARM64 アーキテクチャの CPU を搭載するサーバとして計算ノード Arm を導入しています。計算ノード Arm は、SHIROKANE の主要な計算ノードである計算ノード Thin よりも 1 ノードあたりのコア数が多いというメリットがある一方、利用可能なソフトウェア数は計算ノード Thin に劣ります。今回は計算ノード Arm の利用環境を計算ノード Thin に近づけることを目的に、Box64 を利用して計算ノード Arm で利用可能なソフトウェア数を増やす取り組みを行いました。 Box64 Box64 とは、主に ARM64 システム上で x86_64 バイナリを実行するためのエミュレータです。x86_64 命令を ARM64 命令へ変換する機能や、ARM64 のライブラリを x86_64...

ヒトゲノム解析センターは 4 月 1 日に新しい解析基盤である Shirokane7 を稼働し、運用を開始しました。5 年間にわたり運用してきた Shirokane5 の多くの計算サーバは役目を終え、SHIROKANE は主に Shirokane6 と Shirokane7 の構成で運用していきます。 本日は期待の高まる Shirokane7 の特徴とともに、普段から SHIROKANE を支えるサポート係の稼働に向けた様子をご紹介します。 Shirokane7 を稼働しました Shirokane7 の主要な計算ノード (計算ノード Thin) は、最新世代の AMD CPU を採用しており、Shirokane5 と比較すると ​バイオツールの実行時間が約 30 〜...

ヒトゲノム解析センターでは、2024 年 4 月から稼働開始予定の Shirokane7 計算ノード Thin で、最新の AMD CPU を搭載したサーバを導入します。 導入にあたり、伝統あるツール実行時の性能を、Shirokane 6 以前の 計算ノード Thin のサーバと比較しました。 各世代のスペック SHIROKANE の各世代の計算ノード Thin のスペックは以下のとおりです。 世代 CPU メモリ Shirokane5 Intel Xeon Gold 6154 18 core × 2...

今回はヒトゲノム解析センターの SHIROKANE に導入している plocate コマンドを紹介します。 plocate コマンドとは 2022 年 4 月に導入した plocate コマンドは、 SHIROKANE に存在する数多くのファイルから利用者がアクセスできるファイルを瞬時に検索することができます。plocate コマンドは、SHIROKANE のホームディスクおよびアーカイブディスクにあるファイルを、ファイル名やファイルパスに含まれる文字列をキーにして検索するツールです。検索結果には検索文字列を含むディレクトリにあるファイルも含まれます。ホームディレクトリ以外に存在する自身がアクセスできるファイルも含まれます。plocate コマンドは、ファイル名やファイルパスに含まれる文字列でしか検索を行わず、検索結果に表示されるファイルは、実行したユーザが ls コマンドにて存在を確かめることができるものに限られます。「含まれる文字列」以外での検索、例えば、自身が所有者となっているファイルを検索するというようなことはできません。 plocate コマンドの最大の特長は検索が高速であることです。このコマンドの検索は、ホームディスクやアーカイブディスクに対しておこわなれるものではなく、ファイルのメタデータを収集したデータベースを対象に実行されます。このため、待ち時間なく検索結果が表示されます。ただし、データベースに登録されていないファイルは登録されるまで検索ができません。 SHIROKANE では毎週土曜日にデータベース更新を行っていますので、最大で直近の 1 週間以内に作成したファイルは検索結果に含まれないことになります。 plocate コマンドの SHIROKANE 利用者向けの情報は次のアドレスです。https://supcom.hgc.jp/internal/mediawiki/id/1656 SHIROKANE での plocate コマンドの仕組み...

ヒトゲノム解析センターでは、Shirokane6 から部分的に Arm アーキテクチャ CPU の計算ノードを導入しています。 Arm アーキテクチャ CPU は、AMD や Intel が作るメジャーな CPU よりも比較的コア数が多く、電力効率が良い (省電力) ことが特徴の CPU で、富岳スパコンが Arm アーキテクチャ CPU を採用したことでも注目を浴びました。 近年、ユーザ数が急激に増加している SHIROKANE では全体の CPU コア数の確保が課題になっており、多くのコアを省電力で稼働できる Arm アーキテクチャ CPU を搭載したサーバを Shirokane6 で導入していました。...