SHIROKANE ホームディスクの快適な利用とファイル整理のお願い
SHIROKANE ホームディスクをご利用の皆様、日頃から大量のデータを扱われる中で、 ホームディスクのファイル数が増えすぎてはいませんか？ 数の多いファイルは、システム全体の負荷につながるだけでなく、 ご自身の作業効率を低下させます。 ファイル数には上限があります SHIROKANE のホームディスクでは、グループごとにディスク容量だけでなく、 作成可能なファイル/ディレクトリ数 (i-node 数) にも上限が設定されています。 上限に達すると、ディスク容量に空きがあっても新しいファイルの作成や書き込みができなくなります。 解析ジョブが途中でエラー終了する原因となりますので、日頃からファイル数を意識した整理が重要です。 なお、コース契約やオプション契約によっては、アーカイブディスクにデータを移動させることも可能です。 参考: アーカイブディスクについて 大量の小ファイルによるシステム負荷と作業効率への影響 SHIROKANE のホームディスクで採用されている Lustre ファイルシステムでは、 1 つのディレクトリに 5,000 ファイル以上あることは、 ファイル管理情報 (メタデータ) の処理に過度な負荷をかけることになり、推奨されません。 大量の小さなファイルに対して検索や一覧表示を行うと、メタデータサーバーへの通信が増大し、ファイルシステム全体の性能低下を招きます。 例えば ls -la の実行時間は、1,000 ファイルであれば 1...
