ポーランドのPSNC: 科学研究データの無限の可能性を呼び覚ます

現在、ポーランドの科学研究コミュニティでは変化が起きており、前例のない量のデータが利用可能になったことで科学プロセスが再構築されています。研究機関は未知の領域に進んでいくと、さまざまな課題に直面します。

• 効率的な保管と取得プロセスを確保しながら、データの急激な増加を効果的に管理するにはどうすればいいのか？

• 多様なデータ形式を処理できる堅牢なデータレイクソリューションを開発するには、どのような戦略を採用できるか？

• データ生成の速度に合わせて、科学研究データをリアルタイムで処理および分析できるようにストレージおよびコンピューティング システムを最適化するにはどのような方法があるのか？

ポーランドは、国家データストレージ（NDS）プロジェクトを通じて、このような疑問に答えようとしています。このプロジェクトは、ポーランドの「ハイパフォーマンス コンピューティング（HPC）、ビッグ データ、人工知能（AI）モデルにおける大量のデータの共有、保存、効果的な処理のためのデータインフラ」に画期的な改善を施すことを目的として開始されました。

そしてそれこそが、NDSプロジェクトで重要な役割を担うポズナン・スーパーコンピューティング＆ネットワーキング・センター（PSNC、ポーランド語ではPCSS）が注力していることです。ポーランド科学アカデミーの生物有機化学研究所に所属するPSNCは、ポーランド内外でトップクラスのスーパーコンピューティングセンターの1つです。そのビジョンは、同機関が行うことすべての中核にあります。「科学のための情報インフラストラクチャの統合と開発」に努め、科学とビジネスが出会い、イノベーションが社会に影響を与えるあらゆる場所に存在しようとするものです。

重要な局面

一連の高性能ストレージデバイスに支えられたPSNCは、スーパーコンピューティングセンターの機能を拡張し、主に大学やR&D機関のユーザーにプレミアムHPCとデータレイクサービスを提供しました。これらの研究機関は、高性能データ分析（HPDA）とAIにますます重点を置くようになり、PSNCが大量の非構造化データを処理することを期待していました。ゲノム解析、衛星リモートセンシング、スーパーコンピューティング、ビッグデータ、クラウドコンピューティングなどの分野に取り組む研究機関は、リアルタイムで効率的なデータ処理と分析を緊急に必要としていました。

PSNCはそのような要件に慣れていました。しかし、稼働中のネットワークでは多くの厄介な問題に直面していました。ストレージなどのITシステムデバイスがフル稼働で動作し、大量の電力を消費していました。異なるベンダーの複数のIT機器により、運用と保守（O&M）と管理が困難になり、コストがかかりました。

さらに、NDSプロジェクト向けの強固なHPCプラットフォームを追求するなかで、PSNCは単なる計算速度を超え、エクサバイト規模のデータを分析する必要もあり、データストレージインフラの包括的なアップグレードが必要になることを認識していました。

大量データの対応が急務ななかでHPCを強化

ファーウェイは、さまざまな業界向けの強固なデータインフラストラクチャを構築してきた長年の実績があり、これらの要件を満たすのに有利な立場にあります。これは、ファーウェイがPSNCに提案したソリューションのスケールアウトアーキテクチャに見ることができます。ファーウェイは、PSNCが超高密度のハイブリッド負荷指向設計を必要とし、複数のプロトコルを使用していることを考慮すると、OceanStorパシフィックストレージシステムをアーキテクチャがアーキテクチャに最適であると判断しました。スケールアウトストレージシステムは、高帯域幅とIOPS負荷の高いワークロードをサポートし、PSNCがサービスを提供する科学コミュニティに効率的で信頼性の高いサービスを提供します。

ストレージデバイスはあらゆるストレージシステムの基盤であり、目的に合ったデバイスを選択することが重要です。しかし、これはHPCのパワーを解き放つツールにも当てはまります。分散型並列クライアント（DPC）は、HPCシナリオでファーウェイが設計した助っ人と言えるでしょう。これにより、サービスニーズに合わせて、PSNCのシングルクライアントおよびシングルストリームのパフォーマンスが向上します。

しかし、このような強固なインフラを構築することは容易なことではありませんでした。特定のサービス要件を満たすために、より多くの高性能ストレージシステムが必要でした。ファーウェイのOceanStor DoradoオールフラッシュおよびOceanStorハイブリッドフラッシュストレージシステムが活躍します。Lustreアーキテクチャ専用に構築されたこれらのストレージシステムは、毎秒の入出力操作（IOPS）が非常に高く、PSNCで使用される従来の機器のパフォーマンスを大幅に上回ります。

PSNCのHPCシステムでは、コンピューティングとストレージの機能に加えて、ネットワーク設計が重要です。高性能で低遅延のロスレスネットワークは、PSNCの意思決定の鍵となります。ファーウェイは、CEシリーズスイッチを使用したデータインフラネットワークソリューションも提供し、高性能で信頼性の高いネットワーク接続を提供します。このソリューションは、エンドツーエンドのRoCEイーサネットも提供し、従来のイーサネットと比較して計算能力を2倍にしながら、パケット損失ゼロを排他的に達成します。さらに、PSNCの将来のクラウドベースの進化を考慮して、このソリューションはコンピューティングパワーのクラウド化をサポートし、スケジューリング効率を向上させるオープンイーサネットネットワークを提供します。PSNCはファーウェイの提案を高く評価し、ファーウェイの技術者がすぐにポズナンに到着し、ソリューションを実装しました。

これらのシステムの導入以来、PSNCはファーウェイのストレージ機器を通じたNDSプロジェクトのHPCプラットフォームへのデータスループットを強化してきました。同機関はデータ分析と管理プロセスを合理化し、多くの時間、コスト、リソースを大幅に節約しています。PSNCのHPC・データ部門ディレクターであるノルバート・メイヤー（Norbert Meyer）氏は、「ファーウェイのソリューションにより、科学および産業目的で使用されるHPCおよびクラウド環境のデータインフラを大幅に改善することができます。テストを行ったところ、ストレージシステムの安定性と信頼性に驚かされました」

ファーウェイとともに未来を拓く

データインフラ計画の造船所から科学イノベーションの大海原まで、PSNCとファーウェイは10年にわたるパートナーシップの中で多くのことを経験しており、次の技術的および科学的ブレークスルーは遠くないであろうことを認識しています。

PSNCは、ポーランドをはじめとする世界の科学研究者の夢と希望を見守る存在です。ファーウェイは、PSNCがデジタル化の過程で航海しなければならない危険な海域を知っています。

両社は共に、AIやビッグデータ分析を取り入れたデータインフラの構築を継続するとともに、欧州の低炭素な未来に貢献していきます。