OceanStor Pacific Storage for High-Performance von Huawei

High Performance-Datenanalysen optimal nutzen

Laut IDC nutzen 67 % der weltweit führenden High-Performance-Computing-Rechenzentren KI- und Big-Data-Technologien. Die höhere Konvergenz von
HPC, KI und Big Data hat zur Entstehung von datenintensiven High Performance-Datenanalysen (HPDA) geführt. Doch immer mehr datenintensive Anwendungen
wie autonomes Fahren, Genomsequenzierung und Wettervorhersagen erhöhen die Anforderungen an Echtzeit-Datenanalysen. Und
da sich die Rechenleistung von homogenen zu heterogenen Multi-Cloud-Systemen verschiebt, werden Arbeitslastmodelle komplexer.
Hier ist eine Lösung erforderlich, die effizienter und kostengünstiger mehr Wert aus Massendaten generiert.

Datenexplosion

Komplexe Workload-Modelle

Ineffiziente Analyse & Mobilität

Die Datenmengen steigen weltweit exponentiell. Immer mehr Daten müssen über einen längeren Zeitraum gespeichert werden.

HPDA-Anwendungsfälle wie die Genomsequenzierung erhöhen das Datenvolumen um ein Vielfaches.

Homogene Rechenleistung entwickelt sich hin zu heterogener (GPU, ASIC und FPGA), was zu diversifizierten Workloads führt.

Verschiedene Serviceverarbeitungsphasen haben unterschiedliche Workload-Modelle, die ein Speichersystem erfordern, das sowohl hinsichtlich Bandbreite als auch bei IOPS eine hohe Leistung bietet.

Die Lese-/Schreibleistung der Daten entspricht nicht der Rechenleistung, was den Speicher zu einem Engpass in der analytischen Effizienz macht.

Der Zugriff auf Daten über verschiedene Protokolle führt zu ineffizienten Kopierprozessen und zeitaufwändiger Datenmigration.

Im Whitepaper „The Trend of Data-intensive HPC“ von Hyperion Research, wird betont, dass im Übergang von rechenintensiven
zu datenintensiven Workloads (typischerweise Big Data, KI, maschinelles Lernen und Deep Learning) Forscher, Ingenieure und Datenanalysten
schneller Ergebnisse sehen wollen. Hierfür ist der Speicher entscheidend, steht jedoch vor Herausforderungen und muss neu definiert werden.

Datenexplosion

Die Datenmengen steigen weltweit exponentiell. Immer mehr Daten müssen über einen längeren Zeitraum gespeichert werden.

HPDA-Anwendungsfälle wie die Genomsequenzierung erhöhen das Datenvolumen um ein Vielfaches.

Komplexe Workload-Modelle

Homogene Rechenleistung entwickelt sich hin zu heterogener (GPU, ASIC und FPGA), was zu diversifizierten Workloads führt.

Verschiedene Serviceverarbeitungsphasen haben unterschiedliche Workload-Modelle, die ein Speichersystem erfordern, das sowohl hinsichtlich Bandbreite als auch bei IOPS eine hohe Leistung bietet.

Ineffiziente Analyse & Mobilität

Die Lese-/Schreibleistung der Daten entspricht nicht der Rechenleistung, was den Speicher zu einem Engpass in der analytischen Effizienz macht.

Der Zugriff auf Daten über verschiedene Protokolle führt zu ineffizienten Kopierprozessen und zeitaufwändiger Datenmigration.

Im Whitepaper „The Trend of Data-intensive HPC“ von Hyperion Research, wird betont, dass im Übergang von rechenintensiven zu datenintensiven Workloads (typischerweise Big Data, KI, maschinelles Lernen und Deep Learning) Forscher, Ingenieure und Datenanalysten schneller Ergebnisse sehen wollen. Hierfür ist der Speicher entscheidend, steht jedoch vor Herausforderungen und muss neu definiert werden.

Was sind

datenintensive HPDA-Lösungen?

HPDA umfasst datenintensive Workloads, die HPC-Ressourcen nutzen, wie Big Data und KI-Workloads. Dabei gibt es enorme Herausforderungen: Große Datenmengen, latenzempfindliche Verarbeitung und komplexe Algorithmen. Datenintensive HPDA-Lösungen bieten eine Dateninfrastruktur für Supercomputing-Zentren, Forschungseinrichtungen und Unternehmen und können die Herausforderungen bei der Entwicklung datenintensiver Anwendungen bewältigen, sowie Wert aus diesen Daten zu generieren.

Effiziente Services

Eine Datenanalyse mit extrem niedriger Latenz liefert schnellere Erkenntnisse und verkürzt die F&E-Phase. Daten werden von Entwicklungs-, Test- und Produktionsteams gemeinsam genutzt.

Vereinfachtes Management

Ein einziges Speichersystem unterstützt die Datenmobilität protokollübergreifend und bietet einheitliche Betriebs- und Wartungsvorgänge mit hoher Service-Flexibilität.

Optimierte Kosten

Intelligente Tiering-Technologie speichert aktuelle und weniger aktuelle/wichtige Daten (hot & cold data) auf unterschiedlichen Speichermedien, um den Datenwert zu maximieren und den Platzbedarf sowie den Energieverbrauch zu reduzieren.

Vorteile von

datenintensiven HPDA-Lösungen

Daten sind heute eine strategische Geschäftsressource, und datenintensive HPDA-Lösungen wurden genau dafür entwickelt. Mit Fokus auf High-End-Storage bieten sie eine effiziente und kosteneffektive Plattform für datenintensive HPC-Anwendungen wie Meteorologie und Ozeanographie, Supercomputing-Zentren, Genomsequenzierung und Energieexploration.

Präzisere Meteorologie & Ozeanographie

Die Wettervorhersage wird immer genauer, dabei steigt die Aktualisierungsrate der Daten von einmal alle 2 Stunden auf einmal alle paar Minuten, was die Anforderungen an die parallele Rechenleistung erhöht. Unsere Lösung bietet:

Stabile kritische Echtzeit-Services mit High-End-Storage

Echtzeit-Analyse und -Verarbeitung von hochpräzisen Daten durch ein Hybrid-Workload-Design

Effizienteres Supercomputing-Zentrum

Der Übergang vom herkömmlichen zum intelligenten Computing steigert die Leistung von Petascale auf Exascale und führt zu größeren Datenmengen. Um sich an die komplexen Multi-Tenant-Workload-Modelle von Supercomputing-Zentren anzupassen, muss der Speicher protokollübergreifenden Zugriff, Ressourcenisolierung und Quality of Service (QoS) unterstützen. Unsere Lösung bietet:

Höhere Verarbeitungseffizienz mit dedizierten HPC-Parallel-Dateisystemen.

Multi-Protokoll-Unterstützung, die den Zugriffsbedarf verschiedener Anwendungssysteme erfüllt und Datenmobilität über HPC-, Big-Data- und KI-Plattformen ermöglicht, um die Gesamtbetriebskosten (TCO) zu senken.

Höhere Verwaltungseffizienz durch intelligentes Management über den gesamten Lebenszyklus hinweg.

Effizientere Genomsequenzierung

Eine effiziente Genomsequenzierung hilft bei der Heilung von Krankheiten und der Entwicklung neuer Medikamente. Im Zeitalter der HPDA erzeugt ein einzelner Genomsequenzer täglich bis zu 6 TB an Daten, die alle langfristig gespeichert werden müssen. Dies erfordert eine hohe Speicherleistung, Stabilität und Kosteneffizienz. Unsere Lösung bietet folgendes:

Schnellere Berichtsausgabe, die sich dank höherer Gesamtspeicherleistung und schnellerer Genomanalyse und -tests, ermöglicht durch stabile hohe Bandbreite, von 13 Jahren auf nur 1 Tag verkürzt hat.

Stärkere Genomanalyse-Fähigkeiten durch schnelle Hybridanalyse ohne Datenmigration.

Kosteneffizientere Energieexploration

Die Entwicklung der seismischen Exploration von 2D zu 3D und 4D führt zu einem 5- bis 10-fachen Datenwachstum. Bei der seismischen Datenverarbeitung erreicht die Gesamtbandbreite 2 bis 20 GB/s pro PB, und die Latenz pro I/O muss 200 bis 400 μs betragen, was eine hervorragende Speicherskalierbarkeit, Bandbreite und Latenz erfordert. Eine kosteneffizientere Energieexploration führt zu niedrigeren Gesamtbetriebskosten. Unsere Lösung stellt folgendes sicher:

Geringere physische Speicherplatznutzung bei niedrigeren TCO (Tiered Storage)

Problemloses langfristiges Datenwachstum mit einmaliger Bereitstellung und bedarfsgerechter Erweiterung.

Meteorologie & Ozeanographie

Supercomputing-Center

Genomsequenzierung

Energyieexploration

Präzisere Meteorologie & Ozeanographie

Stabile kritische Echtzeit-Services mit High-End-Storage

Echtzeit-Analyse und -Verarbeitung von hochpräzisen Daten durch ein Hybrid-Workload-Design

Effizienteres Supercomputing-Zentrum

Höhere Verarbeitungseffizienz mit dedizierten HPC-Parallel-Dateisystemen.

Höhere Verwaltungseffizienz durch intelligentes Management über den gesamten Lebenszyklus hinweg.

Effizientere Genomsequenzierung

Stärkere Genomanalyse-Fähigkeiten durch schnelle Hybridanalyse ohne Datenmigration.

Kosteneffizientere Energieexploration

Geringere physische Speicherplatznutzung bei niedrigeren TCO (Tiered Storage)

Problemloses langfristiges Datenwachstum mit einmaliger Bereitstellung und bedarfsgerechter Erweiterung.

Warum Huawei?

Huawei verfügt über 12 Forschungs- und Entwicklungszentren mit mehr als 4.000 Mitarbeitern und 3.000 Patenten im Bereich Storage.
Die daraus resultierenden Produkte und Lösungen werden von 15.000 Kunden in über 150 Ländern genutzt. Mit ultrahoher Dichte und Multi-Protokoll-Interoperabilität ist die HPDA-Lösung von Huawei für hybride Workloads konzipiert.
So können die Herausforderungen durch datenintensive Anwendungen bewältigt und das volle Potenzial dieser Daten genutzt werden.

Hybrid-Workload-orientiert

Ein einzelnes Speichergerät bietet eine branchenführende Bandbreite von 32 GB/s und 400.000 IOPS pro HE für mehr Serviceeffizienz.

Protokollübergreifende Zusammenarbeit

Die nahtlose Interoperabilität zwischen POSIX, NFS, CIFS, HDFS, S3 und MPI-IO ohne Datenkopien wurde speziell für HPDA-Szenarien entwickelt und vereinfacht das Datenmanagement.

Ultrahohe Dichte

24 Festplatten pro HE, hochdichte Hardware mit großer Kapazität und 16 Festplatten pro HE, hochdichte NVMe-All-Flash-Hardware kombiniert mit intelligenter Datenhierarchie bieten eine optimale Kosteneffizienz.

Erfolgsgeschichten