High-Performance-Datenanalyse von Huawei

High-Performance-Dateanalysen endlich richtig nutzen

Laut der International Data Corporation (IDC) nutzen 67 % der HPC-Rechenzentren (HPC: High-Performance Computing) KI- und Big-Data-Technologien. Die beschleunigte Konvergenz von HPC, KI und Big Data hat zur Entstehung von datenintensiven HPDA (High-Performance Data Analytics) geführt.

Die Explosion von ...

Komplexe Workload-Modelle

Ineffiziente Analyse und Mobilität

...datenintensiven Anwendungen wie autonomes Fahren, Genom-Sequenzierung und Wettervorhersagen führt zu höheren Anforderungen für Echtzeit-Datenanalysen.

Und Workload-Modelle werden, da sich die Rechenleistung von heterogenen Einzel- zu Multi-Cloud-Systemen verlagert, komplizierter, was eine Lösung erfordert, die effizienter und kostengünstiger eine Wertschöpfung aus Massendaten ermöglicht.

"The Trend of Data-intensive HPC", ein Whitepaper von Hyperion Research, stellt heraus, dass Forscher, Ingenieure und Datenanalysten beim Übergang von rechen- zu datenintensiven Workloads (HPDA, KI, Machine Learning und Deep Learning) die Zeit, bis Ergebnisse vorliegen, verkürzen wollen. Dafür ist die Speicherung entscheidend - doch sie muss aufgrund dieser Herausforderungen neu definiert werden.

Whitepaper herunterladen

Die Explosion von

datenintensiven Anwendungen wie autonomes Fahren, Genom-Sequenzierung und Wettervorhersagen führt zu höheren Anforderungen für Echtzeit-Datenanalysen.

Komplexe Workload-Modelle

Die Einzel-Rechenleistung entwickelt sich hin zu einer heterogenen Rechenleistung (GPU, ASIC und FPGA), was die Herausforderung durch verschiedene Workloads verstärkt.

Verschiedene Service-Verarbeitungsphasen haben verschiedene Workload-Modelle, die sowohl eine hohe Bandbreite als auch eine hohe Anzahl an IOPS erfordern.

Ineffiziente Analyse und Mobilität

Die Read-Write-Performance passt nicht zur Rechenleistung, und so wird die Speicherung zu einem Engpass bei der Effizienz der Analyse.

Diversifizierte Datenzugriffs-Protokolle führen protokollübergreifend zu einer ineffizienten Datenmobilität und zeitaufwändiger Migration.

Mehr erfahren

Was sind

Datenintensive HPDA-Lösungen?

HPDA involviert datenintensive Workloads, die HPC-Ressourcen nutzen, wie Big Data und KI-Workloads. Das führt zu neuen Herausforderungen wie großen Datenvolumina, latenzanfälliger Verarbeitung und komplexen Algorithmen.Datenintensive HPDA-Lösungen bieten eine Dateninfrastruktur für Supercomputing-Center, Forschungsinstitute und Unternehmen, so dass diese die Herausforderungen durch datenintensive Anwendungen bewältigen und den Wert ihrer Daten endlich richtig nutzen können.

Effiziente Services

Eine Datenanalyse mit einer extrem geringen Latenz ermöglicht schnelle Einsichten und verkürzt die Forschungs- und Entwicklungszeiten. Daten können nahtlos geteilt werden, für eine bessere Entwicklung, effizientere Tests und eine optimierte Produktion.

Vereinfachtes Management

Ein einziges Storage-System unterstützt eine protokollübergreifende Datenmobilität und ermöglicht einheitliche Betriebs- und Wartungsprozesse mit hoher Service-Flexibilität für verschiedene Rechenleistungen.

Optimierte Kosten

Durch intelligentes Tiering werden aktuelle und ältere Daten auf verschiedene Medien gespeichert, um den Datenwert zu maximieren und den Energieverbrauch im gesamten Lebenszyklus zu reduzieren.

Vorteile von

Datenintensiven HPDA-Lösungen

Daten sind jetzt eine strategische Ressource, und datenintensive HPDA-Lösungen wurden entwickelt, um Unternehmen in dieser Hinsicht zu unterstützen. Diese High-End-Speicherung bietet eine effiziente, kostengünstige Plattform für datenintensive HPC-Szenarien wie Meteorologie und Ozeanografie, Supercomputing-Center, Genom-Sequenzierung und Energiegewinnung.

Meteorologie und Ozeanografie | Genauer

Wettervorhersagen werden immer genauer. Aber die Datenaktualisierungsrate erhöht sich dabei von alle zwei Stunden auf einmal in wenigen Minuten, so dass die Anforderungen an die Rechenleistung des entsprechenden Rechenzentrums deutlich steigen. Unsere Lösung bietet folgendes:

Stabiler Betrieb von kritischen Echtzeit-Services mit High-End-Storage

Hochpräzise Datenanalyse in Echtzeit und Verarbeitung durch ein Hybrid Workload-Design

Supercomputing-Center | Intelligenter

Der Trend zu intelligentem Computing erhöht die Performance von Petascale auf Exascale, was zu größeren Datenvolumina führt. Um sich an die komplexen Multi-Tenant-Workload-Modelle anzupassen, muss die Speicherung einen protokollübergreifenden Zugriff, Ressourcen-Isolierung und QoS (Quality of Service) unterstützen. Unsere Lösung bietet folgendes:

Höhere Verarbeitungseffizienz mit dedizierten parallelen HPC-Dateisystemen

Multi-Protocol-Unterstützung, die die Zugriffsanforderungen von verschiedenen Anwendungssystemen erfüllt und Datenmobilität für HPC, Big Data und KI-Plattformen ermöglicht - was wiederum zu geringeren Betriebskosten führt

Höhere Management-Effizienz durch intelligentes Management während des gesamten Lebenszyklus

Genom-Sequenzierung | Effizienter

Eine effiziente Genom-Sequenzierung hilft, Krankheiten zu heilen und neue Medikamente zu entwickeln. Im HPDA-Zeitalter generiert ein einziger Genom-Sequenzierer bis zu 6 TB pro Tag, und alle Daten müssen langfristig gespeichert werden. Das erfordert eine hohe Storage-Performance, Stabilität und Kosteneffizienz. Mit unserer Lösung wird folgendes erreicht:

Schnellere Berichtsausgabe, von 13 Jahren auf nur 1 Tag, dank höherer Storage-Performance und schnellerer Genom-Analyse, ermöglicht durch eine stabile, hohe Bandbreite

Bessere Genom-Analyse-Fähigkeiten durch eine schnelle Hybrid-Analyse ohne Datenmigration

Energie-Exploration | Kosteneffizienter

Die Entwicklung der seismischen Exploration von 2D auf 3D und 4D führt zu einem 5- bis 10-fachen Datenwachstum. Bei der seismischen Datenverarbeitung erreicht die Bandbreite 2 bis 20 GB/s pro PB und die Latenz pro I/O muss zwischen 200 und 400 μs liegen, was eine exzellente Speicherskalierbarkeit, Bandbreite und Latenz erforderlich macht. Eine kosteneffizientere Energie-Exploration führt zu niedrigeren Betriebskosten. Daher stellt unsere Lösung folgendes sicher:

Eine bessere Raumnutzung mit geringeren Betriebskosten mit Tiered Storage

Langfristiges Datenwachstum kann unkompliziert mit einmaliger Bereitstellung und Erweiterung nach Bedarf sichergestellt werden

Meteorologie und Ozeanografie

Supercomputing-Center

Genom-Sequenzierung

Energie-Exploration

Meteorologie und Ozeanografie | Genauer

Stabiler Betrieb von kritischen Echtzeit-Services mit High-End-Storage

Hochpräzise Datenanalyse in Echtzeit und Verarbeitung durch ein Hybrid Workload-Design

Supercomputing-Center | Intelligenter

Höhere Verarbeitungseffizienz mit dedizierten parallelen HPC-Dateisystemen

Höhere Management-Effizienz durch intelligentes Management während des gesamten Lebenszyklus

Genom-Sequenzierung | Effizienter

Schnellere Berichtsausgabe, von 13 Jahren auf nur 1 Tag, dank höherer Storage-Performance und schnellerer Genom-Analyse, ermöglicht durch eine stabile, hohe Bandbreite

Bessere Genom-Analyse-Fähigkeiten durch eine schnelle Hybrid-Analyse ohne Datenmigration

Energie-Exploration | Kosteneffizienter

Eine bessere Raumnutzung mit geringeren Betriebskosten mit Tiered Storage

Langfristiges Datenwachstum kann unkompliziert mit einmaliger Bereitstellung und Erweiterung nach Bedarf sichergestellt werden

Warum Huawei?

Huawei hat 12 Forschungs- und Entwicklungszentren mit mehr als 4.000 Mitarbeitern und 3.000 Patenten, alle für Storage, für mehr als 15.000 Kunden in über 150 Ländern.Die HPDA-Lösung von Huawei mit der ultrahohen Dichte und den Funktionen für eine protokollübergreifende Zusammenarbeit ermöglicht Ihnen, den echten Wert Ihrer Daten zu nutzen und die Herausforderungen durch datenintensive Anwendungen zu bewältigen.

Hybrid Workloads

Jede Rack-Einheit in einem Storage-System unterstützt eine hohe Bandbreite von 32 GB/s sowie 400.000 Input/Output Operations Per Second (IOPS) - eine branchenführende Leistungsdichte.

Mehr erfahren

Protokollübergreifende Zusammenarbeit

Nahtlose protokollübergreifende Zusammenarbeit zwischen Portable Operating System Interface (POSIX), Network File System (NFS), Common Internet File System (CIFS), Hadoop Distributed File System (HDFS), S3 und MPI-IO ohne Datenkopien, um eine reibungslose HPDA-Entwicklung zu ermöglichen.

Mehr erfahren

Hochdichtes Design

Hardware mit hoher Dichte mit 24 Festplatten/HE, hochdichter Non-Volatile Memory Express (NVMe)-All-Flash-Hardware mit 16 Solid State Drives (SSDs)/HE und intelligentem Tiering von aktuellen und älteren Daten.

Mehr erfahren