Flexibler Scale-out Storage der Exabyte-Klasse – Huawei OceanStor Pacific

Peter Kruth

Executive Solution Principal
Huawei Deutschland

Pit’s IT Architecture Talk

Hinweis: Die in diesem Artikel zum Ausdruck gebrachten Ansichten und Meinungen sind die des Autors und spiegeln nicht notwendigerweise die offizielle Politik, Position, Produkte und Technologien der Huawei Deutschland GmbH wider. Wenn Sie mehr über die Produkte und Technologien der Huawei Technologies Deutschland GmbH erfahren möchten, besuchen Sie bitte unsere Produktseiten oder kontaktieren Sie uns.

Die Huawei OceanStor Pacific kann, Stand heute, fast 7 Exabyte Speicher zur Verfügung stellen. Das ist eine beeindruckende Zahl aber längst nicht alles, was die dritte Generation von Huawei Scale-out Storage auszeichnet. Im Vordergrund der Entwicklung stand nämlich die Flexibilität und Effizienz.

1 Was ist Scale-out Storage?

In der Fachpresse wird Scale-out Storage zumeist als einfach erweiterbarer NAS-Speicher beschrieben. Wenn die Kapazität in den vorhandenen Storage-Systemen nicht mehr ausreicht können einfach neue Nodes hinzugefügt werden. Von der Client-Seite betrachtet, erweitert sich nur das entsprechende Filesystem byw. der Storage-Pool. Bei der OceanStor Pacific trifft diese Beschreibung allerdings nicht ganz zu, da hiermit nicht nur die typischen NAS-Protokolle, wie NFS, SMB, S3 und HDFS angeboten werden, sondern auch POSIX, SCSI und iSCSI implementiert sind. Zumindest die beiden letzten sind eindeutig Block-orientiert. Von dieser umfangreichen Liste lassen sich die Einsatzzwecke ableiten.

2 Wofür benötigt man die Huawei OceanStor Pacific?

Zuerst ist hier der Einsatz im typischen Enterprise-Umfeld zu nennen. Dabei können die unterschiedlichen Daten, welche heute über viele Systeme verteilt sind, konsolidiert werden. Durch die Multiprotokoll-Interoperabilität lassen sich wirksam Datenkopien verhindern. Eine Datei, die z.B. über die Object-Schnittstelle S3 geschrieben wird, lässt sich damit über NFS, SMB oder HDFS direkt, ohne zusätzliches Kopieren, weiternutzen. Das vereinfacht die Auswertung des Datenschatzes mit BigData und künstlicher Intelligenz (KI) im Unternehmen enorm und reduziert die Time-to-Market (TTM) für neue Anwendungen spürbar. Mit der Mandanten-Trennung können sogar komplexe Zugriffsszenarien abgebildet werden. Die typische Zugriffszeit von einer Millisekunde ermöglicht sogar die Anbindung als Virtualisierungsspeicher. Das ist übrigens ein weiteres Highlight der Pacific-Serie, denn das System ist nicht nur für große Dateien optimiert, wie das bei Scale-out Speicher typisch ist, sondern kann auch Workloads im Small-Random-Bereich optimal bearbeiten.

Und wenn wir schon bei Geschwindigkeit sind, bietet sich das nächste Einsatzszenario an – High Performance Computing (HPC). HPC ist heute nicht nur ein Gebiet von Universitäten und anderen wissenschaftlichen Einrichtungen, sondern wird in der Industrie intensiv genutzt. Denken wir nur an die Rohstoffsuche, den Automobilbau, die Luft- und Raumfahrt und die Arzneimittelentwicklung, um nur einige zu nennen. Hier sind neben top IO-Werten (IOPS) vor allem eine große Bandbreite und Metadaten-Leistung gefragt. Von Seiten der Hardware unterstützen wir dies mit RDMA-fähigem 100Gb Ethernet und InfiniBand. Der POSIX-driver, namens Dynamic Parallel Client (DPC), ermöglicht es auch einzelnen Compute-Nodes die Leistung des gesamten Storage-Clusters anzufordern.

Verschiedene Hard- und Software-Funktionen unterstützen den Einsatz der OceanStor Pacific als Backup- und Archiv-Speicher. Die Daten lassen sich Policy-basiert zwischen dem hochperformanten SSD-Layer und dem besonders ökonomischen HDD-Layer verschieben. Dies wird sogar über zwei neue Node-Typen abgebildet.

Der High-Density- und High-Performance-Node OceanStor Pacific 9950 beinhaltet 8 Storage-Nodes und 80 NVMe SSDs auf 5 Höheneinheiten (U) und erreicht damit Industrieführend eine Bandbreite von 32GB/U und eine Geschwindigkeit von 400K IOPS/U. Wohlgemerkt je Höheneinheit!

Der High-Density- und Large-Capacity Node OceanStor Pacific 9550 enthält 2 Speichercontroller und 120 HDDs. Das sind wiederum Industrieführend 24 Disks je Höheneinheit und derzeit fast 1,7 PB Raw Capacity für diesen Node. Damit auch viel von der Hardware genutzt werden kann, erreichen wir mit unserem Erasure Code (EC) – Algorithmus eine Disk-Utilization von 91.6%. Nur als Vergleich, bei Hadoop EC sind es 67% und bei Ceph gerade einmal 33%.

Neben der Hardware unterstützt das Betriebssystem wichtige Funktionen für Backup und Archiv. Das sind das bereits genannte S3-Protokoll aber auch weitere Storage-Management-Funktionen wie Snapshots, Replication, Verschlüsselung, Archivspeicher etc.

Scale-out Storage ist aber nicht nur für das Enterprise und HPC interessant sondern auch für den Mittelstand. Denn dieser Storage kann sinnvoll von 6 Nodes auf bis zu 4096 Nodes skalieren. Das ganze erfolgt unterbrechungsfrei und gilt bedarfsgerecht für beide Richtungen, also das Hinzufügen und das Entfernen. Damit steht dem Einsatzzweck Cloud-Speicher auch nichts im Weg. Nicht nur für diese beiden Einsatzgebiete sind das Huawei-typische einfache Management und die fairen Kosten interessant.

3 Highlights

• • Skalierung
  • o 6 – 4096 Storage-Nodes
  • o Gigabyte – Exabyte
• • Leistung
  • o 400K IOPS pro Höheneinheit
  • o 32GB Bandbreite pro Höheneinheit
  • o Bis zu 1,7 PB in 5 Höheneinheit
  • o 91.6% Disk-Utilization
• • Protokollsupport
  • o NFS, SMB, S3, HDFS
  • o POSIX
  • o SCSI und iSCSI
• • Einsatzgebiete
  • o Enterprise
  • o Mittelstand
  • o High Performance Computing
  • o Cloud-Speicher
  • o Backup- und Archiv-Speicher
• • Kosten
  • o Einfaches HTML5-basiertes Management
  • o Geringer Platzbedarf
  • o Energieoptimiert
  • o Geringe Investitionskosten

Bis bald!

Pit