OceanStor A600

OceanStor A600

Huawei OceanStor A600 ist die neue Speicherlösung für verteilte Dateien für künstliche Intelligenz (KI), die den gesamten Prozess des Modelltrainings und der Inferenz durch extreme Leistung beschleunigt. Jedes Controller-Gehäuse bietet eine Bandbreite von bis zu 160 GB/s und 3,6 Millionen Eingabe-/Ausgabevorgänge pro Sekunde (IOPS). Mit der innovativen Architektur zur Trennung von Daten- und Steuerungsebene unterstützt ein einzelner Cluster die flexible Erweiterung auf 32 Controller und erfüllt so die Anforderungen an eine reibungslose Entwicklung multimodaler Modelle mit Billionen von Parametern.

OceanStor A600 unterstützt außerdem neue Datenparadigmen wie Vektoren, Tensoren und Key-Value-Cache (KV) sowie die Beschleunigung der Inferenz großer KI-Modelle. Mit der mehrstufigen KV-Cache-Architektur wird die Zeit bis zum ersten Token (TTFT) um 78 % reduziert und der Inferenzdurchsatz um 60 % verbessert. Dies ermöglicht die Inferenz langer Sequenzen – bei denen die Länge der Eingabesequenz das Kontextfenster überschreitet – und optimiert gleichzeitig die Kosteneffizienz der Inferenz.