Suche
  • RDM Data Lake-Lösung für Bildung und wissenschaftliche Forschung

    RDM Data Lake-Lösung für Bildung und wissenschaftliche Forschung

    Effizientes und FAIRes Management großer Mengen an Forschungsdaten

  • Übersicht
  • Lösungsarchitektur
  • Vorteile
  • Produkte
  • Erfolgsgeschichten

FAIR-Prinzipien und Ziele des Forschungsdaten-Managements (RDM)

Die FAIR-Prinzipien sind international anerkannte Richtlinien, die ein effektives RDM untermauern. Die Sicherstellung, dass Daten FAIR (Findable, Accessible, Interoperable, and Reusable) sind, trägt dazu bei, die Integrität, Nutzbarkeit und Sicherheit der wissenschaftlichen Datenspeicherung zu gewährleisten.

RDM ist ein wichtiges Thema der modernen Wissenschaft, das über die konventionelle Datenerfassung und -speicherung hinausgeht. Es deckt alle notwendigen Prozesse im Zusammenhang mit Datenflüssen ab, um sicherzustellen, dass Daten sicher erfasst, gespeichert und analysiert werden können, während sie über lange Zeiträume hinweg nutzbar bleiben.

FAIR Principles and Goals of Research Data Management (RDM)


Herausforderungen

  • Unzureichender Speicher

    • Das Datenvolumen steigt explosionsartig von PBs zu EBs.
    • Große Mengen großer Dateien auf offenen Plattformen müssen mindestens 10 Jahre lang sicher aufbewahrt werden..
    • Für die Notfallwiederherstellung werden mehrere Kopien verwendet, was zu einer Speicherplatzauslastung von weniger als 30 % führt.
  • Datensilos

    • Die gemeinsame Datennutzung von Universitäten und Instituten bleibt schwierig und bremst die interdisziplinäre, institutionelle und grenzüberschreitende Zusammenarbeit aus, die für die Förderung der offenen Wissenschaft unerlässlich ist.
    • Verschiedene HPC-Szenarien und heterogene Forschungs-Workflows und -daten erfordern eine komplexe Datenverarbeitung und verschiedene Protokolle.
  • Komplexe Verwaltung

    • Unterschiedliche Speichergeräte, die an Universitäten und Instituten verwendet werden, führen zu verschiedenen Zugriffsmodi und einer erhöhten Verwaltungskomplexität.
    • Das Fehlen eines einheitlichen Metadaten-Managements behindert den effizienten Datenabruf in der Fachforschung, bei interdisziplinären Projekten, bei der Datenbereinigung und in der kooperativen Forschung.
    • Das Fehlen sicherer Mechanismen für die gemeinsame Nutzung von Daten macht es schwierig, den Datenschutz, die Sicherheit und die Einhaltung gesetzlicher Vorschriften für hochwertige Daten zu gewährleisten.
Architektur

Architektur

Die RDM Data Lake-Lösung für Bildung und wissenschaftliche Forschung ist für Bildungsinstitute und wissenschaftliche Forschungsszenarien konzipiert. Die Lösung basiert auf der DME-Datenmanagementplattform und OceanStor-Pacific-All-Flash-Scale-Out-Storage. Die Lösung nutzt die branchenweit einzigartigen synchronen Multi-Active-Technologien für drei Standorte und asynchrone Multi-Active-Technologien für zwölf Standorte, die auf dem Object-S3-Protokoll basieren, um sowohl eine flexible gemeinsame Nutzung von Forschungsdaten als auch eine zuverlässige Notfallwiederherstellung und effiziente On-Demand-Nutzung zu erreichen. Daten können zwischen der HPC-Plattform und dem RDM-Data Lake flexibel ausgetauscht werden. Die Lösung ermöglicht zudem den Abruf von Dutzenden Milliarden von Dateien in nur wenigen Sekunden mithilfe von DME (Omni-Dataverse) für eine einheitliche Planung von Daten in Rechenzentren und Clustern.

Architektur
Huawei

Vorteile

Hochdicht & umweltfreundlich

Hochdicht & umweltfreundlich

• Der Performance-Pool beherbergt 36 × 61,44 TB SSDs im 2-HE-Bereich und der Kapazitätspool bietet 120 Festplatten im 5-HE-Bereich.
• Unvergleichliche Kapazitätsauslastung: High-Ratio-EC in einem einzelnen Cluster erreicht eine Auslastung von 91,6 %. HyperGeoEC über Cluster hinweg stellt sicher, dass nur EC-Fragmente gespeichert werden.

Überregionales Teilen von Daten

Überregionales Teilen von Daten

• Über Universitäten und Institutionen hinweg: EC kann an bis zu 12 Standorten eingesetzt werden, wobei die Daten von jedem Standort aus zugänglich sind.
•Synchronisierung zwischen den RDM- und HPC-Plattformen: SmartSync ermöglicht die Datensynchronisierung und Mobilität zwischen Service-Pools.
• Service-übergreifende Datenfreigabe: Eine nahtlose Multi-Protokoll-Interaktion ermöglicht mehreren Services, auf eine einzige Datenkopie zuzugreifen - keine Ressourcenverschwendung durch mehrere Kopien mehr!

Einheitliche Verwaltung

Einheitliche Verwaltung

• Solide Datensicherheit: WORM- und Datenverschlüsselungs-Maßnahmen schützen Daten vor unbefugten Änderungen oder bösartigem Zugriff.
• Benutzerfreundlich: Eine umfangreiche API-Bibliothek unterstützt die Integration verschiedener Anwendungen, und die Selbstverwaltungsschnittstellen für Mandanten erleichtern die bedarfsgerechte Verwaltung für verschiedene Unternehmen.

Erfolgsgeschichten

TOP