本站点使用Cookies,继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

搜索
  • 教育科研RDM数据湖解决方案

    教育科研RDM数据湖解决方案

    满足科研数据FAIR原则,高效管理海量科研数据

  • 概述
  • 方案架构
  • 方案价值
  • 相关产品
  • 成功案例
  • 相关资源

科研数据管理FAIR原则与目标

FAIR原则是目前国际上公认的科学数据管理指导原则,FAIR原则包括四个主要原则:可发现(Findable)、可访问(Accessible)、可互操作(Interoperable)和可重用(Reusable)。通过FAIR原则可以保障科研数据存储的完整性(Integrity)、易用性(Usability)与安全性(Safety)。

RDM研究数据管理是现代科学的核心主题,远远超出了传统数据收集和存储的范畴。RDM涵盖了数据流相关的所有必要过程,以确保数据能够安全的收集、存储和分析,并在相当长的时间周期内保持其可用性。

科研数据管理FAIR原则与目标


科研数据管理业务挑战

  • 存不下

    • 数据爆发增长,数据量PB到EB级
    • 开放使用平台,海量大文件10年长期安全留存
    • 空间利用率低:容灾多副本,利用率<30%
  • 共享难

    • 多校间数据共享难,要求实现跨学科和跨国界合作,推动开放科学和数据共享
    • HPC场景应用多,研究过程和数据具有异构性,处理数据极为复杂,协议多样化
  • 管理难

    • 不同学校、机构建设的存储设备不统一,导致访问方式多种多样,管理复杂
    • 缺少统一元数据管理,数据查找效率低,课题研究、跨学科项目、数据清理、合作研究等都需高效检索
    • 缺少高价值数据安全共享机制,需注重数据隐私与安全,确保数据的合规性和安全性
方案架构

方案架构

面向教育科研场景,华为推出基于DME存储数据管理平台和OceanStor Pacific 全闪分布式存储构建的教育科研RDM数据湖解决方案,实现科研数据高效管理。 通过基于对象S3协议的独家3站点同步多活与12站点异步多活技术,实现科研数据的可靠容灾与自由共享,并支持数据在HPC平台和RDM数据湖间按需流动。DME(Omni-Dataverse)提供跨数据中心、跨集群数据的统一调度能力,实现百亿文件秒级检索。

方案架构
Huawei

案价

高密绿色

高密绿色

• 高容量密度:性能池61.44TB全闪大盘,2U 36盘;容量池5U 120盘
• 极致容量利用率:单集群内大比例EC,91.6%利用率;多集群间HyperGeoEC仅存放EC切片

跨域共享

跨域共享

• 多高校/机构间:最大跨12站点EC,任意站点可访问数据
• RDM与HPC平台间:SmartSync实现跨业务池数据同步与流动
• 多业务间数据共享:数据单副本多协议无损互通,减少数据多副本浪费

统一管理

统一管理

• 数据高安全:WORM和数据加密保障数据不可随意修改和恶意访问
• 使用更便捷:丰富的API支持多样化应用集成;租户自主管理界面满足不同组织按需管理

成功案例

TOP