以存强算，唤醒科研数据无限潜能：华为数据存储联合PSNC打造波兰国家数据湖

中欧腹地，绿意如波。自然风光和人文景观水乳交融，艺术与科学相得益彰。一个美丽的国度——波兰——恰坐落于此。

这片沃土不仅有伟大的音乐家肖邦，也孕育了敢于挑战传统的 “日心说”提出者哥白尼以及两度荣获诺贝尔奖的居里夫人……秉承先贤的指引，一代又一代的波兰人孜孜以求，探寻着科学真理。

如今，AI时代数据量激增，波兰科研也经历着一场波澜壮阔的数字变革。面对多样化的新兴业务，各个科研机构正积极寻求破局之道，力求在“变革浪潮”中乘风破浪。而要做到这一点，就必须回答以下问题：

• 如何驾驭指数级的数据增长，保障高效流畅的数据保存和检索？

• 如何构建强大的“数据湖”解决方案以轻松应对多样化数据格式？

• 如何优化升级存储与计算系统，实时处理、分析海量科研数据，跟上火箭般的数据生成速度？

哪里有挑战，哪里就有方案，这也是波兰科研精神的内核所在。

波兰希望通过其国家数据存储（NDS）项目寻得这些问题的答案。NDS项目意在实现波兰“数据基础设施的突破性提升，以便在高性能计算（HPC）、大数据和人工智能（AI）模型场景中共享、存储和高效处理海量数据”。

这些也恰恰是波兹南超级计算与网络中心（PSNC, 波兰语缩写 PCSS）的关注重点。PSNC隶属于波兰科学院生物有机化学研究所，是波兰顶尖的超级计算中心之一，同时也是NDS项目的重要参与角色。它的愿景是：致力于“科学信息基础设施的融合发展”，努力在科学与商业交叉融合、创新影响社会发展的各个领域都有所作为。

身处数据困境漩涡

PSNC期望在高性能存储的加持下，为用户（以高校和科研机构为主）打造一个可提供高水平HPC和数据湖服务的超级计算中心。高性能数据分析（HPDA）和AI使应用出现爆发式增长，海量科研数据亟待处理，尤其是非结构化数据。基因测序、卫星遥感、超级计算、大数据和云计算等诸多领域需要实时、高效的数据处理和数据分析。

PSNC对这些要求并不陌生。然而，一方面，其现网IT存储系统设备满负荷运行，能耗居高不下；另一方面，它的IT设备来自多个厂商，“七国八制”，整体的运维管理难度较大、成本较高。

与此同时，为了推动NDS的项目进展，PSNC一直在寻求构建更加高可靠的HPC平台。在这个过程中，PSNC意识到光是考虑计算能力还远远不够，平台需要对EB级数据进行分析的能力。然而这绝非易事，因为这意味着PSNC需要全面升级其现有的数据存储基础架构。

直挂云帆，为HPC护航

一直以来，华为数据存储始终坚守初心，专注于为各行各业构筑可靠的数据基础设施，面对PSNC对高性能存储和计算的严苛要求，华为数据存储凭借其卓越性能和稳定可靠，成为了PSNC的首选伙伴。以波兰NDS项目方案中的分布式（Scale-Out）存储架构为例。为匹配PSNC对超高密设计、混合业务负载以及多协议互通的需求，华为数据存储采用了其OceanStor Pacific分布式存储系列，完美满足客户的高带宽、高IOPS业务需求。作为一家以高校和科研机构为主要服务对象的组织，PSNC还要提供高效、可靠的服务，而华为的分布式存储犹如一把利刃，直击客户所需。

如果说存储设备是一个存储系统的基石，那么分布式并行客户端（DPC）则是存储系统的加速利器，助力释放HPC性能。华为专门打造了面向HPC场景的DPC，提供单客户端和单数据流高性能，满足PSNC的业务需要。

然而，构建这样一个可靠的基础设施底座并非易事，除了分布式架构，它还需要Lustre架构，于是华为的高性能存储系统OceanStor Dorado全闪存和OceanStor混合闪存进入了PSNC的视野。这两个系列的存储高度适配Lustre架构，超高的IOPS（即每秒进行读写操作的次数）远超PSNC现网设备性能。

在PSNC HPC系统中，除了计算和存储能力外，网络设计也至关重要。如何选择高性能、低时延的无损网络，是PSNC决策的一个关键因素。为帮助客户构建HPC平台，华为提供了全以太HPC数据中心网络方案，部署CE系列交换机，为HPC场景提供高性能、高可靠的网络连接。并且提供独家0丢包端到端RoCE以太网，算力相比传统以太网实现翻倍。同时该方案也为PSNC提供了云化演进的方向，利用开放的以太网可以更好地支撑算力云化，提升算力调度效率。考虑到PSNC对建设的需求，华为技术专家迅速行动，力求在波兹南快速实现方案的完美交付。

基于华为数据存储和网络方案，PSNC在NDS项目中打造了高可靠、高性能的HPC平台，充分释放高价值数据的潜力。系统开始运行后，PSNC的数据分析和管理流程更加简化，节省了大量时间、金钱和资源成本。PSNC HPC与数据部经理Norbert Meyer对此给予了高度评价：“华为解决方案在我们的HPC解决方案中起到了关键性支柱作用。在测试过程中，以存储为代表的IT系统展现出了绝佳的稳定性和可靠性。”

长风破浪正当时

PSNC携手华为十年，从数据基础设施规划伊始到以存强算，唤醒科研创新的无穷潜力，彼此以科学技术突破创新为灯塔，一路前行。PSNC打造的超级计算中心提供了坚实的HPC底座和高水平数据湖服务，为科研远航注入强大的技术保障。在这场探索之旅中，华为始终扮演着重要角色，助力PSNC探知前行道路上的“深水区”，共同开辟波兰科研的新航线。

面向未来数字海洋，华为和PSNC将继续携手铸造面向AI的数据基础设施巨轮，助力欧洲低碳未来发展，引领波兰科研驶向更加广阔的天地。