阿联酋安卡布:分布式存储是高性能科教领域发展的基础
本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>
教育是衡量一个国家综合国力和未来发展潜力的重要指标之一,近年来,阿联酋不断在教育领域取得突破,尤其是在教育科研方面,进一步推动阿联酋成为全球教育科研方面的领导者,向世界展现出不凡的实力。
安卡布(Ankabut)是阿联酋教育领域规模最大的ICT服务提供商,位于哈利法大学(Khalifa University)校园中,在承担起大学核心研究机构的重任同时,也为其他大学、学院、研究所和职业学校等各种教育机构提供广泛的ICT服务,包含HPC、云、网络和数据中心等,至今已服务超过35家教育机构和80所高等院校。
近年来,HPC(高性能计算)与HDPA(高性能数据分析)场景运用数量激增,发展迅猛,算力PFLOPS(指每秒钟可以执行一千万亿次浮点运算的能力)以平均每年几千万亿次的需求不断增长,连带着对应的基础设施需求也在不断增加。
各类科教机构利用大规模计算集群和超级计算机等高性能设备进行科学计算或处理相应数据,如气象预测与建模、生命科学研究以及流体力学等。哈利法大学也借助HPC等高性能应用技术帮助学者与科研人员更好地理解和应用各专业领域的知识。
要支撑起如此庞大的计算量,高速的网络以及大规模并行处理器集群等IT基础设施必不可少,而强大的存储是满足科教业务需求的关键。
安卡布逐渐发现意识到,自身服务能力难以满足快速变化的科教业务需求,主要体现在:
● 系统效率瓶颈安卡布目前使用的是基于SAN网络的Lustre并行文件系统,此组合可以提供高性能的数据存储与访问,但是SAN网络的性能瓶颈成为了影响Lustre的关键因素:每当安卡布的带宽和I/O吞吐量低于预期时,会连带Lustre一起降低整体系统的效率,无法发挥文件系统的优势。
● 管理运维复杂从整体管理的角度来看,Lustre与SAN的组合需要分别进行维护。不仅如此,安卡布整个网存系统同时拥有众多三方产品,这给整个系统造成了极大地运维困难。
为了全面解决这些问题,安卡布需要制定一项综合战略,以实现全面升级现网系统、优化性能和实现高效的集群运维的目标。
安卡布目前使用的文件系统仅限于管理与访问结构化数据,随着业务的演进,机构接到的服务需求越来越多,例如集群管理、作业调度、数学库、MPI通信、编译器等,所接触到的数据类型也多种多样,这导致了在系统梳理非结构化数据时,系统效率过低。因此安卡布不仅需要文件存储,也同时需要对象存储来支撑其业务。
安卡布将目光锁定在了华为的分布式存储。OceanStor Pacific面向海量数据,支持多种存储介质、协议与接口,包括NFS、CIFS、HDFS、S3、POSIX与MPI-IO等,减少了安卡布同时负载多种服务的压力。在设备的选择上,9950与9550两款产品总共1.5PB的超大容量,在性能与扩展性上保证了整个组织的运行。
存储为整个系统打下了坚实的底座,高效的传输通道也必不可少。华为为安卡布提供的CE8850路由器拥有RoCE(RDMA over Converged Ethernet)网络技术,允许其数据在以太网上无损传输,同时保持低时延和高吞吐量。整体来看,一个基于华为存储与网络产品的归一化的高性能场景运维就此诞生。
新的解决方案中,高速并行的文件系统DPC(Distributed Parity Cache)与NFS(Network File System) Home Dir系统共同实现了数据的存储、共享与迁移,使得HPC应用能够更加高效地进行数据读写和处理,配合RoCE网络,在多节点并发场景下,带宽及IOPS较原有解决方案性能提升一倍,完成了数据中心的以太化、SDN化,整体提高了安卡布网络的可编程性和灵活性,使其可以适应不同科教场景的业务需求。
华为分布式存储的多种协议支持不同种类数据间的格式转换,实现在不同节点上的通信,保证了数据0丢失,从而确保数据的正常传输与接收。整体来看,安卡布构建了统一的资源池,搭建了统一的融合数据平台,无论是视频会议、直播系统还是数据模型搭建,安卡布都可以对不同类型数据进行联通与管理,提高整个服务的流程性和对数据管理的便捷性。
在安卡布提供无感服务的背后,数据的流动并非简单线性。华为OceanStor Pacific可以对流量进行分类和管理,实现自动分级,即可以根据流量的来源、目的地、协议、端口、应用等多个维度进行分析和分类,将流量分为不同的等级。这样,安卡布可以为不同客户业务提供不同流量等级,在保证了服务水平协议SLA(Service Level Agreement)的前提下,减轻了管理员的工作负担,安卡布公司整体的TCO减少至少1倍,同时也可以更加精细地控制和管理网络,提高网络安全的可靠性。除了优秀的产品,华为在服务方面也做到了设备的两周到货,第一时间保障了安卡布的基础设施升级。
教育行业是一个国家发展的基石,高性能科教的的发展对国家的科学研究、经济发展和社会凝聚力、稳定性起着至关重要的作用。
作为教育行业ICT服务的领头羊,安卡布与华为携手,提高了阿联酋教育行业在高性能场景计算与分析的能力,助力阿联酋实现成为教育科研方面领导者的愿景。