华为OceanStor海量存储助力中科院上海天文台建成SKA原型机

客户简介

中国科学院上海天文台（简称上海天文台）成立于1962年，以天文地球动力学、天体物理以及行星科学为主要学科方向，同时积极发展现代天文观测技术和时频技术，努力为天文观测研究和国家战略需求提供科学和技术支持。在基础研究方面，拥有若干具有国际一流竞争力的研究团队；在应用研究方面，上海天文台在国家导航定位、深空探测等国家重大工程中发挥重要作用。

SKA是什么？

SKA（Square Kilometre Array)，平方公里阵列射电望远镜，由全球超过10个国家合资建造的世界最大综合孔径射电望远镜阵列，台址位于澳大利亚、南非及南部非洲8个国家的无线电宁静区域，由分布在3000km范围内的约2500面15m口径碟形天线（高频）、250km范围内的250个直径约60m的致密孔径阵列（中频）以及130万个对数周期天线组成的稀疏孔径阵列（低频）组成，其等效接收面积达平方公里级，频率覆盖范围为50MHz～20GHz。SKA建成后将比目前最大的射电望远镜阵列的灵敏度提高约50倍，巡天速度提高约10000倍。

上海天文台在2019年11月SKA工程大会上发布中国SKA区域中心原型机，这被SKA组织认定为“世界上首台SKA区域中心原型机”。SKA区域中心不仅仅是数据中心，它还是培养中国SKA科研人才、服务全球科学用户的综合性研究平台。中国SKA科学计算团队在平台架构、存储、网络等方面先行先试，做出了包含多项集成创新的有益尝试，为国际上其他区域中心提供了借鉴和参考，在即将筹建的SKA区域中心全球网络中发挥了引领性作用。

上海天文台 “建成世界上首台SKA区域中心原型机”，入选2019年度国家十大天文科技进展。

业务挑战

“没有SKA区域中心，就无法开展真正意义上的SKA科学研究。”中科院上海天文台SKA课题组长安涛如此总结，此项研究不仅有助于我国科学家在关键科学项目中优先获得数据从而把握创新突破的先机，而且能极大促进国内超算和大数据相关领域自主创新能力。

SKA区域中心是以数据处理为中心而非以计算为中心，SKA数据的运算和管理主要是以数据驱动的工作流模式，巨大的数据流对输入输出（I/O）带宽和时延均提出极致需求；其次，SKA原型机时时刻刻都在记录着海量的天文数据，爆炸式的数据增长量，对存储的扩展能力提出极高要求；另外，任何天文数据的缺失都会对最后的科研结果产生影响，存储的可靠性也面临严峻挑战。

性能卓越

在上海天文台SKA存储中，华为OceanStor海量存储将分布在各个存储节点上的SSD组建成共享的分布式Cache资源池，供所有业务系统共同使用，通过分层读缓存机制（第一层为内存Cache，第二层为SSD Cache），缩短数据访问时间，对于常见的4K数据读写，平均时延保持在1ms左右；DHT（Distributed Hash Table，分布式哈希表）算法结合对高性能硬件（全NVMe SSD配置时）快速兼容，缩短数据读写时间，最大并发用户数由400增加至1000，完全满足前端业务的整体性能需求。OceanStor海量存储还采用大吞吐、低时延的InfiniBand交换机做内部组网，系统内部数据交换带宽由10Gb/s扩展至128Gb/s，进一步大幅提升IO性能。

扩展更优

华为OceanStor海量存储与传统SAN架构存储的核心区别在于扩展能力。传统SAN存储采用控制器堆叠方式扩展：双控或多控堆叠，最多可扩展至几十个控制器，然后通过在控制器后端纵向（Scale-up）叠加磁盘框实现容量和性能的增加，但是一定规模后就会遇到瓶颈：增加硬盘虽然可以增加总容量，可受限于控制器架构，性能无法再线性增加了。而华为OceanStor海量存储采用全分布式架构，支持扩展到288节点，且性能随节点数增加而线性增加，完全满足SKA海量数据持续增长的需求。

稳定可靠

SKA原型机时刻都在记录着各种天文数据，所以存储设备在保障优异的性能同时还需要具备极高的可靠性，全天候可访问，并有一定的容错能力。OceanStor海量存储的全对称分布式架构，不仅能够提供超大容量的单一文件系统，在数据存储时，同一个文件数据会被打散切片分布在不同存储节点的不同硬盘上，同时为了保证可靠性，会对这些切片数据计算一至多份的冗余数据来保证数据可靠性，这种存储机制，提供了目前业界NAS最高级别的可靠性。用户可以根据数据的重要性、性能等进行灵活的冗余配置，为用户提供了更多的可选解决方案。一旦有故障发生，系统会自动进行数据重构，并且将重构时间缩至最短，达到1小时重构2TB数据的速度。

客户收益

上海天文台部署华为OceanStor海量存储，采用新型分布式存储系统搭建SKA核心业务存储架构，不仅为科研人员提供日常科研所需的数据存储，其横向扩展能力更能够满足SKA原型机未来5年数据发展需求。上海天文台会继续与华为公司深入合作，共同探索面向未来SKA EB量级海量存储解决方案。

• 节省扩容及维护投资30%

• 满足未来5年海量数据存储和管理

• 数据保护效率提升50%