为何新药研发、基因测序、卫星遥感的发展提速都需要 HPC？

张福鹏

华为数据存储产品线副总裁

人类第一次完整全基因组的测序花了13年，在新技术的加持下，这个时间已经降低到1天以内；没有这项新技术加持，电影《阿凡达》的渲染可能需要上万年；这项新技术还让新药的研发周期大幅缩短，让卫星遥感定位精度大大提升——这项技术就是高性能计算HPC。

那么到底什么是HPC，这项技术对社会发展有什么深远影响，答案尽在本期鹏友会客厅。

数据存储承担文明传承、生产生活改善、科技创新三大重任

在数字化时代，数据存储是政企运行的生命线，更是国之重器：通过文物数字化保护，大量珍贵的遗迹以图片、视频、VR等数字化形式保存了下来，让文明得以传承；另外，存储对生产生活改善、科技创新方面的影响更加广泛，尤其是科技创新领域，现在已经成为国家和企业间竞相角逐的战略高地。

HPC与大数据/AI结合快速增长

HPC产业走向数据密集型

HPC诞生的前半个世纪，其发展核心矛盾在于计算，也就是我们所说的“计算密集型”HPC。随着技术发展及高性能数据分析的出现，数据量越来越大，数据重要性越来越高，HPC开始迎来“数据密集型”的新发展阶段。

没有高性能计算的加持，阿凡达的渲染可能需要上万年，而随着电影画幅和体验的提升，渲染量还会进一步增加，如2019年上映的《阿丽塔：战斗天使》，它的渲染量就是阿凡达的三倍。

同样的数据变化也发生在HPC领域的其他场景：

新药研发领域：借助HPC可以加速药物筛选和分子分析，使新药的研发周期大幅缩短，如面对当前严重的疫情，更多的样本集、更快的数据提炼，可以更快的研发生产出疫苗；

新车研发领域：随着近年来自动驾驶的兴起，新车研发利用HPC进行自动驾驶的车辆测试。上百台的测试车辆，每台测试车路测时长达2000小时左右，单辆测试车路测采集数据量最高可达64TB/天，通过HPC实现车辆碰撞的技术仿真，大幅降低了研发费用和周期；

能源勘探领域：利用高性能计算（HPC）技术，对地震勘探数据进行加工、计算，为能源勘探提供直观的、可靠的依据。随着勘探技术的进步，地震数据实现了从二维到三维的转变，并且逐步向四维演进，数据量也向PB规模发展，中间过程数据的增加高达10~20倍，加上历史资料的长期保存，整体数据量成几十倍增长，呈现出数据密集型的特征；

卫星遥感领域：随着大数据、AI等新技术在卫星遥感领域的应用，卫星遥感领域数据量增长了近70倍，卫星遥感的定位精度由以前的70米提升到了2米。

“数据密集型”HPC发展核心在于数据，存储扮演着更重要的角色

新的高性能计算应用不断涌现，驱动了数据密集型HPC的高速发展，我们也称为高性能数据分析（HPDA）。比如当下炙手可热的自动驾驶，新车的研发需要对上百PB的数据进行训练和仿真，对于存储的性能、稳定性、安全性等都提出了新的挑战，存储更成为了链接计算、网络的核心基础设施。

政府应对“数据密集型”HPC趋势

从超算向智算平台演进，以数据为中心牵引算力和存力均衡发展

政府在高性能计算/超算领域，一直扮演着举足轻重的作用，可以通过公共力量，快速、规模化推进民生和经济发展。作为新基建的重要组成部分，各地纷纷上马超算国家中心/区域中心，然而，超算中心的建设确有一些偏科，呈现出了重建设轻应用、重计算轻数据的特点，造成了一些资源的闲置与浪费。

面向未来，我们认为加快数据密集型超算的建设会成为主要的方向，包括从超算向智算平台的演进，用人工智能、大数据等新应用生态加持超算中心，实现以数据为中心牵引采、存、算、传、用等多维度的均衡发展。

建设数据湖，使用专业的存储设备，关注前沿科技

当前，对于企业来讲，数据的价值已经得到了充分的认识，企业也愿意更多、更久的保存数据，而数据量也实现了从PB向EB级的跨越。想象一下，企业消耗巨额成本获取的车辆路测数据、地震资料、粒子碰撞数据等一旦丢失，损失将是难以估量的，并且在长周期的数据分析过程中，任何的存储故障，都可能导致分析过程的前功尽弃。

面对海量数据，企业在存储选型上，应更加关注存储性能、关注存储本身的数据处理能力，以及AI应用结合、大数据等一些前沿科技发展，从一开始就树立数据湖的意识，让数据应存尽存、高效共享：

高密硬件架构、重删压缩、高效冗余算法、热温冷分级机制，以及蓝光介质等，这些非常好的技术手段能让海量数据更加经济、高效、安全的存储；人工智能/大数据技术的加持，能对更长远的数据进行分析，获得更准确、更有价值的分析结果。

华为OceanStor Pacific下一代高性能数据分析（HPDA）存储加速HPC向数据密集型演进

华为OceanStor Pacific系列下一代高性能数据分析（HPDA）存储，可以高效应对HPC产业向数据密集型升级的关键挑战：

超高密设计：通过系列化高密硬件和智能数据分级能力，实现成本优化，数据存得多、存得省；

面向混合负载：一套存储同时支持高带宽和高IOPS，应对复杂负载；

多协议互通：文件/大数据/对象多协议互通，让不同应用的承载更高效。

作为HPC产业的重要数据底座，高性能数据分析存储在探索知识边界、服务国计民生、加速商业变现等领域发挥着着重要的作用。华为OceanStor Pacific下一代高性能数据分析（HPDA）存储，以超高密设计、面向混合负载、多协议互通，全面加速HPC向数据密集型演进。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。