本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

为何新药研发、基因测序、卫星遥感的发展提速都需要 HPC?

2021-08-19
5576
0

人类第一次完整全基因组的测序花了13年,在新技术的加持下,这个时间已经降低到1天以内;没有这项新技术加持,电影《阿凡达》的渲染可能需要上万年;这项新技术还让新药的研发周期大幅缩短,让卫星遥感定位精度大大提升——这项技术就是高性能计算HPC。

那么到底什么是HPC,这项技术对社会发展有什么深远影响,答案尽在本期鹏友会客厅。


数据存储承担文明传承、生产生活改善、科技创新三大重任

在数字化时代,数据存储是政企运行的生命线,更是国之重器:通过文物数字化保护,大量珍贵的遗迹以图片、视频、VR等数字化形式保存了下来,让文明得以传承;另外,存储对生产生活改善、科技创新方面的影响更加广泛,尤其是科技创新领域,现在已经成为国家和企业间竞相角逐的战略高地。

HPC与大数据/AI结合快速增长

HPC产业走向数据密集型

HPC诞生的前半个世纪,其发展核心矛盾在于计算,也就是我们所说的“计算密集型”HPC。随着技术发展及高性能数据分析的出现,数据量越来越大,数据重要性越来越高,HPC开始迎来“数据密集型”的新发展阶段。

没有高性能计算的加持,阿凡达的渲染可能需要上万年,而随着电影画幅和体验的提升,渲染量还会进一步增加,如2019年上映的《阿丽塔:战斗天使》,它的渲染量就是阿凡达的三倍。

同样的数据变化也发生在HPC领域的其他场景:

新药研发领域:借助HPC可以加速药物筛选和分子分析,使新药的研发周期大幅缩短,如面对当前严重的疫情,更多的样本集、更快的数据提炼,可以更快的研发生产出疫苗;

新车研发领域:随着近年来自动驾驶的兴起,新车研发利用HPC进行自动驾驶的车辆测试。上百台的测试车辆,每台测试车路测时长达2000小时左右,单辆测试车路测采集数据量最高可达64TB/天,通过HPC实现车辆碰撞的技术仿真,大幅降低了研发费用和周期;

能源勘探领域:利用高性能计算(HPC)技术,对地震勘探数据进行加工、计算,为能源勘探提供直观的、可靠的依据。随着勘探技术的进步,地震数据实现了从二维到三维的转变,并且逐步向四维演进,数据量也向PB规模发展,中间过程数据的增加高达10~20倍,加上历史资料的长期保存,整体数据量成几十倍增长,呈现出数据密集型的特征;

卫星遥感领域:随着大数据、AI等新技术在卫星遥感领域的应用,卫星遥感领域数据量增长了近70倍,卫星遥感的定位精度由以前的70米提升到了2米。

“数据密集型”HPC发展核心在于数据,存储扮演着更重要的角色

新的高性能计算应用不断涌现,驱动了数据密集型HPC的高速发展,我们也称为高性能数据分析(HPDA。比如当下炙手可热的自动驾驶,新车的研发需要对上百PB的数据进行训练和仿真,对于存储的性能、稳定性、安全性等都提出了新的挑战,存储更成为了链接计算、网络的核心基础设施。

政府应对“数据密集型”HPC趋势

从超算向智算平台演进,以数据为中心牵引算力和存力均衡发展

政府在高性能计算/超算领域,一直扮演着举足轻重的作用,可以通过公共力量,快速、规模化推进民生和经济发展。作为新基建的重要组成部分,各地纷纷上马超算国家中心/区域中心,然而,超算中心的建设确有一些偏科,呈现出了重建设轻应用、重计算轻数据的特点,造成了一些资源的闲置与浪费。

面向未来,我们认为加快数据密集型超算的建设会成为主要的方向,包括从超算向智算平台的演进,用人工智能、大数据等新应用生态加持超算中心,实现以数据为中心牵引采、存、算、传、用等多维度的均衡发展。

建设数据湖,使用专业的存储设备,关注前沿科技

当前,对于企业来讲,数据的价值已经得到了充分的认识,企业也愿意更多、更久的保存数据,而数据量也实现了从PB向EB级的跨越。想象一下,企业消耗巨额成本获取的车辆路测数据、地震资料、粒子碰撞数据等一旦丢失,损失将是难以估量的,并且在长周期的数据分析过程中,任何的存储故障,都可能导致分析过程的前功尽弃。

面对海量数据,企业在存储选型上,应更加关注存储性能、关注存储本身的数据处理能力,以及AI应用结合、大数据等一些前沿科技发展,从一开始就树立数据湖的意识,让数据应存尽存、高效共享:

高密硬件架构、重删压缩、高效冗余算法、热温冷分级机制,以及蓝光介质等,这些非常好的技术手段能让海量数据更加经济、高效、安全的存储;人工智能/大数据技术的加持,能对更长远的数据进行分析,获得更准确、更有价值的分析结果。

华为OceanStor Pacific下一代高性能数据分析(HPDA)存储加速HPC向数据密集型演进

华为OceanStor Pacific系列下一代高性能数据分析(HPDA)存储,可以高效应对HPC产业向数据密集型升级的关键挑战:

超高密设计:通过系列化高密硬件和智能数据分级能力,实现成本优化,数据存得多、存得省;

面向混合负载:一套存储同时支持高带宽和高IOPS,应对复杂负载;

多协议互通:文件/大数据/对象多协议互通,让不同应用的承载更高效。

作为HPC产业的重要数据底座,高性能数据分析存储在探索知识边界、服务国计民生、加速商业变现等领域发挥着着重要的作用。华为OceanStor Pacific下一代高性能数据分析(HPDA)存储,以超高密设计、面向混合负载、多协议互通,全面加速HPC向数据密集型演进。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP