本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

物理分布,逻辑集中?华为存储首席架构师解密下一代存储系统

2021-12-16
2205
1

存储自诞生来始终在不断演进,以便更好的支撑不同时代的不同业务诉求。

在核心生产交易等场景下,经典的集中式架构已能很好地满足了企业对于极致高可靠、高性能的诉求。而90年代末互联网、大数据技术的蓬勃发展又带动了分布式架构的流行。

但当下的两种主流架构,能否满足未来智能世界的需求?未来的存储架构又会迎来怎样的变革?

存储架构的演进

存储既是一个传统、又是一个发展比较快的产业,存储最早是在六七十年代配合IBM大型机而产生的,对数据的可靠性、安全性、性能要求非常高,但它对时延要求较低,数据量也不是很大,所以说存储它与生俱来就有高性能和高可靠的内在诉求。

到了90年代末,尤其是2000年后,互联网技术蓬勃的发展,数据爆炸性增长,尤其是以谷歌为代表的互联网企业,它在存储的架构上做出了巨大的一个创新,形成一个分布式或者是英文叫scale-out的这种架构。

这种架构伸缩性非常好、可扩展弹性强,总的吞吐量很大,但每个节点处理能力不是很强,它对时间要求不高,一般是做一些后台或者是批量的一些处理,这些都是为了节约价格而进行设计的,但新时代的来临,企业数字化转型,数据量越来越多,从而需要一个很弹性的架构,且具备有高性能和高可靠的能力。

传统的核心交易系统场景中有两块版块,一个是交易,另一个是分析,这两个部分是分开的,也就是说每当完成一些交易后,运维人员会在某个时间内将这些数据导出去,进行分析,分析的目的可能是为了寻找一些规律,或者识别风险,然而目前这种交易场景的发展趋势是——时间越来越短,甚至要求实时,比如说你在境外有一笔消费,后台系统它需要马上知道这个是不是盗刷的,是不是欺诈,但这些事情现在还不能完全做到实时。

如果能在交易过程中就截获刚刚所说的事,那么大部分的一般风险都是可以排除在实时阶段,这时候就需要把数据快速的记录下来,交易完成,并且能够察别到风险。所以它既要满足实时的要求,又能对这种大规模的数据量进行分析,目前的架构都不能完美的适配这些需求。

分离式架构:物理上分布、逻辑上集中

基于以上发生的事情,华为在这些方面有一些思考和出发点,对这两种技术的特点进行融合,概括来讲,这种物理上分布、逻辑上集中,是下一代数据存储架构的演进方向,可以称之为分离式的架构。

从硬件上来讲,它们的每个单元都是分离的,不是专用的,没有特别专用的硬件,并且不是封闭的硬件,可以定制和开发,基于标准的协议,通过共享内存的这种模式来使用它,这就是分离式的架构,然后通过这种分离式的OS,把它虚拟化成一个统一的完整系统,往上面提供整体的能力,物理上分布、逻辑上集中。

众所周知,高端存储最主要、最核心的应用,是在银行或者证券交易等大型互联网交易的场景中,分离式的架构,既能提供低时延的一个系统,同时它也能够对数据进行实时的处理、计算、分析,快速的满足实时风控的要求,从而能够实现在秒级内对一笔交易完成分析,这些都是要通过底层应用的创新,中间的软件以及存储软件跟数据库软件进行协同配合,从而达到这么一个目的。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP