本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

芯片设计仿真产生数十亿海量小文件的高效存取难题如何破?

2021-12-20
4467
5

现如今数字时代芯片无处不在,大到手机、电脑、自动驾驶汽车,小到LED灯都离不开芯片,时刻参与并影响着我们的生活。芯片的制造过程非常复杂,要经历沙子、切割、晶圆、光刻、3D结构、封装测试等重要环节。虽然制造芯片难度极大,但每18个月就会进行一次换代,即芯片上所集成的电路的数目、微处理的性能每隔18个月就翻一番。一个芯片上动辄有数十亿个晶体管,需要数百甚至上千个工程师分成数十个小组进行协同研发。那么,如何保障在18个月的时间完成芯片设计呢?

芯片研发效率的提升依靠芯片的设计和仿真系统,即EDA的高效使用。这将面临如下3个艰巨的挑战:

挑战1:众多项目组、上千工程师如何有效协同?

面对项目组协同工作,OceanStor Dorado提供2个关键能力:配额特性、QoS特性。其中配额特性为每个项目组设定其使用的存储容量、或者文件数上限,避免A项目组因为B项目组存储容量过度占用而无法开展正常的设计工作。

另一个关键特性是QoS,将每个项目组视为存储系统的一个租户,为各组分配一定的SSD、CPU、内存、网络资源,从而约束每个租户的上限性能,避免租户之间相互干扰。QoS和上面所讲的配额协同工作,保证了众多芯片项目组的高效协同工作。

挑战2:如何支持海量研发文件每秒数百万次的访问和读取?

面对海量小文件的快速查找和访问难题,华为OceanStor Dorado 全闪存的NAS功能通过三项关键技术,实现了比业界高30%的性能。

第一个关键技术是全局分布式文件系统:OceanStor Dorado将这些海量的小文件以目录为单位,均衡地分布到所有的控制器上进行处理,从而最大程度上实现了海量小文件的并发访问,多个控制器的负载差异小于5%。

第二个关键技术是智能布局:华为OceanStor Dorado 采用2种索引技术来存储海量小文件,元数据顺序表的布局,可以提高文件遍历的速度;使用Hash表布局,提高文件定位的速度,将海量小文件的访问时间降低到0.5ms,也就是万分之5秒。

第三个关键技术是FlashLink盘控配合智能算法: OceanStor Dorado采用FlashLink技术重构存储3000万行软件代码,并实现软件和SSD芯片的协同,从而最大程度发挥SSD的性能,达到600万OPS(每秒读写文件数)的指标。

挑战3:数十亿文件如何确保不丢失,仿真业务永不中断?

OceanStor Dorado采用全互联高端存储架构,容忍8个控制器中的7个故障依然业务不中断。同时,采用业界高可靠的RAID-TP技术,能够容忍同一个硬盘框内3块盘同时故障而数据不丢失。

除了单数据中心的存储系统可靠设计外,我们在为客户提供跨数据中心的Active-Active双活容灾解决方案,从而实现7个9(99.99999%) 的可靠性。同时,我们还可以将跨数据中心级可靠性扩展为两地三中心中心的容灾。

除此之外,针对近期越来越严峻的勒索软件,OceanStor Dorado全闪存也提供了防勒索病毒解决方案。首先,在勒索病毒攻击存储系统时,可以根据已有的病毒库进行拦截。其次,如果是新的勒索病毒攻击,可以利用AI机器学习算法检测异常访问行为,或者针对副本文件内容进行病毒检测。最后,当检测到已被病毒攻击后,我们可以利用本地、异地或者Air Gap隔离区的安全快照副本来进行恢复。

华为OceanStor存储相信,在不确定性、复杂性、多元性激增的时代,需要以应需而变的海纳能力,才能去融合和识别难以被洞察的数据需求,释放数据智慧,助力客户从容应对数字时代的多重挑战。华为OceanStor Dorado全闪存,正是基于这一理念,是解决海量小文件存储难题的专业设备。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP