芯片设计仿真产生数十亿海量小文件的高效存取难题如何破？

张国彬

华为数据存储产品线首席科学家

现如今数字时代芯片无处不在，大到手机、电脑、自动驾驶汽车，小到LED灯都离不开芯片，时刻参与并影响着我们的生活。芯片的制造过程非常复杂，要经历沙子、切割、晶圆、光刻、3D结构、封装测试等重要环节。虽然制造芯片难度极大，但每18个月就会进行一次换代，即芯片上所集成的电路的数目、微处理的性能每隔18个月就翻一番。一个芯片上动辄有数十亿个晶体管，需要数百甚至上千个工程师分成数十个小组进行协同研发。那么，如何保障在18个月的时间完成芯片设计呢？

芯片研发效率的提升依靠芯片的设计和仿真系统，即EDA的高效使用。这将面临如下3个艰巨的挑战：

挑战1：众多项目组、上千工程师如何有效协同？

面对项目组协同工作，OceanStor Dorado提供2个关键能力：配额特性、QoS特性。其中配额特性为每个项目组设定其使用的存储容量、或者文件数上限，避免A项目组因为B项目组存储容量过度占用而无法开展正常的设计工作。

另一个关键特性是QoS，将每个项目组视为存储系统的一个租户，为各组分配一定的SSD、CPU、内存、网络资源，从而约束每个租户的上限性能，避免租户之间相互干扰。QoS和上面所讲的配额协同工作，保证了众多芯片项目组的高效协同工作。

挑战2：如何支持海量研发文件每秒数百万次的访问和读取？

面对海量小文件的快速查找和访问难题，华为OceanStor Dorado 全闪存的NAS功能通过三项关键技术，实现了比业界高30%的性能。

第一个关键技术是全局分布式文件系统：OceanStor Dorado将这些海量的小文件以目录为单位，均衡地分布到所有的控制器上进行处理，从而最大程度上实现了海量小文件的并发访问，多个控制器的负载差异小于5%。

第二个关键技术是智能布局：华为OceanStor Dorado 采用2种索引技术来存储海量小文件，元数据顺序表的布局，可以提高文件遍历的速度；使用Hash表布局，提高文件定位的速度，将海量小文件的访问时间降低到0.5ms，也就是万分之5秒。

第三个关键技术是FlashLink盘控配合智能算法： OceanStor Dorado采用FlashLink技术重构存储3000万行软件代码，并实现软件和SSD芯片的协同，从而最大程度发挥SSD的性能，达到600万OPS（每秒读写文件数）的指标。

挑战3：数十亿文件如何确保不丢失，仿真业务永不中断？

OceanStor Dorado采用全互联高端存储架构，容忍8个控制器中的7个故障依然业务不中断。同时，采用业界高可靠的RAID-TP技术，能够容忍同一个硬盘框内3块盘同时故障而数据不丢失。

除了单数据中心的存储系统可靠设计外，我们在为客户提供跨数据中心的Active-Active双活容灾解决方案，从而实现7个9（99.99999%） 的可靠性。同时，我们还可以将跨数据中心级可靠性扩展为两地三中心中心的容灾。

除此之外，针对近期越来越严峻的勒索软件，OceanStor Dorado全闪存也提供了防勒索病毒解决方案。首先，在勒索病毒攻击存储系统时,可以根据已有的病毒库进行拦截。其次，如果是新的勒索病毒攻击，可以利用AI机器学习算法检测异常访问行为，或者针对副本文件内容进行病毒检测。最后，当检测到已被病毒攻击后，我们可以利用本地、异地或者Air Gap隔离区的安全快照副本来进行恢复。

华为OceanStor存储相信，在不确定性、复杂性、多元性激增的时代，需要以应需而变的海纳能力，才能去融合和识别难以被洞察的数据需求，释放数据智慧，助力客户从容应对数字时代的多重挑战。华为OceanStor Dorado全闪存，正是基于这一理念，是解决海量小文件存储难题的专业设备。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。