挪威国家图书馆：守护文化记忆，构筑数字未来

根据挪威法律，在其境内公开传播的各类文档和出版物都必须呈缴给挪威国家图书馆。十六世纪的珍本古籍，十七世纪的手写报纸，二十世纪的广播磁带与电视胶片，乃至进入千禧年后的各类数字出版物和影音作品——全部汇集于此。这是属于挪威和世界的文化财产，是后辈科研者们取之不尽的学术宝库，更是一份沉甸甸的历史嘱托：为未来保存过去。

二十余年的数字化之路

挪威国家图书馆启动大规模数字化工程已逾二十年，这是欧洲持续时间最久的同类项目之一。但这项工作远非外界想象的“文件扫描归档”那么简单。

这里拥有一条完整而精密的流水线。从物理介质的捕获——扫描书页、高清拍摄、录制音视频——到复杂的后期处理，包括图像矫正、格式规整、质量控制；再到针对数百万页文本的字符识别，其中夹杂着古老的花体字、古挪威语方言，以及十九世纪难以辨认的手写体。最后，还要进行元数据标注、语言检测和结构分析。

仅一份25页的报纸合订本，就可能衍生出约150个独立文件——母版扫描件、衍生文件、字符识别结果、元数据——全部打包为一个归档对象。将这个数字乘以数百万个对象，再乘以二十余年的光阴，其规模才真正令人震撼。

不知不觉间，挪威国家图书馆发现自己拥有了全世界最大、最古老、最完整的挪威语数字文本集合。这一语料库的丰富程度，甚至显著超越了Google等各类搜索平台所能穷尽的挪威语内容。

唤醒沉睡的数据宝库

项目启动至今，已收集到约20PB的海量高价值数据。出于对文化遗产不能丢失的敬畏，这些数据以三份副本、磁带+磁盘两种存储技术、一份异地保存的“3+2+1”策略进行留存，物理存储总量近60PB之多。

近年来，当AI浪潮以前所未有的速度席卷全球时，挪威政府敏锐地意识到：挪威语只有大约五百万人使用，却拥有两种官方书面形式和数十种方言。在英语主导的技术世界里，这门古老的语言正面临被边缘化的危机。如果挪威不构建自身的大语言模型，没有人会替这个北欧国家开发能真正理解其文化与语境的工具。而一个无法用自己的语言与AI平等对话的国家，必然在全球科技发展洪潮中处于劣势。

于是，挪威文化部做出了一项战略决策：委托国家图书馆承担这一任务，并每年拨款七千万挪威克朗给予支持。国家图书馆手中还握有一项历经数十年才建立的特殊安排——与国内报纸和出版商达成协议，可以使用受版权保护的内容进行模型训练，这是一道私企无法逾越的制度门槛。

平衡之道，在于全闪

然而，用历史数据支撑新的技术应用，面临一个近乎矛盾的数据基础设施难题。挪威国家图书馆必须同时应对两种迥异的存储需求。

其一是长期归档，追求极致耐久与成本可控。近60PB的海量数据分布在磁带和机械硬盘上，存储不需要多快，但必须确保在千年之后依然可读。

其二则恰恰相反。众所周知，模型训练高度依赖于充分的数据准备。当预处理任务启动时，海量历史数据须被及时调取，任何延迟都意味着计算资源的巨大浪费。然而，要将PB级数据从长期归档系统迁移至新的存储环境，本身便是一道棘手的难题。

这正是华为OceanStor Dorado全闪存存储发挥作用之处。挪威国家图书馆在其本地AI环境中部署了这套存储系统，总容量超过2PB，专门承担从归档库中提取数据、进行清洗、去重、格式化和验证的重任。凭借极低延迟和高吞吐量，华为OceanStor Dorado全闪存存储将各类高价值历史文化数据快速“唤醒”，经过CPU集群的处理后，高效输送至Sigma2（挪威国家电子基础设施机构）完成最终的模型训练。

事实上，挪威国家图书馆历来重视高性能存储的价值。从早期的SAS架构到如今的NVMe全闪存，吞吐量与低延迟始终是衡量基础设施的核心指标。没有高性能的创新存储方案作为桥梁，归档与计算之间，将横亘一道难以跨越的鸿沟。

行进中的探索

目前，挪威国家图书馆的相关工作已取得阶段性成果，其基于开源架构的语音识别和文本生成工具已在挪威国内多个领域得到应用。

面向未来，挑战与机遇并存。例如，如何更好地建立一套能准确衡量挪威语（包括两种书面形式和各类方言）的质量评估体系？如何推出国家级工具的治理框架，以保障大语言模型公平、安全地服务于公众利益？此类问题都需要在实践中一步步摸索。

守护过往，即是构筑未来

回顾挪威国家图书馆的数智化探索旅程，不禁让人思考，AI时代下，什么是最有价值的基础设施？

答案并不是算力，而是AI诞生之前，在无人预见其价值之时，就有人出于文化传承的朴素愿望，默默收集、整理并保存下来的数据。正是这些被精心守护的过往，奠定了创新技术真正理解一个民族、一种语言、一国文化的根基。