【政府大数据白话系列评论⑧】数据湖是什么湖？

任东民

德克萨斯大学阿灵顿分校EMBA，目前从事城市数字平台和大数据方向的解决方案开发和项目咨询。

一向高冷的IT，不知从何时起，有了文艺范儿。

君不见，天上有飘逸的云计算，地下有浩渺的数据湖。

风中有朵雨做的云，可是云计算这朵云不会下雨，计算也看不见摸不着。弱水三千只取一瓢饮，可是数据湖这个湖不能行舟，不能捕鱼，不能灌溉。

如果数据也有江湖，关系数据库就是武林盟主，纵横江湖几十年。突然有一天，大数据横空出世，大家才发现，关系数据库hold不住了。

江湖上到底发生了什么？数据越来越多，数据类型越来越杂，数据来源越来越广，数据应用越来越深。面对大数据的采集、存储、计算、管理和使用，关系型数据库已经无能为力。

在电子政务时代，政府数据来源局限于部门应用系统和Office办公套件，区区TB量级不足挂齿。到了智慧城市时代，既然组成城市的一切要素都要数字化，数字孪生都呼之欲出，引发前所未有的数据大集中，那就动辄PB量级了。

政府期望的数据来源被不断地放大——公安、交管、消防、环保、气象等各类传感器的城市感知数据要拿过来，水电气暖、公交、地铁、出租车、电信、市政、环卫、园林、绿化、水务等所有城市基础设施运行数据也要拿过来，甚至共享出行、地图导航、电商、快递等本地生活平台运营数据也要拿过来。

这么多城市数据的采集、存储和分发，不光是用关系型数据库搞不定，用Hadoop也搞不定了。说起来你也许不信，Hadoop由于元数据管理机制的欠缺，只顾存多大容量了，全不顾存的是什么了。

实践证明，城市大数据中心如果只是简单拷贝杂乱无序的海量数据，无异于数据垃圾场。大数据主要是非结构化数据，针对结构化数据的政务信息资源目录体系与交换体系，跟不上十年来政府信息化的发展和变化，日益凸显技术和管理上的局限性。

作为城市数据基础设施，城市大数据中心的技术难度绝不亚于谷歌数据中心，必须解决怎么采集、怎么存储、怎么管理、怎么服务的难题。如果不能做到“落得下、管得住、看得懂、拿得到”，就不能保证“一次汇聚、多次分享”。

于是乎，数据湖应运而生。

2010年，James Dixon提出数据湖（Data Lake）的概念。

2011年Dan Woods在福布斯发表“大数据需要更大的新架构”（Big Data Requires a Big New Architecture），数据湖开始广为传播。

数据湖与数据仓库的区别

数据湖是与数据仓库相对的概念。数据仓库有两个局限：一是只可以回答预先设定的问题，二是数据已经被筛选包装好，无法看见其最初状态。

为了说明数据湖与数据仓库的不同，James Dixon说：“如果数据集市是一个商店的瓶装水，经过过滤包装和结构化以供使用——数据湖则是在更自然状态下的大量的水。数据湖中的数据来源于不同地方，用户可以进入数据湖中提取所需要的数据”。

数据湖的核心原则是集中存储原始的、未经改变的全量数据，在提取数据时才进行转换。数据湖存储各种类型数据，重点是非结构化和半结构化数据，通过统一视图提供开放访问。数据湖具有强大的元数据管理能力，保证所存储数据资源的语义一致性，这是进行大数据分析的基本前提。

城市数据湖与谷歌数据中心的类比

将城市数据湖与谷歌数据中心做个类比，不难发现：数据湖的定位和搜索引擎类似，核心的技术实现是多源异构数据的自动化标注，才能像在搜索引擎上查找信息一样实现按需检索、即取即用。

Google、Facebook、Infomatica、亚马逊AWS、微软Azure等IT巨头积极采纳数据湖概念，并推进实际落地。很多数据仓库迁移到以Hadoop为核心的技术栈，将半结构化、非结构数据存储到数据湖中，以弥补数据仓库的技术局限性。

1、数据湖的基本定位

数据湖是城市的“数据工厂”，是城市大数据应用的“中央厨房”。

数据湖定位于数据采集、汇聚和存储环节，是公用数据集和分析型应用的源头。狭义数据湖仅是对应“存储”这个环节，广义数据湖则对应“入湖、存储、出湖”三个环节。

（1）数据汇聚

接入多源异构数据源，扩展新型大数据和流式数据采集能力，统一监控运行状态。

（2）数据标注

引入人工智能技术，实现元数据的自动化标注，提升到数据资产管理。

（3）数据分发

提供一站式数据服务，从数据发现、准备到提取，实现按需提供、即取即用。

2、数据湖的服务对象

数据湖定位于提供原料数据而不是成品数据，重点解决数据供给侧的问题。

按照办业务和做决策两类业务场景对获取原料数据的共性需求，数据湖的服务对象不外乎两类：一类是生产数据内容产品的公用数据集建设者，比如建立人口库、法人库等基准数据，用于自然人和组织机构的统一身份认证；另一类是生产数据分析产品的分析型应用开发者，比如开发城市大脑等决策系统，用于城市中长期规划和重大风险预警。

3、数据湖的体系结构

数据湖由元数据平台、数据湖仓库和数据湖服务三个部分组成。

元数据平台用于数据资产登记、盘点、评估和处置，数据湖仓库用于原生数据可管理、可扩展的统一存储，数据湖服务用于对外提供数据发现、准备和提取服务。

4、数据湖的核心特性

按照数据湖的基本定位，应该具有以下核心特性：

（1）数据总收总发

（2）以原生格式存储，在提取时再转换

（3）元数据自动化标注

（4）元数据标注质量的机器学习改进机制

（5）供需对接的数据资源市场机制

（6）数据按需提取、即取即用

（7）数据资产的全生命周期价值管理

5、数据湖的技术难点

数据湖的技术门槛很高，元数据自动化标注是最大难题。

数据湖有点像图书馆管理员。不编制书目，你就找不到你想要的书；不编制数据目录，你就找不到你想要的数据。

可以把数据湖想象成一个元数据标注的机器人，它每时每刻要对进入数据湖的数据进行认读——这篇文章、这张图片、这段视频、这段语音、这些传感器数据等等，到底说了什么；然后进行编目——数据从哪里来，作者是谁，标题是什么，主题词、关键字是什么，从而建立数据目录，以支撑数据资源管理和服务活动。

这就牵涉到人工智能技术在元数据管理领域的综合运用。比如，文书型数据要用到自然语言处理，媒体型数据要用到图像识别；为了提高元数据标注的速度和准确性，还要引入机器学习。恕我孤陋寡闻，单领域有很牛的公司，但是将多领域的人工智能技术用于元数据管理，有这样技术预研和储备的公司几乎没有。

其实，并非是技术上做不到，而是商业上是否可以期许。城市数据湖在技术复杂度高于谷歌数据中心的情况下，如果可以预判在不久的将来，城市数据的大规模集中和深层次利用是大势所趋，但是又缺少堪用的城市数据基础设施，那么投资于城市数据湖研发就是理所当然。

^{免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。}