本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

【政府大数据白话系列评论⑧】数据湖是什么湖?

2019-12-18
2144
1

一向高冷的IT,不知从何时起,有了文艺范儿。

君不见,天上有飘逸的云计算,地下有浩渺的数据湖。

风中有朵雨做的云,可是云计算这朵云不会下雨,计算也看不见摸不着。弱水三千只取一瓢饮,可是数据湖这个湖不能行舟,不能捕鱼,不能灌溉。

如果数据也有江湖,关系数据库就是武林盟主,纵横江湖几十年。突然有一天,大数据横空出世,大家才发现,关系数据库hold不住了。

江湖上到底发生了什么?数据越来越多,数据类型越来越杂,数据来源越来越广,数据应用越来越深。面对大数据的采集、存储、计算、管理和使用,关系型数据库已经无能为力。

在电子政务时代,政府数据来源局限于部门应用系统和Office办公套件,区区TB量级不足挂齿。到了智慧城市时代,既然组成城市的一切要素都要数字化,数字孪生都呼之欲出,引发前所未有的数据大集中,那就动辄PB量级了。

政府期望的数据来源被不断地放大——公安、交管、消防、环保、气象等各类传感器的城市感知数据要拿过来,水电气暖、公交、地铁、出租车、电信、市政、环卫、园林、绿化、水务等所有城市基础设施运行数据也要拿过来,甚至共享出行、地图导航、电商、快递等本地生活平台运营数据也要拿过来。

这么多城市数据的采集、存储和分发,不光是用关系型数据库搞不定,用Hadoop也搞不定了。说起来你也许不信,Hadoop由于元数据管理机制的欠缺,只顾存多大容量了,全不顾存的是什么了。

实践证明,城市大数据中心如果只是简单拷贝杂乱无序的海量数据,无异于数据垃圾场。大数据主要是非结构化数据,针对结构化数据的政务信息资源目录体系与交换体系,跟不上十年来政府信息化的发展和变化,日益凸显技术和管理上的局限性。

作为城市数据基础设施,城市大数据中心的技术难度绝不亚于谷歌数据中心,必须解决怎么采集、怎么存储、怎么管理、怎么服务的难题。如果不能做到“落得下、管得住、看得懂、拿得到”,就不能保证“一次汇聚、多次分享”。

于是乎,数据湖应运而生。

2010年,James Dixon提出数据湖(Data Lake)的概念。

2011年Dan Woods在福布斯发表“大数据需要更大的新架构”(Big Data Requires a Big New Architecture),数据湖开始广为传播。

数据湖与数据仓库的区别

数据湖是与数据仓库相对的概念。数据仓库有两个局限:一是只可以回答预先设定的问题,二是数据已经被筛选包装好,无法看见其最初状态。

为了说明数据湖与数据仓库的不同,James Dixon说:“如果数据集市是一个商店的瓶装水,经过过滤包装和结构化以供使用——数据湖则是在更自然状态下的大量的水。数据湖中的数据来源于不同地方,用户可以进入数据湖中提取所需要的数据”。

数据湖的核心原则是集中存储原始的、未经改变的全量数据,在提取数据时才进行转换。数据湖存储各种类型数据,重点是非结构化和半结构化数据,通过统一视图提供开放访问。数据湖具有强大的元数据管理能力,保证所存储数据资源的语义一致性,这是进行大数据分析的基本前提。

城市数据湖与谷歌数据中心的类比

将城市数据湖与谷歌数据中心做个类比,不难发现:数据湖的定位和搜索引擎类似,核心的技术实现是多源异构数据的自动化标注,才能像在搜索引擎上查找信息一样实现按需检索、即取即用。

Google、Facebook、Infomatica、亚马逊AWS、微软Azure等IT巨头积极采纳数据湖概念,并推进实际落地。很多数据仓库迁移到以Hadoop为核心的技术栈,将半结构化、非结构数据存储到数据湖中,以弥补数据仓库的技术局限性。

1、数据湖的基本定位

数据湖是城市的“数据工厂”,是城市大数据应用的“中央厨房”。

数据湖定位于数据采集、汇聚和存储环节,是公用数据集和分析型应用的源头。狭义数据湖仅是对应“存储”这个环节,广义数据湖则对应“入湖、存储、出湖”三个环节。

(1)数据汇聚

接入多源异构数据源,扩展新型大数据和流式数据采集能力,统一监控运行状态。

(2)数据标注

引入人工智能技术,实现元数据的自动化标注,提升到数据资产管理。

(3)数据分发

提供一站式数据服务,从数据发现、准备到提取,实现按需提供、即取即用。

2、数据湖的服务对象

数据湖定位于提供原料数据而不是成品数据,重点解决数据供给侧的问题。

按照办业务和做决策两类业务场景对获取原料数据的共性需求,数据湖的服务对象不外乎两类:一类是生产数据内容产品的公用数据集建设者,比如建立人口库、法人库等基准数据,用于自然人和组织机构的统一身份认证;另一类是生产数据分析产品的分析型应用开发者,比如开发城市大脑等决策系统,用于城市中长期规划和重大风险预警。

3、数据湖的体系结构

数据湖由元数据平台、数据湖仓库和数据湖服务三个部分组成。

元数据平台用于数据资产登记、盘点、评估和处置,数据湖仓库用于原生数据可管理、可扩展的统一存储,数据湖服务用于对外提供数据发现、准备和提取服务。

4、数据湖的核心特性

按照数据湖的基本定位,应该具有以下核心特性:

(1)数据总收总发

(2)以原生格式存储,在提取时再转换

(3)元数据自动化标注

(4)元数据标注质量的机器学习改进机制

(5)供需对接的数据资源市场机制

(6)数据按需提取、即取即用

(7)数据资产的全生命周期价值管理

5、数据湖的技术难点

数据湖的技术门槛很高,元数据自动化标注是最大难题。

数据湖有点像图书馆管理员。不编制书目,你就找不到你想要的书;不编制数据目录,你就找不到你想要的数据。

可以把数据湖想象成一个元数据标注的机器人,它每时每刻要对进入数据湖的数据进行认读——这篇文章、这张图片、这段视频、这段语音、这些传感器数据等等,到底说了什么;然后进行编目——数据从哪里来,作者是谁,标题是什么,主题词、关键字是什么,从而建立数据目录,以支撑数据资源管理和服务活动。

这就牵涉到人工智能技术在元数据管理领域的综合运用。比如,文书型数据要用到自然语言处理,媒体型数据要用到图像识别;为了提高元数据标注的速度和准确性,还要引入机器学习。恕我孤陋寡闻,单领域有很牛的公司,但是将多领域的人工智能技术用于元数据管理,有这样技术预研和储备的公司几乎没有。

其实,并非是技术上做不到,而是商业上是否可以期许。城市数据湖在技术复杂度高于谷歌数据中心的情况下,如果可以预判在不久的将来,城市数据的大规模集中和深层次利用是大势所趋,但是又缺少堪用的城市数据基础设施,那么投资于城市数据湖研发就是理所当然。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP