快捷搜索:
您的位置:bv1946伟德入口 > 互联网 > 数据价值提升新模式,数据模型梳理

数据价值提升新模式,数据模型梳理

2019-11-29 12:50

原标题:数据价值提升新模式:数据资产管理“AIGOV五星模型”

韦德国际1946手机版官网 ,数据模型梳理:一个自下而上的数据治理方法-互联网分析沙龙 http://www.techxue.com/techxue-22401-1.html?utm_source=tuicool&utm_medium=referral

数据模型在数据管理中居于什么样的位置?笔者认为数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。

本文更新版本已挪至   

作者介绍程永新,新炬网络董事、副总经理,DAMS中国数据资产管理峰会联合发起人。长期钻研国内外数据资产管理理论与实践,数据资产管理五星模型与服务框架提出者,大数据领域资深专家,多项国家发明专利持有人。

韦德国际1946手机版官网 1

韦德国际1946手机版官网 2


梁铭图,新炬网络首席架构师,10年以上数据库运维、数据分析、数据库设计及系统规划建设经验,对数据架构管理及数据资产管理有深入研究。

Paste_Image.png

导读:国际数据管理协会DAMA在DMBOK2中定义了11个数据管理职能领域,数据建模与设计是其中的一个关键领域。数据模型作为数据建模与设计的核心产出物,势必与其他各个领域都有着千丝万缕的联系。我尝试着将这些关系总结整理成这篇文章,与大家一同分享。

      BI的成功运用深度依赖于有效的元数据管理,通常被称作"关于数据的数据"。元数据为所有BI系统的数据充当路标,从而能够对这些数据迚行高效地管理、控制发更和分发。全面的元数据管理保证了BI系统具有高质量的信息,并提供充分的扩展性,能满足新的信息需求和数据源增加。元数据实施也是信息集成中的一部分,最重要的工作是将存储在各种工具中的元数据进行整合。元数据管理是数据管理框架的第九个数据管理功能,本篇将介绍一下这个功能。

杨志洪,dbaplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。


如下图,在DMBOK2中,数据管理包含了11个职能领域,这11个领域分别是数据治理、数据架构、数据建模与设计、数据存储与操作、数据安全、数据集成与互操作、文档与内容管理、参考数据与主数据管理、数据仓库与BI、元数据、数据质量。

DMBOK的元数据管理

韦德国际1946手机版官网 3

韦德国际1946手机版官网 4

韦德国际1946手机版官网 5

韦德国际1946手机版官网 6

注:本文来源于《电子技术与软件工程》2018年8月下半月刊。

一、数据模型梳理背景

韦德国际1946手机版官网 7

什么是元数据?

  元数据通帯被称作"关于数据的数据",即用于描述其它数据的数据。对于数据可以通过多种方式进行解释,例如

韦德国际1946手机版官网 8

   当我们说元数据是"关于数据的数据"时,我们需要确保所讨论的是数据的背景,而不是有关数据的详细细节或相关数据。元数据描述的是数据的背景、内容、数据结构及其生命周期管理。简而言之,元数据是"数据的背景"

  元数据管理全景包括三个部分内容:1.元数据模型 2.元数据拓扑结构 3.元数据管理方法论

从数据管理到数据治理到数据资产管理,从全球到国内,各种新概念不断提出并被加以实践改良,提升了政府、企事业单位及群众对大数据资产管理的意识,同时也促进了大数据产业不断的深入发展。借鉴国内外数据管理模型及相关理论思想,我们对数据资产管理的模型进行分析、总结,提炼出组织数据管理的五大管理域十三个能力项,并对每项能力进行详细划分以及相关功能介绍。

我们在传统企业(如电信、航空、电力、政府等)实施一个个数据治理项目的时候,总会发现基本类似的问题:

图1DAMA定义的11个数据管理职能领域

元数据模型

    元数据是BI架构中的一个重要组件。在BI环境中,元数据管理最主要是能方便地集成不同数据库、数据模型、OLAP 和ETL工具所包含的各式各样的元数据。元数据包括业务规则、数据源、汇总级别、数据别名、数据转换规则、技术配置、数据访问权限、数据用途等。设计良好的元数据模型能够提高管理、变更控制和分发元数据的效率,实现无缝的、端到端的跟踪回溯能力。

下面举个例子,如果"102250Richard King"是数据,下面则是元数据:

  • 员工代码类型为 Number(6)——这告诉我们该数据中首 6 位字符是数字类型,代表员工代码;
  • 员工姓名类型为 Varchar(30)——这告诉我们后面的 30 位字符是发长字符类型,表示员工姓名。

这些元数据可以迚一步抽象为元-元数据(Meta-Metadata),表示元数据的背景。

韦德国际1946手机版官网 9

引言

●企业内IT系统越来越多,其复杂度也越来越高,没有人能说明清楚整个系统的数据架构和数据流向,数据架构与业务流程 、应用架构之间的关系不清晰。“黑暗”数据(指存在于系统中但无法说明与业务间的关系,后续亦无法对数据进行分析和应用)现象非常明显。

(DMBOK2, DAMA International)

企业数据模型

 

韦德国际1946手机版官网 10

韦德国际1946手机版官网 11

现在已经全面进入物联网时代,数据以史无前例的规模大批量一刻不停地生成,与大数据相关的研究和应用层出不穷,数据已经成为各国政府和企业最重要的资产,我国也于2015年8月发布了《促进大数据发展行动纲要》。国家在纲要中明确指出数据是核心资产,大数据是推动经济发展的新动力,是提升企业核心价值的驱动力。

●数据模型管理能力自身在不断减弱;开发团队出于现实压力,以实现功能为主,对非功能性需求不太在意,导致模型设计质量不高。IT系统出现先实现后优化的现象,优化效果滞后。

各个领域的定义和作用书中已经介绍得很清楚,所以我在这里就不赘述了。下图是我从数据模型出发,总结出的数据模型与各领域产出物之间的关系图:

BI元数据模型

在 BI 层面, IT/技术元数据被分为两类,被称为:BI 技术元数据、数据源元数据

韦德国际1946手机版官网 12

韦德国际1946手机版官网 13

  • 顶层 (领域或概念层)

在最顶层,业务的主题域可以直接运用于BI技术元数据的报表和分析,继而被映射到数据源元数据反映的源系统中。

  • 中层 (实体层)

业务实体连接到技术实体,如数据表,立方体和报表等,它们从可用的源表或数据表单直接获取信息。

  • 底层 (元素层)

最细节的元数据存在于数据元素层。业务元数据中的业务术语映射到技术元数据的对应层,包括数据表、报表及多维立方体的维度/度量。业务用户广泛使用这层元数据。

数据如此重要,数据产生量如此之大,然而整个数据管理领域的理论发展是非常落后的。企业都知道数据很有价值,数据能够为企业带来指引,然而真正让数据为企业带来价值的案例并不多见,这主要是由于既有的数据管理模型落后并且复杂。

●数据模型变更失控,大多数系统都处于积术式叠代开发,新需求就加一堆表,系统数据模型越来越雍肿;数据模型变更长期缺少基线化,大量已经废弃业务以及相关数据模型仍然存在于数据库,无人敢动。

韦德国际1946手机版官网 14

BI技术元数据

BI 技术元数据包含了 BI 环境中丌同层级的所有元数据,迚一步可以细分为三个类型:

  • 信息整合 – ETL(数据抽取,转换和装载)元数据
  • 信息存储 – 数据仓库元数据
  • 信息发布 – 报表元数据

韦德国际1946手机版官网 15

韦德国际1946手机版官网 16

韦德国际1946手机版官网 17

●数据无序增长,企业核心业务系统数据无有效的退出机制,业务系统容量无序增长,长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。

图2 数据建模与数据管理各领域的输入输出关系

BIDS元数据管理方法论

一个定义良好的元数据管理产品应该保证信息的高质量,同时能够灵活地扩展BI系统新的数据需求和数据源。BIDS作为元数据管理的解决方案之一,提供了一套方法论Business Intelligence for Decision Support (BIDS™),该方法论由6个模块组成,如下图:

韦德国际1946手机版官网 18

数据管理的概念从80年代提出到现在已经接近40年了,数据治理的提法也有近20年,而数据资产管理的提出基本是最近5年的事情,中国数据资产管理峰会对数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程。

●数据标准缺失,缺少企业级别统一的数据标准,数据模型相关含义令开发和运维人员难以理解;同时,亦使得企业不同应用间的数据集成和数据共享困难。

各领域之间的这些输入输出关系让数据管理各个领域之间形成了一张关系复杂的网,其中数据模型处于一个关键位置

元数据框架定义

元数据管理主要目的在于基于灵活、健壮的架构实现元数据的标准化、集中化。框架定义涉及分析元数据的当前状态、处理过程,并为元数据管理系统提供一个开发蓝图,主要从长远目标、具体目的和高层需求三个方面来描述:

  1. 长远目标|
    元数据管理系统的总体目标如下:
    • 标准化的元数据和数据处理
    • 元数据管理的集中化
    • 元数据信息去重
    • 适应变化的元数据架构
  2. 具体目的
    元数据管理系统的目的如下:
    • 制定元数据及数据标准化
    • 集中化 BI 系统的管理和应用
    • 通过非冗余、非重复的元数据信息提高数据完整性、准确性
    • 减少BI系统组件开发、实现、完善及维护的代价
    • 建立灵活的元数据架构,使BI架构顺应变化
  3. 高层需求
    元数据创建及管理的高层需求可以通过下表中的内容来加以理解。

序号

需求

1.

元数据标准化

1.1

企业内统一术语及沟通标准

使用元数据作为用户的唯一根据,确保所有用户使用一致的名词进行沟通、理解,以及解释业务问题。同时可以消除歧义,保证企业内信息一致性,便于知识和经验的共享。

1.2

无缝系统集成:

ETL过程,尤其是集成过程,依赖与多种多样的数据源和BI系统。标准化的元数据使得不同源系统的数据集成到BI系统时,数据元素的含义是统一的;此外,只有通过标准方法共享元数据的工具或应用程序才允许被集成到BI系统。

1.3

数据质量提升:

定义数据质量校验规则,是ETL元数据的有机组成部分。

2

元数据集中化

2.1

提升分析及与BI系统的交互:

分析涵盖一系列技术手段,包括从简单的报表查询,到OLAP分析,甚至复杂的数据挖掘,用户在很大程度上通过元数据层与这些技术进行交互,所有这些分析都需要由元数据驱动。元数据需向用户提供集中化的信息,诸如数据含义、名词术语和业务概念,以及他们和数据之间的关系。因此元数据可以支持准确而直观的查询,降低用户访问、评估、使用相关信息的代价。

2.2

数据完整性和准确性:

集中化的元数据应该是非冗余、非重复的。此外,数据的回溯性及一致性对高数据质量是很关键的。ETL过程需通过捕获数据继承(如:源、调度信息、时间戳等)来管理元数据回溯性,通过诸如checksum这样的方法来管理一致性。集中化所有这些信息,有助于及时地解决数据整合问题,及更好的管理数据的正确性。

3

降低BI系统管理代价

3.1

支持新应用开发:

元数据提供数据含义、结构和来源的相关信息,这有助于需求收集和设计阶段的产出控制,也能保证应用开发过程的可靠性。

3.2

自动化管理过程:

元数据应当驱动多种DW过程(如ETL、批处理报表),有关过程执行的信息(日志、DW 数据加载状态等)也应存储在资料库中,被管理员轻松访问。这些元数据驱动的过程能够实现BI管理自动化、减少人工干预,从而降低BI系统维护量。

3.3

周密的安全机制:

为了提供周密的安全机制,应该在元数据层管理ACL和用户信息。需要设计用户角色来控制不同部门、不同地域的用户对不同粒度的数据进行访问的权限,并通过审计跟踪过程对数据访问进行安全检测。

4

灵活的元数据架构

 

元数据的扩展性与适应性:

为了适应变化,元数据必须是可扩展的。如,频繁变化的语义层,应当独立于应用程序,存储在元数据中,一方面保证系统扩展的灵活性,另一方面,可以很轻易的添加新的元数据对象。而且,通用元数据模型还提供了大量的代码片段的可重用性。

  此外,还有必要从产品和项目两个层面创建元数据管理团队,包括元数据管理员、协调员、数据分析员及DBA等角色。一旦该团队组建完成,通过跟业务和技术受益者的认识,就确立了高层元数据需求。

数据资产管理研究现状

●数据安全突出,对企业的敏感数据、用户、访问权限仍然缺少认识和控制,数据敏感数据泄漏的安全事件屡见不鲜。

我将数据模型与各领域的关系总结成了以下9点

规格描述

  框架定义阶段完成后,下一步就是描述元数据规格,主要包括以下活动和子活动:

  • 元数据现状清单:建立元数据清单,包括:功能性信息需求、数据模型、进程模型、数据字典、业务术语字典、已有元数据环境、系统文档等

  • 元数据需求

    • 遵循的行业标准

    • 元数据模型需求:命名规范、结构、元素及关联关系

    • 元数据接口需求:元数据资料库及其内容,桥接器、所有者、系统访问、元数据血缘关系

    • 元数据系统需求

    • 元数据报表需求

    • 安全需求

    • 变更管理需求

    • 培训需求

    • 治理需求

1

●数据质量参差,数据处理环节中产生大量的错误和质量差的数据,数据错误发现和处理流程不及时,导致更多的后续错误。

1. 数据模型是承载着数据需求的元数据集合

从一定程度上讲,我个人认为:数据模型是真正立足于企业数据需求创建出来的元数据集合。

其中包括实体名、属性名等丰富的技术元数据,还包括业务规则等业务元数据,主外键等关系是元数据血缘分析的主要来源之一。同时,数据模型也为元数据管理提供了元数据标准和元数据质量评分的指标参考。

详细设计

设计阶段包括确定以下内容:

  • 元数据标准

    • 开发数据元标准
    • 数据元标准的技术性及跨功能性复查
    • 建立数据元设计规则及命名规范
  • 接入接口机制

    • 元数据获取API及桥接器
  • DW元数据模式

    • 元数据分类维度
    • 使用元数据维度设计元数据模型
    • 数据元定义过程
    • 配置管理
  • 协同(元数据发布)机制

    • 文件交换
    • 资料库API
    • 元数据服务
  • 元数据同步机制

    • 联合度
    • 复制控制和更新传播
    • 共享资料库下的复制控制

国外研究现状

从这些问题之中亦反映了一个现实:在当今,数据作为一种企业的重要资产而被人们广泛接纳的时候,对于广大的传统企业,正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失,使企业连读懂自身的数据都是如此困难的一件事,更难以谈得上后续的数据分析和应用。

2. 数据模型是数据校验的对象之一,是形成数据质量规则的基础

数据模型为数据质量管理提供关键元数据与业务规则输入,以便人们可以针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时,数据模型本身也需要符合数据质量管理标准,需要通过数据质量管理的检核。

元数据管理成熟度发展阶段

韦德国际1946手机版官网 19

 

20世纪80年代后期,数据仓库概念开始形成,这也是数据管理理论的萌芽。随着数据仓库应用落地和展开,在2000年左右数据治理的相关理念也逐步形成。2000年前后,H.Watson探讨了“数据仓库治理”在Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,被国内学者认为拉开了“数据治理”在企业管理中的大幕。

**二、一种自下而上的数据治理
**

3. 数据模型是数据集成与互操作的起点

为了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分分析现有数据模型就显得尤为重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。

参考

  • The DAMA Guide to the Data Management Body of Knowledge
  • 信息集成:元数据管理全景

早在2004年,国际数据治理协会DGI就首次发布了DGI数据治理框架,从这个框架模型初步提出了RPP(人员/流程/规则)框架。但是,这个框架中没有对数据治理的具体工作内容给予细化或明确说明。

由上面问题的分析和归纳,在数据治理这个范畴上,我们应该首先解决的是企业对其数据的了解和认知。

4. 数据模型是数据存储与操作的结构保障

数据模型精确标准的定义为数据提供了一个规范的结构,这种比较精确化的结构和约束成为数据存储和操作的一层基本结构保障,减少了数据存储和操作时发生数据异常的可能性。

2006年,国际数据管理协会(DAMA)发布了数据管理框架,并参考了PMBOK的架构编写了数据管理指南(DMBOK)。经过多次迭代,2008年3月,国际数据管理协会发布的最新版DMBOK中,将数据管理工作细分为十个职能:

由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构,是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下,一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理,使组织理解它们所拥有的数据,以及数据与业务流程之间的关系,不管数据来自于什么数据,什么样的产品平台以及任何地方。

5. 数据模型是数据安全管控的对象之一

数据模型是数据安全管控的对象之一,数据模型中往往需要根据具体的数据安全需求标注出敏感字段/表,企业也需要参考着数据模型来制定具体的数据安全技术实现需求与业务规则,判断出那些字段可以被哪些人查看,哪些字段需要脱敏等。

  • 数据治理
  • 数据架构管理
  • 数据开发
  • 数据操作管理
  • 数据安全管理
  • 参考数据与主数据管理
  • 数据仓库与商务智能管理
  • 文档与内容管理
  • 元数据管理
  • 数据质量管理

因此,数据模型梳理,也正是传统企业必需一个自下而上的数据治理方法之一。

6. 数据模型通过文档和内容管理实现可复用

在初始数据建模阶段,有效的文档和内容管理可以为数据建模提供以往数据建模过程的详细参考。

在建模完成时,数据建模过程中的各种模型设计文档,可以通过文档和内容管理模块实现合理存储,形成企业数据模型记忆库,供未来其他部分数据建模参考,或供数据模型维护阶段参考,实现数据模型的复用。

以及目标和原则、活动、主要交付物、角色和责任、技术、实践和方法、组织和文化七大环境要素。

经过完整数据模型梳理可以预期可以达到什么样的效果:

7. 数据模型是数据仓库和BI的核心

数据模型能为数据仓库建设提供全面的业务梳理和整体的数据视角,通过数据模型,业务人员、开发人员能够很容易在数据仓库需求、范围以及长远建设规划上达成共识,真正形成业务到数据仓库的映射。

通过专门为BI数据分析而设计的维度模型,更好地分析立足于数据分析的数据需求。可以说没有数据模型,数据仓库与BI就无从谈起。

2010年,IBM发布了《数据治理统一流程》一书,描述了企业数据能力成熟度评价模型。IBM提出数据治理的要素模型,认为数据风险与合规、价值创造等业务目标或成果是数据治理的核心关键命题,并且影响这些目标的达成需要组织结构和认知度、政策、数据相关责任者三个促成要素。在三个促成因素以外,必须关注数据治理三个核心要素,分别是数据质量管理、信息生命周期管理、信息安全和隐私。要素模型中还有数据治理三个支撑要素,数据架构、分类与元数据、审计日志和报告。

●克服黑暗数据现象,通过清晰的元数据和数据模型管理让企业可以真正理解和运用自身的数据,并不断扩大应用和分析数据的范围和规模。

8. 数据模型为参考数据与主数据管理提供一致性指导

参考数据与主数据管理是通过管理共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DMBOK2,DAMA International)。

在全面的MDM环境中,逻辑数据模型将在多个平台中进行物理实例化,逻辑数据模型为主数据管理提供了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供了数据集成服务的基础。

2014年,EDM发布了数据管理能力成熟度模型( Data management Capability Assessment Model )。在该模型中,EDM将数据管理划分为八大职能域:

●明确数据含义,了解数据访问与业务流程之间的关系,帮助企业业务使用者(不仅包括IT)可以使用数据和应用数据帮助他们更好完成工作,推动全面数据化运营。

9. 数据模型为数据科学与AI提供数据保障

数据科学与AI离不开数据,而数据模型恰恰就是为数据科学与AI后续算法与分析过程提供数据的基本保障。

数据模型的建立能够让各个数据管理领域有着力点,从而能够为数据科学家们的业务分析工作提供更准确的数据,让AI算法得出更准确的结果。

  • 数据管理策略
  • 数据管理业务案例
  • 数据管理项目
  • 数据治理
  • 数据架构
  • 技术架构
  • 数据质量
  • 数据运营

●连接和映射更多数据,充分发掘现有的数据之间的关系,扩大数据规模效应,让数据可以充分发挥其作用和价值。

总结

可以说,数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。

它是承载着数据需求的元数据、是数据质量校验的对象、是形成数据质量规则的基础、是数据集成与互操作的起点、是数据存储和操作的结构保障、是数据安全管控的对象、是数据仓库和BI的核心、是参考数据与主数据的一致性指导。做好数据模型的管理,企业数据管理将会事半功倍。

参考:[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.

本文由 @龚菲 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

2014年,CMMI协会发布了数据管理成熟度模型,将数据管理工作分为六个维度:

●为其他的数据资产管理活动,包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。

  • 数据管理战略
  • 数据治理
  • 数据质量
  • 平台及架构
  • 数据操作
  • 支持流程

其实,在数据仓库领域中,元数据管理正是用来解决这个问题的但由于种种原因,实际上传统企业中元数据管理也不尽如人意,出现元数据与实际环境严重脱节,不能反映其真实数据架构等现象。我们在某电信运营商实现数据治理项目时,曾经遇到的最真实情况是,大多数的系统(或者项目)没有数据模型设计文档,而其中最核心的业务系统之一的数据模型最新版本是2年前的,进行初步稽核之后,数据模型与实际生产环境对得上的只有40%左右。

以及五个成熟度评估等级:可执行级、可管理级、已定义级、可量度级以及优化管理级。

**三、数据模型梳理实施方法
**

2

国内研究现状

韦德国际1946手机版官网 20

在国内,数据治理和资产管理研究和标准化工作相对较为滞后。2018年5月份,银保监会正式发布了金融机构数据治理指引。从相关主题的数量,可以看出金融机构数据治理指引主要关注的是制度、人员、流程、监管等相关方面建设。同时,数据管理能力成熟度模型的国家标准也同期发布。

近几年,随着数据价值的进一步挖掘,企业对数据资产化需求不断增长,数据资产管理理念形成。2014年新炬网络在行业中明确提出了数据资产管理概念及其三大核心框架:数据架构、数据治理和数据运营,并于次年首次对外发布了数据资产管理五星模型,进而将数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程,此后在与国内外同行的交流和企业实践中,持续不断的迭代演进和完善,并于2018年7月的中国数据资产管理峰会上,正式发布数据资产管理“AIGOV五星模型”。

一般而言,数据模型梳理的实施步骤大致分为三个步骤:

韦德国际1946手机版官网 21

1.物理模型梳理和优化

2018年3月15日,中国国家标准化委员会和中华人民共和国国家质量监督检验检疫总局联合发布了《数据管理能力成熟度评价模型》,该模型包括数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生命周期等8个关键过程功能域,29个能力项。该模型制定了相关的功能域划分、评价标准和关键指标定义,以帮助组织更好地理解和评价数据管理现状。

物理模型梳理的实质在于数据模型从关系数据库,形成一份稳定的物理模型设计。但它也不等同于单纯应用PowerDesigner等工具从数据库中进行反向工程(reverse engeering)的结果,或者可以这样讲,反向工程只是其中的初始步骤。初始反向工程出来的结果,经过层层的筛选、过滤、合并和优化以后,最终经各方确认后形成物理模型基线,供后续逻辑模型梳理的基础,以及作为后续数据模型变更作为基线。

3

2.逻辑模型梳理

国内外既有模型的对比

逻辑模型梳理的实质,就是在在数据物理模型的基础上,通过实体关系分析、字段含义梳理,字段取值梳理等手段,形成企业IT系统逻辑模型。在这个阶段,需要引入数据架构师,业务专家,DBA,业务人员等不同角色的人员共同努力实现数据逻辑模型的梳理。在相应工具的支持下,以应用系统核心实体和关键实体为突破点,逐步展开和梳理逻辑模型梳理的步骤。

简单总结一下国内外数据管理/数据治理/数据资产管理方面的模型,就会发现,这些模型要么是太过于简单(比如2003年发布的DGI模型)不知道具体怎么落地,要么是太过于复杂(比如2006年的DAMA模型、DMM模型等)实施起来过于艰难。

由于完全的逻辑模型梳理往往会引发大量的工作量,一般而言,可以因应不同的系统、系统中不同的业务有重点地(分不同层次地)进行逻辑模型梳理。

相比于其他国内外的标准/模型或框架而言,数据资产管理“AIGOV五星模型”更关注数据资产管理的全局视角和整体过程,企业管理者或从业者可以更清楚了解整个数据资产化价值实现的过程。

3.业务数据地图梳理

韦德国际1946手机版官网 22

最后,在自动化的手段下,以业务专家为主梳理和形成业务与数据之间的关联关系,并以图形化、可视化方式展现出来。业务数据地图,着重体现业务-应用-数据之间的关系和影响。

新炬网络自提出数据资产管理五星模型之后,在与国内外同行分享交流,特别是结合在金融、电信、电力、制造、政府等领域的企业级实践过程中,历经多年持续迭代完善,目前的数据资产管理“AIGOV五星模型”正式版覆盖五大管理域、十三个能力项。

数据资产管理AIGOV五星模型详述

韦德国际1946手机版官网 23

1

数据资产管理AIGOV五星模型的含义

**四、小结
**

数据资产管理“AIGOV五星模型”将数据资产管理相关工作划分成五个管理域和十三个能力项。

企业进行数据治理的目的在于为企业数据化运营提供一个高质量的数据环境,包括数据完整性,数据安全性,数据一致性,数据标准化,数据准确和及时等。其中,数据模型梳理作为一种有效的自下而上的数据治理方式,可以提供一个关键手段来控制表面上变得日益复杂的数据管理环境,使人们可以驱动数据:更有效地管理他们的数据,可以更有效的使用分析,让数据发挥和创造更大的价值,真正指引企业的整体运营。

韦德国际1946手机版官网 24

作者简介:

第一个管理域是数据架构策略,针对管理体系,主要是人员的组织结构,以及相关策略制度。数据架构策略管理域只包含一个能力项:组织架构/策略制度。

梁铭图

第二个管理域是数据集成共享,针对数据资产管理的技术平台。数据集成共享管理域,包括三个能力项:分别是数据采集、数据集成和数据共享中心。

●DAMS架构师精英群专家,新炬网络首席架构师。

第三个管理域是数据治理,这部分就是数据治理的传统范畴,包括数据模型管理、元数据管理、数据标准管理以及数据质量管理四个能力项。

●拥有十年以上数据库运维、数据分析、数据库设计以及系统规划建设经验。

第四个管理域是数据运营管理,核心是如何提升数据安全和运营效率;包括数据生命周期管理、数据安全管理和主数据管理三个能力项。

●长期为国内电信运营商的大型IT系统进行系统软件维、数据架构规划、设计和实施以及大型IT系统数据建模工作,在数据架构管理以及数据资产管理方面有着深入的研究

第五个管理域是数据增值应用,通过数据分析挖掘和开放服务,真正将数据服务于企业和企业的战略联盟间,提升数据价值、实现业务互动。包括数据分析挖掘、数据开放服务两个能力项。

2016-1-19 18:13 |来自: 中国数据架构师联盟

2

数据资产管理五星模型能力项内容详解

韦德国际1946手机版官网 25

数据架构策略域,包含一个能力项组织架构/策略制度。

做好数据资产管理工作,关键要做好的是数据资产管理相关组织、制度、流程和规范等相关的建设工作。而其中最为重要的是数据资产管理组织的建立,建立一支真正为企业数据负责的管理和执行团队,并在企业决策、管理、执行和应用各层面全面实现数据资产管理工作。如果没有组织,如果没有人,规章制度靠谁去执行、去监督,如此下去企业中所有的数据资产管理规章制度只会是一纸空文,无法落地。

数据集成共享管理域,包括三个能力项:分别是数据采集、数据集成和数据共享中心。

围绕数据实现企业中各式数据的采集、集成以及共享,打破企业中形成的数据孤岛,将数据进行有效的整合和集成,让数据实现更多的关联和碰撞,产生更多业务、产品、服务以及管理等多方面的创新。数据采集整合集成中,应该强调基于元数据驱动数据集成。通过元数据管理,可以让数据集成过程更公开与透明,更容易发现数据集成过程中出现的问题,更为便捷地得到数据集成过程的深远影响。基于元数据驱动下的数据集成,可以使数据采集、处理、汇聚等过程更加规范和利于管理。

数据采集、集成和处理计算之后,形成各种各样的数据产品。这些数据产品通过数据共享中心打破企业历史沉淀的数据孤岛,通过数据采集、集成进行有效整合,构建企业级数据共享中心,满足企业内部数据交互、访问、共享的业务需求,使数据能够更好的反哺企业业务的发展。

数据治理域从提供一个透明可读以及高质量的数据环境着手。

数据治理往往始于数据模型管理,根据企业的特点和现状从正向建模和逆向两个方面入手。正向建模,从零开始对系统或者数据中心进行模型从新构建。但是对于绝大多数传统企业,企业存在大量存量系统或者在用系统,同时这些系统中数据模型可能并不清晰,形成事实上的数据黑盒子,企业人员很难理解和运用这些数据。所以,还需要进行逆向数据模型梳理,把数据模型整理清晰,梳理清楚企业数据的基本全貌。数据模型梳理完成以后,实现整个基于版本化的数据模型管控过程。通过数据模型管理体系构建,整个企业的IT系统以及大数据中心所有数据模型的纳入统一的管理当中。数据模型管理,最终将以数据地图、数据资产目录等方式向企业数据应用、管理和维护人员进行开放和共享,让数据相同干系人都可以从中获取必要的数据信息。

数据模型梳理完成,它将是元数据管理最重要输入内容。元数据管理通过各式的关于数据的信息采集、归并整合和应用等手段,向企业中提供全局企业多角度元数据视图。可视化的元数据管理工具,为企业数据应用和开发人员提供图形化全局元数据检索和查询,数据处理过程上下文的数据血缘关系分析,以及预览数据处理和变更对全局的影响度分析。借助元数据管理工具,实现强大元数据监控、稽核和版本管理的能力,便于数据应用和管理人员分析元数据与实际数据中心或者数据仓库之间的差异,防止元数据与实际系统之间出现“两张皮”的现象,维护元数据的权威性和准确性。

元数据和数据模型在企业内部数据建设还需要实现标准化过程,数据标准化维度往往包括多个方面,包括数据定义命名的标准化、数据设计的标准化、数据内容和格式的标准以及数据交换的标准等,通过这些数据标准化的工作打通企业内部数据的设计和认知的统一,便利于企业人员理解和认识数据,有利于数据的共享和整合。

完善的元数据管理以及数据标准体系,可以更加方便企业人员进行数据质量管理。数据质量管理借助工具手段将质量管理PDCA循环管理方法论真正落地。在这个过程中,利用数据质量管理工具对数据质量进行有效监控和分析。

数据运营管理域,核心是如何提升数据安全和运营效率。

数据资产管理团队通过制定合理、完整的数据生命周期管理方案,针对不同类型的业务数据进行贯穿其整个生命周期的管理。面对业务部门和IT部门对数据使用的要求进行调研和分析,结合企业中各类数据特点和趋势,制定不同数据在不同阶段数据生命周期策略,企业上下确认并达成一致后,形成企业中数据生命周期管理规范并发布。

数据资产管理团队根据国家、行业和企业对数据安全管控需求,对现有数据进行敏感分级分类,形成敏感数据目录。以此为基础,还需要针对不同数据制定和完善如安全审计、测试数据管理、数据脱敏、数据提取管理等应用场景。

数据资产管理团队还负责管理描述企业关键业务实体的核心主数据,通过主数据采集、质量管理、审核、发布等方式统一管理企业的黄金数据。

数据增值应用管理域,通过数据分析挖掘和开放服务,真正将数据服务于企业和企业的战略联盟间,提升数据价值、实现业务互动。包括数据分析挖掘、数据开放服务两个能力项。

企业数据分析人员,借助数据可视化、数据统计、挖掘算法和机器学习对整合到大数据共享中心的数据进行分析验证,提取和发现有用的信息并形成结论。

同时,企业将原始数据、经过有效加工的数据或者整合后的数据报告,通过数据资产化的评估、脱敏和定价,与外部合作伙伴实现数据交换、交易和流通,为企业获得战略或财务收益。

数据资产管理五星模型的价值和意义

进入大数据的时代,数据被业界公认为是企业的最宝贵资产之一,数据的价值得到广泛认同。企业依赖数据资产管理为其提供可靠、有价值和高质量的数据,提供更好的产品和服务,降低开发和运维成本,控制风险,以及为企业提供更明智和更有效的决策数据支持。

因此,企业亟需对数据资产进行有效的管理,提升数据的价值。

首先,数据资产管理AIGOV五星模型为企业的数据资产管理提供了管理框架,通过这个有效的管理框架,企业可以参照自身的数据现状和不足,制定适合自身特点和战略的数据资产管理规划,并且有的放矢地按步骤有计划地开展其数据资产管理活动,分阶段实现其整体数据资产管理蓝图。

其次,数据资产管理AIGOV五星模型为企业提供了数据资产管理实践级的方法论,通过这些在各大型企事业单位中经受过实战演练的方法、规范和制度流程。它指导企业更有效地开展各种数据资产管理活动,有助于解决企业在实施数据资产管理可能遇到各种问题和规避常见的陷阱。

最后,数据资产管理AIGOV五星模型提出的数据资产管理平台体系,为企业实施数据资产管理提供了平台化的支撑。通过各种可视化的数据资产管理平台,更有效的沉淀企业数据资产知识图谱,实现企业数据知识的共享和传播,同时高效地管理数据和提升数据质量,推动企业内外的数据共享和应用,提升企业数据价值,实现数据的资产化。

数据资产管理AIGOV五星模型为构建企业的数据资产管理环境,实现数据资产保值和增值,提高数据质量都具有非常重要的意义。

数据资产管理五星模型的企业实践案例

AIGOV五星模型在不同行业的大型企业中进行了企业级的实践活动。

某大型制造企业在企业数据应用于企业运营的过程中,出现了许多关于数据的形形色色的问题,诸如:

  • 数据资源分散:数据形成事实上孤岛,数据资源及管理、开发应用相对分散,数据采集、整合、分析以及数据应用没形成闭环;
  • 数据黑盒化:企业人员对应用系统中数据理解和认知不足,数据字典与实际脱节;
  • 信息难公开:没有平台支撑,梳理出来的有效数据信息也无法在企业中发布和共享;
  • 安全管控不足:缺少基本数据安全管控手段,没有必要的数据安全目录;
  • 数据质量不高:历史存量数据质量不高,存在大量重码、无效数据,数据质量管理任重道远;
  • 数据容量问题:数据容量有效收集与分析不足,数据化决策支持不够;
  • ……

这些数据的问题极大限制了该企业进一步运用企业数据资产,阻碍其利用数据做出精确的分析和预测,为企业战略决策服务的目标。

该企业在与我们一起共同努力,着手数据资产管理项目实施,实现了数据资产管理五星模型的快速落地。

首先,建立技术和业务共同参与的企业数据资产管理团队,并在项目初期以企业现状和未来战略为基础,制定了三阶段的数据资产管理规则,从基础着手逐步构建适合该企业现状和特点的数据资产管理体系。

其次,着手梳理企业数据资产,重新整理企业数据字典、数据模型以及相关元数据,打破数据黑盒,让企业重新掌握数据资产。

最后,建立数据资产管理平台,通过可视化的平台,实现了数据模型、元数据、数据生命周期和数据安全的统一管理,有效解决了之前困扰客户的数据资源分散、信息不公开、数据质量不高、数据黑盒化、安全管控不足和数据容量问题等。通过个性化的数据门户,面向企业内部的不同用户和开发人员,赋予不同权限的快捷查询和实时检索能力。

韦德国际1946手机版官网 26

数据资产管理平台,轻松将企业级的数据标准、数据模型、元数据和数据质量实现整合和打通,以数据资产目录、数据地图等方式实现资产可视化和智能化,做到了:

  • 集中式的元数据管理:实现数据来龙去脉和相互关系的可视化;
  • 企业级多维度元数据视图,提供可视化的展现、检索和查询,上下文的数据血缘关系分析,以及预览数据处理和变更对全局的影响度分析;
  • 元数据监控、稽核和版本管理能力,实现数据标准、元数据设计稿与实际业务系统之间的差异,防止元数据与实际系统之间出现“两张皮”的现象,维护元数据的权威性和准确性;
  • 数据安全管理:识别企业敏感数据分类,洞悉数据安全关键数据的分布;
  • 数据生命周期管理:实时容量监控和趋势分析,提升系统性能,降低运维成本;
  • 个性化数据门户:面向不同用户,提供个性化门户、便捷查询和实时检索。

总结

数据资产管理AIGOV五星模型,作为一个全新的数据管理方法论,必定会为大数据业界带来一种全新的思维模式,也会给大数据产业带来一种全新的助推能力。该模型随着中国数据资产管理峰会的传播,将吸引国内外政府机构和企事业单位的数据人才进行学习和推广,一方面能为行业储备人才,另一方面可以促进大数据行业发展。在该模型不断实施和推广过程中,还会不断发现和培育行业标杆,行业标杆进一步推动AIGOV五星模型更加完善,使行业和人才共同受益。

参考文献:

[1] CMMI Institute. CMMI institute data management maturity model v1.0[R].[S.l.:s.n.], 2014.

[2] EDM Council. EDMC DCAM version 1.0[R].[S.l.:s.n.], 2015.

[3] AIKEN P , ALLEN M D , PARKER B ,et al. Measuring data management practice maturity:a community's selfassessment [J]. Computer, 2007, 40(4): 42-50.

[4] LI B, BIN J Z. Data management capability maturity model[J]. Big Data Research, 2017, 3(4): 29-36.返回搜狐,查看更多

责任编辑:

本文由bv1946伟德入口发布于互联网,转载请注明出处:数据价值提升新模式,数据模型梳理

关键词: