- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- <iframe src="https://www.slidestalk.com/u2345/64093?embed" frame border="0" width="640" height="360" scrolling="no" allowfullscreen="true">复制
- 微信扫一扫分享
数据资产管理实践白皮书
展开查看详情
1 .
2 . 版权声明 本白皮书版权属于中国信息通信研究院云计算与大数 据研究所、CCSA TC601 大数据技术标准推进委员会,并受 法律保护。转载、摘编或利用其它方式使用本白皮书文字或 《数据资产管理实践白皮书(4.0)》”。 者观点的,应注明“来源: 违反上述声明者,作者将追究其相关法律责任。 I
3 . 编委会 编委会成员:何宝宏、魏凯、姜春宇、刘成成、闫树、李雨霏、刘海燕、车 春雷、郭宝生、蓝曾威、马卓佳、李慧、贾丕星、符山、陈涛、周庭宇、孙龙君、 农益辉、刘天斯、黄志、钱岭、齐骥、侯志强、石在辉、刘童桐、吴嘉、张振、 林锋、周万、王波、郝滨、王鹏、刘庆会、胡浩、于辰涛、王晟、陈志凌、刘俊 良、周刚、王军、李今朝、李岳璘、王伟哲、曹冬平、蓝海、邹素雯、董喆、熊 威、蔡春久、王琤、朱金宝、骆阳、魏民、刘浩、施红明、白梅、寇新华、陈燕 琪、蒋勇、高伟、赵乔、霍琦、訾津津、王雀陵、张治国、武威、薛勇、张辉、 周建龙、杨嘉诚、李慧、陈彬 参与单位:中国信息通信研究院、中国建设银行、中国电信股份有限公司云 计算分公司、中软国际有限公司、腾讯科技(深圳)有限公司、中国移动苏州研 发中心、中国移动通信研究院、中国电信股份有限公司、杭州数梦工场科技有限 公司、普元信息技术股份有限公司、北京飞利信科技股份有限公司、联想(北京) 有限公司、成都四方伟业软件股份有限公司、百度在线网络技术(北京)有限公 司、阿里巴巴(中国)有限公司、北京东方金信科技有限公司、烽火通信科技股 份有限公司、石化盈科信息技术有限责任公司、北京数语科技有限公司、国网征 信有限公司、航天恒星科技有限公司、广州信安数据有限公司、亿信华辰有限公 司、北京卓信智恒数据科技股份有限公司、御数坊(北京)科技咨询有限公司、 广州石竹软件、航天恒星科技有限公司 II
4 . 前 言 党的十九大报告提出要“推动互联网、大数据、人工智能和实体 经济深度融合”,进一步突出了大数据作为国家基础性战略性资源的 重要地位,掌握丰富的高价值数据资源日益成为抢占未来发展主动权 的前提和保障。 数据是资产的概念已经成为行业共识。然而现实中,对数据资产 的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。首 先,大部分企业和政府部门的数据基础还很薄弱,存在数据标准混乱、 数据质量层次不齐、各条块之间数据孤岛化严重等现象,阻碍了数据 的共享应用。其次,受限于数据规模和数据源种类的丰富程度,多数 企业的数据应用刚刚起步,主要集中在精准营销,舆情感知和风险控 制等有限场景,应用深度不够,应用空间亟待开拓。再次,由于数据 的价值很难评估,企业难以对数据的成本以及其对业务的贡献进行评 估,从而难以像运营有形资产一样管理数据资产。 国际上,1990 年以来,以国际数据管理协会(DAMA,Data Management Association International)、能力成熟度模型集成(CMMI, Capability Maturity Model Integration)为代表的组织机构长期从事数 据管理的研究,形成了一定的理论成果。在这些理论的指导下,我国 金融、电信、能源、互联网等信息化较为先进的行业,已经积累了丰 富的数据资产管理经验。这些经验的总结对于补充完善数据管理理论 体系、推进数据资产管理在各个行业的普及和发展有着重要意义。 为了促进数据资产管理的研究,我们组织编写了《数据资产管理 III
5 .实践白皮书》 。本白皮书分为四大部分:第一部分介绍了数据资产管 理的概述及变革中的数据资产管理呈现出来的特征趋势;第二部分从 实践角度出发阐述了数据资产管理的主要内容;第三部分重点介绍了 数据资产管理的实施步骤、实践模式、技术工具和成功要素;最后结 合实践经验,介绍了电信、金融、政务、医疗和工业等相关领域的数 据资产管理案例。本白皮书在《数据资产管理实践白皮书 3.0》的基 础上,以全面盘点数据资产、不断提升数据质量、实现数据互联互通、 提高数据获取效率、保障数据安全合规、数据价值持续释放等角度, 通过权威数据和典型事件,生动剖析了数据资产管理的重点内容和目 标。在原有管理职能的介绍下,尝试说明数据资产化管理的关键活动 步骤,并在实施步骤方面,增加了各实施阶段的具体输出物,并增加 了“数据价值管理工具”和“数据服务管理工具”,更好的指导企业搭建 数据资产管理平台,开展数据资产管理相关工作。 本白皮书可以为政府和企业开展数据资产管理工作提供参考,也 可以作为相关产品和服务提供商的参考依据。由于时间仓促,水平所 限,我们的工作还有很多不足。下一步,我们还将广泛采纳各方面意 见建议,进一步深化相关研究,持续完善白皮书内容,在已有版本的 基础上,适时修订发布新版。我们诚邀各界专家学者参与我们的研究 工作,积极献言献策,共同完善国内数据资产管理理论和方法论体系, 为促进大数据与实体经济深度融合做出积极贡献。如您有意愿,请联 系我们:liyufei @caict.ac.cn。 IV
6 . 目 录 一、数据资产管理概述................................................................................................ 1 (一) 数据资产管理的定义与内涵...................................................................... 1 1. 数据资产管理的概念......................................................................... 1 2. 数据资产管理的内涵......................................................................... 2 3. 数据资产管理的演变......................................................................... 3 (二) 数据资产管理的重要性.............................................................................. 4 1. 数据价值难以有效发挥的原因 ......................................................... 5 2. 数据资产管理是充分发挥数据价值的必经之路 ............................. 6 (三) 数据资产管理是各方关注的重要议题...................................................... 8 (四) 数据资产管理的现状与发展.................................................................... 10 1. 数据管理对象变化 ........................................................................... 10 2. 处理架构更新换代 ........................................................................... 11 3. 组织职能升级变迁 ........................................................................... 12 4. 管理手段自动智能 ........................................................................... 12 5. 应用范围不断扩大 ........................................................................... 13 二、数据资产管理的主要内容.................................................................................. 14 (一) 管理职能 .................................................................................................... 14 1. 数据标准管理 ................................................................................... 14 2. 数据模型管理 ................................................................................... 15 3. 元数据管理 ....................................................................................... 17 4. 主数据管理 ....................................................................................... 19 5. 数据质量管理 ................................................................................... 20 6. 数据安全管理 ................................................................................... 21 7. 数据价值管理 ................................................................................... 22 8. 数据共享管理 ................................................................................... 25 (二) 保障措施 .................................................................................................... 26 1. 制定战略规划 ................................................................................... 27 2. 完善组织架构 ................................................................................... 27 3. 建立制度体系 ................................................................................... 29 4. 设置审计机制 ................................................................................... 31 5. 开展培训宣贯 ................................................................................... 31 三、数据资产管理的实施要点.................................................................................. 33 (一) 实施步骤 .................................................................................................... 33 1. 第一阶段:统筹规划 ....................................................................... 34 2. 第二阶段:管理实施 ....................................................................... 35 3. 第三阶段:稽核检查 ....................................................................... 37 4. 第四阶段:资产运营 ....................................................................... 38 (二) 实践模式 .................................................................................................... 40 1. 数据资产管理的建设策略 ............................................................... 40 2. 数据资产管理的切入方式 ............................................................... 42 (三) 软件工具 .................................................................................................... 43 V
7 . 1. 数据标准管理工具 ........................................................................... 44 2. 数据模型管理工具 ........................................................................... 45 3. 元数据管理工具 ............................................................................... 46 4. 主数据管理工具 ............................................................................... 47 5. 数据质量管理工具 ........................................................................... 48 6. 数据安全管理工具 ........................................................................... 49 7. 数据价值管理工具 ........................................................................... 50 8. 数据服务管理工具 ........................................................................... 51 (四) 成功要素 .................................................................................................... 52 1. 明确责权利标,有效推进管理....................................................... 52 2. 合理引进技术,提升治理能力 ....................................................... 53 3. 着眼业务应用,释放数据价值 ....................................................... 54 4. 加强数据合规,注重风险风控 ....................................................... 54 5. 持续迭代完善,形成良性闭环 ....................................................... 55 四、总结与展望.......................................................................................................... 56 附录:术语.................................................................................................................. 58 VI
8 . 图 表 目 录 表 1 数据成本和价值评估的维度 ............................ 23 表 2 数据资产价值评估典型方法比较 ....................... 24 表 3 数据资产管理组织架构角色职责 ....................... 28 表 4 数据资产管理的两种建设策略 .......................... 40 表 5 数据资产管理的切入方式 .............................. 42 图 1 数据资产管理在大数据体系中的定位 .................... 2 图 2 大数据背景下的数据资产管理特点特征 ................. 10 图 3 数据资产管理体系架构 ................................ 14 图 4 数据资产管理保障措施组织架构 ....................... 27 图 5 数据认责机制 ........................................ 29 图 6 一种典型的制度体系架构 .............................. 30 图 7 数据资产管理实施步骤 ................................ 34 VII
9 .一、 数据资产管理概述 众所周知,数据是资源,伴随着大数据时代支撑数据交换共享和 数据服务应用的技术发展,不断积淀的数据开始逐渐发挥它的价值, 因此,业界提出可以将数据作为一项资产,“盘活”数据以充分释放其 附加价值。但是事实上,如果缺乏恰当有效的管理手段,数据也可能 会成为一项负债。同时,相较于实物资产,数据资产的管理目前还处 于初级阶段,数据质量、数据安全、资产评估、资产交换交易等精细 管理、价值挖掘和持续运营也较为薄弱。 数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动 能转换、经济转向高质量发展阶段的重要工作内容。本章将阐述数据 资产管理的定义与内涵,分析数据资产管理在大数据领域的重要意义, 并对数据资产管理在大数据发展中的趋势进行分析,探讨数据资产管 理在企业中的实践模式。 (一) 数据资产管理的定义与内涵 1. 数据资产管理的概念 数据资产(Data Asset)是指由企业拥有或者控制的,能够为企业 带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件 资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数 据资产是能够为企业产生价值的数据资源。 数据资产管理(DAM,Data Asset Management)是指规划、控制 1
10 .和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保 护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、 技术和管理,以确保数据资产保值增值。 2. 数据资产管理的内涵 数据资产管理在大数据体系中的定位如图 1 所示,它位于应用 和底层平台中间,处于承上启下的重要地位。对上支持以价值创造为 导向的数据应用开发,对下依托大数据平台实现数据全生命周期的管 理。数据资产管理包括两个重要方面,一是数据资产管理的核心管理 职能,二是确保这些管理职能落地实施的保障措施,包括战略规划、 组织架构、制度体系等。 图 1 数据资产管理在大数据体系中的定位 数据资产管理贯穿数据采集、存储、应用和销毁整个生命周期全 过程。企业管理数据资产就是对数据进行全生命周期的资产化管理, 促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整 2
11 .个管理流程中的成本消耗。在数据的生命周期开始前,企业先期制定 数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控 制所需的技术能力。数据资产管理一般来说包括统筹规划、管理实施、 稽核检查和资产运营四个主要阶段,详见第三部分数据资产管理的实 施要点。 3. 数据资产管理的演变 数据管理的概念是伴随上世纪八十年代数据随机存储技术和数 据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出 的 。 国 际 数 据 管 理 协 会 ( DAMA , Data Management Association International)在 2009 年发布的数据管理知识体系 DMBOK1.0①中, 将数据管理定义为规划、控制和提供数据资产,发挥数据资产的价值。 DAMA 数据管理体系将数据管理划分为 10 个领域,分别是数据治理、 数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据 和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据 管理和数据质量管理。其中,数据治理是高层次的、规划性的数据管 理制度活动,其关键管理活动包括制定数据战略、完善数据政策、建 立数据架构等,注重数据的使用者、使用方式、使用权限等合规性制 定,强调开展数据资产全生命周期管理前的基础工作,关注数据资产 管理中的相关保障措施。 2015 年,DAMA 在 DBMOK2.0 知识领域将其扩展为 11 个管理 ① The DAMA Guide to the Data Management Body of Knowledge 3
12 .职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安 全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓 库和商务智能(BI,Business Intelligence)、元数据、数据质量等。 在数据资产化背景下,数据资产管理是在数据管理基础上的进一 步发展,可以视作数据管理的升级版。主要区别可以从三方面看:一 是数据管理的视角不同,数据资产管理强调数据是一种资产,基于数 据资产的价值、成本、收益开展全生命周期的管理。二是管理职能有 所不同,数据资产管理包含数据模型、元数据、数据质量、参考数据 和主数据、数据安全等传统数据管理职能,同时整合数据架构、数据 存储与操作等内容,将数据标准管理纳入管理职能,并针对当下应用 场景、平台建设情况,增加了数据价值管理职能。三是管理要求有所 升级,在“数据资源管理转向数据资产管理”的理念影响下,相应的组 织架构和管理制度也有所变化,需要有更专业的管理队伍和更细致的 管理制度来确保数据资产管理的流程性、安全性和有效性。 (二) 数据资产管理的重要性 数据作为越来越重要的生产要素,将成为比土地、石油、煤矿等 更为核心的生产资源,如何加工利用数据,释放数据价值,实现企业 的数字化转型,是各企业面临的重要课题。虽然充分有效挖掘数据价 值的过程中充满了障碍,但是数据资产管理逐步扫平了这些障碍。 4
13 . 1. 数据价值难以有效发挥的原因 当前企业在数据资产管理中面临诸多问题,这些问题阻碍了数据 的互联互通和高效利用,成为了数据价值难以有效释放的瓶颈,主要 包括以下几点: 一是缺乏统一数据视图。企业的数据资源散落在多个业务系统中, 企业主和业务人员无法及时感知到数据的分布与更新情况,无法快速 找到符合自己需求的数据,也无法发现和识别有价值的数据并纳入数 据资产。 二是数据孤岛普遍存在。据统计,98%的企业都存在数据孤岛问 题②。而造成数据孤岛的原因既包括技术上的,也包括标准和管理制 度上的,这阻碍了业务系统之间顺畅的数据共享,降低了资源利用率 和数据的可得性。 三是数据质量低下。糟糕的数据质量常常意味着糟糕的业务决策, 将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等 问题。根据数据质量专家 Larry English 的统计,不良的数据质量使企 业额外花费 15%到 25%的成本③。而数据能够被当作资产,并发挥越 来越大的价值,其前提是数据质量的不断提升。 四是缺乏安全的数据环境。数据安全造成的风险主要包括数据泄 露与数据滥用等。根据数据泄露水平指数(Breach Level Index)监测, ② https://dzone.com/articles/data-silos-are-the-greatest-stumbling-block-to-an ③ https://searchdatamanagement.techtarget.com/podcast/Data-quality-trends-with-expert-Larry-English 5
14 .自 2013 年以来全球数据泄露高达 130 亿条④,其中很多都是由于管 理制度不完善造成。随着各个机构数据的快速累积,一旦发生数据安 全事件,其对企业经营和用户利益的危害性将越来越大,束缚数据价 值的释放。 五是缺乏数据价值管理体系。大部分企业还没有建立起一个有效 管理和应用数据的模式,包括数据价值评估、数据成本管理等,对数 据服务和数据应用也缺乏合规性的指导,没有找到一条释放数据价值 的“最优路径”。 2. 数据资产管理是充分发挥数据价值的必经之路 数据资产管理通过解决释放数据价值过程中面临的诸多问题,以 体系化的方式实现数据的可得、可用、好用,用较小的数据成本获得 较大的数据收益,具体体现在以下六个方面: 一是全面掌握数据资产现状。数据资产管理的切入点是对数据家 当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。 从资产化管理和展示数据的角度出发,数据地图作为数据资产盘点的 输出物之一,不承载具体数据内容,却可以帮助业务人员快速精确查 找他们想要的数据。其次,数据地图作为企业数据的全盘映射,帮助 数据开发者和数据使用者了解数据,并成为对数据资产管理进行有效 监控的手段。 二是提升数据质量。早在 1957 年的时候,计算机刚刚发明的时 ④ https://www.breachlevelindex.com/ 6
15 .候,大家就意识到数据对于计算机决策的影响,提出 Garbage In Garbage Out⑤的警示。2001 年,美国公布《数据质量法案(Data Quality Act)》,提出提升数据质量的指导意见。2018 年,中国银行保险监督 管理委员会发布《银行业金融机构数据治理指引》 ,强调高质量的数 据在发挥数据价值中的重要性。数据资产管理通过建立一套切实可行 的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制 数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优 质资产的转变。 三是实现数据互联互通。数据资产管理通过制定企业内部统一的 数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、 数据传输、数据使用等数据共享相关流程规范,,打破数据孤岛,实 现企业内数据高效共享。同时搭建数据流通开放平台,增强数据的可 得性,促进数据的交换流通,提升数据的服务应用能力。 四是提高数据获取效率。Gartner 统计,数据分析人员或数据科 学家需要花费 70%到 80%的精力在数据准备上。数据资产管理通过 搭建数据管理平台,采取机器学习等相关自动化技术,将大量前期的 数据准备时间和交付项目的时间缩短,提升数据的获取和服务效率, 让数据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准 备时间,加快数据价值的释放过程。 五是保障数据安全合规。保障安全是数据资产管理的底线,数据 ⑤ https://en.wikipedia.org/wiki/Garbage_in,_garbage_out 7
16 .资产管理通过制定完善的数据安全策略、建立体系化的数据安全措施、 执行数据安全审计,全方位进行安全管控,确保数据获取和使用合法 合规,为数据价值的充分挖掘提供了安全可靠的环境。 六是数据价值持续释放。存储和管理数据的最终目的是实现数据 的价值,数据资产管理将数据作为一项资产,并通过一个持续和动态 的全生命周期管理过程,使数据资产能够为企业数字化转型提供源源 不断的动力。从企业高管到业务人员及技术人员,全员都要以持续释 放数据价值为理念来重视数据资源管理工作。管理方面,建立一套符 合数据驱动的组织管理制度流程和价值评估体系。技术方面,建设现 代化数据平台、引入智能化技术,确保数据资产管理系统平台持续、 健康地为数据资产管理体系服务。 (三) 数据资产管理是各方关注的重要议题 数据资产管理不仅仅是单一机构的课题。近年来,地方政府层面 越来越重视数据资源的管理,开展了很多工作。在新一轮的政府机构 改革中,设置专门的数据管理机构成为热点,已有贵州、山东、重庆、 福建、广东、浙江、吉林、广西等省份设置了厅局级的大数据管理局, 统筹推动地方“数字政府”建设,促进政务信息资源共享协同应用。早 在 2017 年 7 月,贵州省大数据发展领导小组办公室印发实施了《贵 州省政府数据资产管理登记暂行办法》 ,成为全国首个出台政府数据 资产管理登记办法的省份。 行业层面,金融行业高度重视数据资产管理工作。2016 年 12 月 8
17 .30 日,中国证券业协会发布《证券公司全面风险管理规范》 ,明确指 出证券公司应当建立健全数据治理和质量控制机制。2018 年 5 月, 银保监会(原银监会)发布《银行业金融机构数据治理指引》 ,要求 银行业应该将数据治理纳入公司治理范畴。2018 年,中国支付清算协 会针对非银行支付机构数据资产管理状况开展了调研。医疗行业, 2018 年 9 月,国家卫生健康委员会印发《国家健康医疗大数据标准、 安全和服务管理办法(试行)的通知》 ,2019 年 4 月,国家卫生健康 委办公厅印发《全国医院数据上报管理方案(试行) 》及《全国医院 上报数据统计分析指标集(试行) 》,充分发挥健康医疗大数据作为国 家重要基础性战略资源的作用。在工业领域,在工业和信息化部信息 化与软件服务业司指导下,工业互联网产业联盟(AII)联合中国信息 通信研究院发布了《中国工业企业数据资产管理调查报告(2018)》。 国家层面,数据合规性与数据跨境流动成为各国关注重点。2017 年 6 月 1 日正式生效的《中华人民共和国网络安全法》第三十七条规 定:“关键信息基础设施的运营者在中华人民共和国境内运营中收集 和产生的个人信息和重要数据应当在境内存储。因业务需要,确需向 境外提供的,应当按照国家网信部门会同国务院有关部门制定的办法 进行安全评估”。2018 年 5 月 25 日,一般数据保护条例(GDPR)正式 在欧盟实施。各国对于数据跨境流动的关注则包含了数据主权、隐私 保护、法律适用与管辖、乃至国际贸易规则等内容。 9
18 .(四) 数据资产管理的现状与发展 随着管理数据对象越发复杂,数据处理技术越发成熟,数据应用 范围越发广泛,数据资产管理在数据处理架构、组织职能、管理手段 等方面逐渐呈现了一些新的特点和发展趋势。 图 2 大数据背景下的数据资产管理特点特征 1. 数据管理对象变化 数据作为数据资产管理的对象,在近些年体现出规模海量、来源 多样、格式繁杂、采集实时等特征。在数据量方面,单一机构的数据 规模由以前的 GB 级上升到 TB 级,甚至 PB 级、EB 级,数据增速 快。在数据格式种类方面,除传统的结构化数据之外,文本数据、图 10
19 .像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越 来越大,种类日益丰富。在数据来源方面,数据既包括内部数据,也 包括来自第三方的外部数据,既包括传统业务处理采集的业务数据, 也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的 数据。同时,由于秒级或者毫秒级的响应将帮助企业更快地洞察与分 析数据,实时数据正在成为企业数据重要的管理对象,目前实时数据 采集和处理已广泛应用于互联网、零售、电力、交通等多个行业,利 用物联网、实时数据库等技术实现交易实时处理、生产实时监控、交 通实时调控等。 2. 处理架构更新换代 处理架构的更新换代体现以下几个方面。一是数据处理的底层架 构向云平台和分布式系统迁移。Gartner 在 2018 年针对数据和分析采 用方式的调查结果表明,63%企业目前使用最普遍的信息基础架构基 技术为“基于云平台的数据存储”。同时以 Hadoop、Spark 等分布式技 术和组件为核心的“计算&存储混搭”的数据处理架构,能够支持批量 和实时的数据加载以及灵活的业务需求。二是数据的预处理流程正在 从传统的 ETL 结构向 ELT 转变。传统的数据集成处理架构是 ETL 结 构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数 据,经过数据清洗,将数据加载到数据仓库中去。而大数据背景下的 架构体系是 ELT 结构,其根据上层的应用需求,随时从数据湖⑥中抽 ⑥ 数据湖(Data Lake) :数据湖是以其自然格式存储的数据的系统或存储库,通常是对象 blob 或文 11
20 .取想要的原始数据进行建模分析。 3. 组织职能升级变迁 传统的管理制度体系中,数据管理职能主要由 IT 部门来负责, 是 IT 部门的一项工作,业务部门配合 IT 部门执行数据管理,提出需 求。随着数据分析与业务融合越来越深入,业务部门逐步成为大数据 应用的主角,因而数据资产管理在企业中扮演越来越重要的角色。出 现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官 (CDO,Chief Data Officer)岗位。在这种变迁背景下,数据管理的 组织架构也面临革新的需求。 4. 管理手段自动智能 依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的 “专业工具”取代,越来越多的数据管理员、业务分析师和数据领导者 采用“平台工具”增强企业的数据管理能力,包括梳理元数据、管理主 数据,优化数据集成、提升数据质量等。具体来说,机器学习和人工 智能通过自动提取元数据,将不同的数据进行关联并分析;通过配置 和优化主数据,使主数据的管理更加便捷和准确;通过语义分析实现 相同数据源的连接,简化数据集成流程;通过增强数据的分析、清理 件。 数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分 析和机器学习等任务的转换数据。 数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化 数据(CSV,日志,XML,JSON) ,非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音 频,视频) 。来源:维基百科 12
21 .和识别,提升数据质量。同时,随着智能优化技术不断引入到数据管 理活动中,数据间的多维关系将被自动化识别和可视化展现,帮助用 户高效探索数据和分析数据,降低数据使用门槛,有助于非专业人士 成为数据科学家,扩大数据的使用对象和应用范围。 5. 应用范围不断扩大 数据资产管理的使用不仅仅局限于拥有海量数据或强大数据处 理能力的机构,任何一个机构都可以成为数据资产化管理的实践者。 选择一个小型且效果明显的项目实施数据资产管理,也可以成为逐步 构建完整数据资产管理体系的良好开端。此外,数据资产的应用范围 已经从传统的企业内部应用为主发展为支撑内部和服务外部并重,数 据资产应用和服务范围的扩大成为企业战略发展的一部分,实现数据 资产保值到增值的跨越。 13
22 .二、 数据资产管理的主要内容 数据资产管理框架如图 3 所示,包含 8 个管理职能和 5 个保障 措施。管理职能是指落实数据资产管理的一系列具体行为,保障措施 是为了支持管理职能实现的一些辅助的组织架构和制度体系。本章主 要描述具体的管理职能和保障措施的详细内容。 图 3 数据资产管理体系架构 (一) 管理职能 数据资产管理的管理职能包括数据标准管理、数据模型管理、元 数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管 理以及数据共享管理等 8 个方面,详细阐述如下。 1. 数据标准管理 数据标准是指保障数据的内外部使用和交换的一致性和准确性 的规范性约束,通常可分为基础类数据标准和指标类数据标准。 基础类数据标准一般包括参考数据和主数据标准、逻辑数据模型 标准、物理数据模型标准、元数据标准、公共代码和编码标准等。指 14
23 .标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标 准。基础指标一般不含维度信息,且具有特定业务和经济含义,计算 指标通常由两个以上基础指标计算得出。 数据标准一般包含 3 个要素:标准分类、标准信息项(标准内容) 和相关公共代码和编码(如国标、行标等) 。其中标准分类指按照不 同的特点或性质区分数据概念;信息项是对标准对象的特点、性质等 的描述集合;公共代码指某一标准所涉及对象属性的编码。 数据标准管理是指数据标准的制定和实施的一系列活动,关键活 动包括: 理解数据标准化需求; 构建数据标准体系和规范; 规划制定数据标准化的实施路线和方案; 制定数据标准管理办法和实施流程要求; 建设数据标准管理工具,推动数据标准的执行落地; 评估数据标准化工作的开展情况。 数据标准管理的目标是通过统一的数据标准制定和发布,结合制 度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效 性、一致性、规范性,推动数据的共享开放,构建统一的数据资产地 图,为数据资产管理活动提供参考依据。 2. 数据模型管理 数据模型是现实世界数据特征的抽象,用于描述一组数据的概念 15
24 .和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和 约束条件。数据模型所描述的内容有三部分:数据结构、数据操作(其 中 ER 图数据模型中无数据操作)和数据约束,形成数据结构的基本 蓝图,也是企业数据资产的战略地图。数据模型按不同的应用层次分 成概念数据模型、逻辑数据模型、物理数据模型三种类型。 概念模型:是一种面向用户、面向客观世界的模型,主要用来描 述现实世界的概念化结构,与具体的数据库管理系统(DBMS, Database Management System)无关; 逻辑模型:是一种以概念模型的框架为基础,根据业务条线、业 务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模 型。逻辑模型可用于指导在不同的 DBMS 系统中实现。逻辑数据模 型包括网状数据模型、层次数据模型等; 物理模型:是一种面向计算机物理表示的模型,描述了数据在储 存介质上的组织结构。物理模型的设计应基于逻辑模型的成果,以保 证实现业务需求。它不但与具体的 DBMS 有关,而且还与操作系统 和硬件有关,同时考虑系统性能的相关要求。 数据模型管理是指在信息系统设计时,参考业务模型,使用标准 化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和 运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据 模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合, 提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据 模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、 16
25 .版本管理等。数据模型管理的关键活动包括: 定义和分析企业数据需求; 定义标准化的业务用语、单词、域、编码等; 设计标准化数据模型,遵循数据设计规范; 制定数据模型管理办法和实施流程要求; 建设数据模型管理工具,统一管控企业数据模型。 数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数 据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理 可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部 门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务 数据的统一完整视图。 3. 元数据管理 元数据(Metadata)是描述数据的数据。元数据按用途不同分为 技术元数据、业务元数据和管理元数据。 技术元数据(Technical Metadata) :描述数据系统中技术领域相关 概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、 源数据到目的数据的映射、数据转换的描述等; 业务元数据(Business Metadata):描述数据系统中业务领域相关 概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口 径等; 管理元数据(Management Metadata):描述数据系统中管理领域 17
26 .相关概念、关系、规则的数据,主要包括人员角色、岗位职责、管理 流程等信息。 元数据管理(Meta Data Management)是数据资产管理的重要 基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制 行为。元数据管理的内容可以从以下六个角度进行概括,即“向前看”: “我”是谁加工出来的;“向后看”:“我”又支持了谁的加工;“看历史”: 过去的“我”长什么样子;“看本体”:“我”的定义和格式是什么;“向上 看”:“我”的父节点是谁;“向下看”:“我”的子节点是谁。元数据管理 的关键活动包括: 理解企业元数据管理需求; 开发和维护元数据标准; 建设元数据管理工具; 创建、采集、整合元数据; 管理元数据存储库; 分发和使用元数据; 元数据分析(血缘分析、影响分析、数据地图等)。 元数据管理内容描述了数据在使用流程中的信息,通过血缘分析 可以实现关键信息的追踪和记录,影响分析帮助了解分析对象的下游 数据信息,快速掌握元数据变更可能造成的影响,有效评估变化该元 数据带来的风险,逐渐成为数据资产管理发展的关键驱动力。 18
27 . 4. 主数据管理 主数据(Master Data)是指用来描述企业核心业务实体的数据, 是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重 复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价 值的基础数据,是各业务应用和各系统之间进行数据交互的基础。从 业务角度,主数据是相对“固定”的,变化缓慢。主数据是企业信息系 统的神经中枢,是业务运行和决策分析的基础。例如供应商、客户、 企业组织机构和员工、产品、渠道、科目 COA、BOM 等。 主数据管理(MDM ,Master Data Management)是一系列规则、 应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录 数据。主数据管理的关键活动包括: 理解主数据的整合需求; 识别主数据的来源; 定义和维护数据整合架构; 实施主数据解决方案; 定义和维护数据匹配规则; 根据业务规则和数据质量标准对收集到的主数据进 行加工清理; 建立主数据创建、变更的流程审批机制; 实现各个关联系统与主数据存储库数据同步; 方便修改、监控、更新关联系统主数据变化。 19
28 . 主数据管理通过对主数据值进行控制,使得企业可以跨系统的使 用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量 主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。 5. 数据质量管理 数据质量是保证数据应用效果的基础。衡量数据质量的指标体系 有很多,几个典型的指标有:完整性(数据是否缺失)、规范性(数据 是否按照要求的规则存储) 、一致性(数据的值是否存在信息含义上 的冲突)、准确性(数据是否错误)、唯一性(数据是否是重复的)、时 效性(数据是否按照时间的要求进行上传) 。数据质量是描述数据价 值含量的指标,就像铁矿石的质量,矿石的质量高,则炼出来的钢材 就会多;反之,矿石的质量低,不但练出来的钢材少了,同时也增加 了提炼的成本。 数据质量管理是指运用相关技术来衡量、提高和确保数据质量的 规划、实施与控制等一系列活动。数据质量管理工作中的关键活动包 括: 开发和提升数据质量意识; 定义数据质量需求; 剖析、分析和评估数据质量; 定义数据质量测量指标; 定义数据质量业务规则; 测试和验证数据质量需求; 20
29 . 确定与评估数据质量服务水平; 持续测量和监控数据质量; 管理数据质量问题; 分析产生数据质量问题的根本原因; 制定数据质量改善方案; 清洗和纠正数据质量缺陷; 设计并实施数据质量管理工具; 监控数据质量管理操作程序和绩效。 通过开展数据质量管理工作,企业可以获得干净、结构清晰的数 据,是企业开发大数据产品、提供对外数据服务、发挥大数据价值的 必要前提,也是企业开展数据资产管理的重要目标。 6. 数据安全管理 数据安全管理是指对数据设定安全等级,按照相应国家/组织相 关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度 规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保 证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据 安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确 认、授权、访问与审计等功能。 数据安全管理的关键活动包括: 理解数据安全需求及监管要求; 定义数据安全策略; 21