如何应对数据标准化的难题

CIOAge
应对这些难题,最经济、最理想的模式当然是:首先建标准,再建应用系统、大数据平台、数据仓库、数据应用等。正因为其太过理想化,所以这种模式几乎是见不到的。因为一般的组织不大可能有这样的认识,很多时候大家都是先建设再治理。

 先把信息系统、数据中心建好,后面发现标准有问题、质量不高,再来建数据标准,但实际上这时候已经是在做一些亡羊补牢的事情,客户的投入肯定有一部分是被浪费掉的。但这往往不可避免。

[[400130]]

要解决数据标准化的难题,需要从以下几个方面入手:

第一,制定可落地的执行方案。执行方案要侧重于可落地性,不能落地的方案最终只能被废弃。一个可落地的方案要有组织架构和人员分工,每个人负责什么,如何考核,怎么监管,都必须纳入执行方案中。

第二,正确认识数据标准建设的目,即是统一组织内的数据口径,指导信息系统建设,提高数据质量,更可信地处理和交换数据,而不是应付上级和监管机构的检查。这样可以避免数据标准制定出来,应付完监测后就被束之高阁的情况发生。后者显然只是一个短期的临时策略,难以产生长期的正面影响。

第三,正确认识咨询公司在数据资产管理工作前期的作用。咨询公司的定位应该是准确评估组织的数据管理水平,制订可以落地的方案,而不应一味地追求咨询输出物的技术含量。尽量聘请行业经验丰富、可靠的咨询公司帮助做数据资产管理前期的咨询工作。

第四,充分认识到数据标准化的难度。要取得管理决策层的支持,提升组织管理水平,做好长期推进的工作准备,建立起数据标准化的工作制度和流程,遇到问题通过正式的流程和沟通机制逐步解决。

第五,实际落地中,建立起科学可行的数据标准落地形式。在实践中,往往需要考虑如何把数据标准落地到已有的系统和大数据平台中。数据标准的落地通常有如下3种形式。

  • 源系统改造:对源系统的改造是数据标准落地最直接的方式,有助于控制未来数据的质量,但工作量与难度都较高,现实中往往不会选择这种方式。例如,“客户编号”这个字段涉及多个系统,范围广,重要程度高,影响大,一旦修改该字段,相关的系统都需要修改。但是也不是完全不可行,可以借系统改造、重新上线的机会,对相关源系统的部分数据进行对标落地。
  • 数据中心落地:根据数据标准要求建设数据中心(数据仓库或者数据中台),源系统数据与数据中心做好映射,保证传输到数据中心的数据为标准化后的数据。这种方式的可行性较高,是绝大多数组织的选择。
  • 数据接口标准化:对已有的系统间的数据传输接口进行改造,让数据在系统间进行传输的时候,全部遵循数据标准。这也是一种可行的方法,但应用得并不多。因为对接口的改造是一个相当复杂的工作,会涉及系统底层代码的重构,而且可能给接口调用方带来不可预知的风险。

上面讨论了数据标准落地的3种形式。在数据标准落地的过程中,还需要做好如下这几件事。

  • 事先确定好落地的范围:哪些数据标准需要落地,涉及哪些IT系统,都是需要事先考虑好的。
  • 事先做好差异分析:现有的数据和数据标准之间,究竟存在哪些差异,这些差异有多大,做好差异性分析。
  • 事先做好影响性分析:如果这些数据标准落地了,会对哪些相关下游系 统产生什么样的影响,这些影响是否可控。元数据管理中的影响性分析可以帮 助用户确定影响的范围。
  • 具体执行落地方案:根据执行方案,进行数据标准落地执行。
  • 事后评估:事后需要跟踪、评估数据落地的效果如何,哪些事做对了、做好了,可以借鉴和推广,哪些地方做得不足,如何改进。

 

责任编辑:华轩 来源: IT常青树
相关推荐

2021-05-14 13:57:01

数据标准组织技术

2015-09-01 10:28:56

云计算标准化需求标准化组织

2021-12-13 08:00:00

数字化转型企业技术

2015-09-02 13:09:32

大数据标准化

2022-06-27 14:30:42

数字化转型业务

2018-03-08 16:53:21

数据中心数据海啸

2010-11-12 10:27:34

2010-04-20 14:55:58

Oracle标准化

2016-10-07 22:09:59

2018-01-09 09:32:48

开源标准化基础设施

2020-01-14 14:56:29

数字化转型网络用软件定义网络

2020-02-24 10:50:03

数字化转型网络

2023-02-19 15:24:37

数据中心气候危机

2023-02-07 10:01:37

人工智能

2011-06-02 09:36:54

2018-09-07 09:07:57

数据中心云迁移负载

2023-07-19 08:58:00

数据管理数据分析

2012-06-14 10:16:30

ibmdw

2021-08-20 14:32:03

数据保护数据泄露数字企业

2012-03-22 09:41:55

大数据堆栈

51CTO技术栈公众号