|
|
|
|
公众号矩阵

如何应对数据标准化的难题

应对这些难题,最经济、最理想的模式当然是:首先建标准,再建应用系统、大数据平台、数据仓库、数据应用等。正因为其太过理想化,所以这种模式几乎是见不到的。因为一般的组织不大可能有这样的认识,很多时候大家都是先建设再治理。

作者:IT常青树主编来源:IT常青树|2021-05-18 11:19

先把信息系统、数据中心建好,后面发现标准有问题、质量不高,再来建数据标准,但实际上这时候已经是在做一些亡羊补牢的事情,客户的投入肯定有一部分是被浪费掉的。但这往往不可避免。

要解决数据标准化的难题,需要从以下几个方面入手:

第一,制定可落地的执行方案。执行方案要侧重于可落地性,不能落地的方案最终只能被废弃。一个可落地的方案要有组织架构和人员分工,每个人负责什么,如何考核,怎么监管,都必须纳入执行方案中。

第二,正确认识数据标准建设的目,即是统一组织内的数据口径,指导信息系统建设,提高数据质量,更可信地处理和交换数据,而不是应付上级和监管机构的检查。这样可以避免数据标准制定出来,应付完监测后就被束之高阁的情况发生。后者显然只是一个短期的临时策略,难以产生长期的正面影响。

第三,正确认识咨询公司在数据资产管理工作前期的作用。咨询公司的定位应该是准确评估组织的数据管理水平,制订可以落地的方案,而不应一味地追求咨询输出物的技术含量。尽量聘请行业经验丰富、可靠的咨询公司帮助做数据资产管理前期的咨询工作。

第四,充分认识到数据标准化的难度。要取得管理决策层的支持,提升组织管理水平,做好长期推进的工作准备,建立起数据标准化的工作制度和流程,遇到问题通过正式的流程和沟通机制逐步解决。

第五,实际落地中,建立起科学可行的数据标准落地形式。在实践中,往往需要考虑如何把数据标准落地到已有的系统和大数据平台中。数据标准的落地通常有如下3种形式。

  • 源系统改造:对源系统的改造是数据标准落地最直接的方式,有助于控制未来数据的质量,但工作量与难度都较高,现实中往往不会选择这种方式。例如,“客户编号”这个字段涉及多个系统,范围广,重要程度高,影响大,一旦修改该字段,相关的系统都需要修改。但是也不是完全不可行,可以借系统改造、重新上线的机会,对相关源系统的部分数据进行对标落地。
  • 数据中心落地:根据数据标准要求建设数据中心(数据仓库或者数据中台),源系统数据与数据中心做好映射,保证传输到数据中心的数据为标准化后的数据。这种方式的可行性较高,是绝大多数组织的选择。
  • 数据接口标准化:对已有的系统间的数据传输接口进行改造,让数据在系统间进行传输的时候,全部遵循数据标准。这也是一种可行的方法,但应用得并不多。因为对接口的改造是一个相当复杂的工作,会涉及系统底层代码的重构,而且可能给接口调用方带来不可预知的风险。

上面讨论了数据标准落地的3种形式。在数据标准落地的过程中,还需要做好如下这几件事。

  • 事先确定好落地的范围:哪些数据标准需要落地,涉及哪些IT系统,都是需要事先考虑好的。
  • 事先做好差异分析:现有的数据和数据标准之间,究竟存在哪些差异,这些差异有多大,做好差异性分析。
  • 事先做好影响性分析:如果这些数据标准落地了,会对哪些相关下游系 统产生什么样的影响,这些影响是否可控。元数据管理中的影响性分析可以帮 助用户确定影响的范围。
  • 具体执行落地方案:根据执行方案,进行数据标准落地执行。
  • 事后评估:事后需要跟踪、评估数据落地的效果如何,哪些事做对了、做好了,可以借鉴和推广,哪些地方做得不足,如何改进。

【编辑推荐】

  1. 几天狂增 1.1 万 Star!谷歌这个脚本工具必须推荐一波_IT技术周刊第675期
  2. 局域通信技术向广域通信技术迈进,加速全屋智能时代到来
  3. 五分钟技术趣谈 | Thread协议在IOT路由器上的应用
  4. 智能技术起航:港口和码头如何利用物联网?
  5. 智慧城市之智慧中台专题-大数据技术框架体系架构
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

带你轻松入门 RabbitMQ

带你轻松入门 RabbitMQ

轻松入门RabbitMQ
共4章 | loong576

人订阅学习

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

8人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

40人订阅学习

读 书 +更多

Reversing:逆向工程揭密

本书描述的是在逆向与反逆向之间展开的一场旷日持久的拉锯战。作者Eldad Eilam以一个解说人的身份为我们详尽地评述了双方使用的每一招每一...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微