航展
专题
【信息分类与编码】数据质量控制与管理全攻略

2019-07-04 08:50:14 融融网融融网阅读量:32

image.png

在信息时代,数据被认为是21世纪的经济命脉,没有哪个企业离开高质量的数据仍然可以高效运行。现如今,各个组织都依赖数据资产来支撑高层领导的决策,灵活改变运营策略以应对复杂的市场环境。正如美国著名管理学家汤姆·彼得斯说:“一个组织如果没有认识到管理数据和信息如同管理有形资产一样极其重要,那么它在新经济时代将无法生存。”

上一期文章从宏观角度分析了企业基础数据管理项目的实施关键点,本文将以专题的形式介绍数据质量控制与管理的方法,为企业数据质量建立保障。


1. 数据管理职能划分


对于企业来讲,数据的管理要从哪里开始,如何开始?引用DAMA数据管理知识体系中的一张图,如图1所示。              

image.png

可见数据管理的内容涉及很广,包含数据架构、数据建模、数据操作管理等,它包含对数据从顶层架构规划到底层实施流程的一系列管理手段。而对于一般企业来件,谈及数据管理可简化为如下几步:

image.png


本文将针对企业数据管理过程中通用工作的部分进行介绍,主要涉及的方面为数据质量控制与管理。


2. 企业基础数据质量危机


企业的数据来源非常广,基本可以涵盖企业所有业务部门。以制造型企业为例,物料信息来源于产品设计、制造、采购、物流等环节,正因为数据来源的不统一,加上管理的不重视,数据质量问题层出不穷。


1
质量危机带来的影响


业务系统通常需要先将物料等信息进行编码,通过编码便可以准确的找到想要的数据,那么如果数据质量不佳会对编码产生什么影响?

业务系统编码的原则是以录入的关键信息来区分各个物品,但是信息系统辨识规则很严格,符号使用不一致,甚至多写一个空格,信息系统都会认为是不同的数据并赋予不同的编码,而实际上他们是同一种物品。这就是所谓的“一物多码”,编码不能唯一识别实物时,也就无法如实反映实物的情况,可见下表。

表1 企业业务系统中“一物多码”示例

image.png


表1物料规格属性里,由于使用不同的连接符号,同一物料便赋予了不同的物料编码。管理库存信息的系统会把这两条数据判定为两种物料,产生想找的物品找不到,有库存的物品无法核销,库存成本居高不下等问题。


2
质量危机的根源


数据质量问题产生原因一般有如下几种:

image.png

为了让信息系统有效运行,避免“一物多码”带来的影响,则需要对历史数据进行整理及清洗的工作。


3. 数据整理重点与路线


针对基础数据危机,需要从源头各个攻关,通过体系化的物品信息描述与表达规范以及管理流程的发布,约束数据录入的行为,控制数据质量。其中比较通用的实施步骤总结如下。


1
编制物品信息描述与表达规范


编制规范内容所需遵从的原则如下:

  • 将企业所有历史数据信息进行分类,统一管理具有相似描述特性的物品,如标准件、材料、工具工装、易耗品等。

  • 针对每类物品分别编制物品信息描述与表达规范,最终形成一系列物品信息描述与表达规范的标准文件,标准内容需包括数据填写规范性要求、物品分类信息、数据结构化方案

其中,数据填写规范性要求主要解决数据录入随意等问题,需涵盖到数据录入时可能会遇到的情况,是一个涉及全局的宽泛规定,一旦有规定项遗漏,都将会形成一类数据质量问题,如图2所示。

image.png

物品分类信息是为了更好的管理与筛选数据而设置的,如图3所示,一般采取三级分类,分类太多或者太少都不利于数据库的建设与使用效果。分类的原则是在现有已发布的国家标准基础上,根据企业实际情况定制出一套分类模板。

image.png

数据结构化的目的是满足各个业务系统对数据的需求,如图4所示,MES系统中材料的基础信息需要“名称”、“规格”、“材料牌号”等属性,而设计部门在BOM表中材料的基础信息需要“名称”、“规格”、“材料牌号”、“表面处理方式”等,因此在数据结构化等过程中要充分考虑数据的主要应用场景,建立起通用的数据模型,保证数据可以满足需求,支撑业务。

image.png

2
颁布代码管理办法

颁布代码管理办法的目的是规范公司信息代码的管理,实现信息代码统一,发挥信息代码在信息交换与共享中的纽带作用,管理条款需包含信息代码的范围、机构及职责、代码的申请、审核、信息更新和注销、应用和管理流程、安全管理与考核等要求。同时,建议将职责定位到个人,并根据业务流程的变化动态更新,加强管理办法的长期效力。

职责分工表参考样式见表2。


image.png


3
宣贯相关标准、指导数据清洗

企业编制完成上述一系列物品信息描述与表达规范及流程管理办法后,一般是以企业标准进行发布,数据整理的工作将以此为依据进行。但为了更好的数据整理效果,需要在企业范围内对标准内容进行宣贯,帮助更好的理解标准体系的框架与目的,培养员工在日常数据录入过程中以标准作为参考工具和填写依据的习惯。

同时,数据整理方法的培训也是必要的,通过实例的演示,最大程度的帮助员工理解数据整理的要点与难点。通过数据的试填与初期整理,针对所发现问题进行二轮、三轮数据整理培训,经过层层迭代,让员工彻底理解数据整理的步骤与原则,保证数据录入的规范性,提升整体数据的质量。


4
审核数据质量


历史数据整理完毕后,需要对数据的质量进行审核。数据质量的审核包含两方面:

image.png

通过以上4个步骤,就基本完成了对历史数据的整理与清洗的工作。同时借助代码管理办法的发布,将代码录入、审核机制落实到个人,可以保证数据库中数据的持续增加以及数据质量的长期稳定。


4. 总结语


目前,企业在信息化建设过程中,无论ERP、PDM、MES等业务系统涉及的业务域有多广,单个业务系统总是不能覆盖企业所有业务,说明业务系统在实施时,对数据的定义是从局部业务环节考虑的,站在整个企业甚至集团角度来看,业务数据的定义不够充分。因此需要从顶层规划一整套数据架构来保证数据的一致性、完整性与准确性。数据管理对于企业来讲,需要做的工作很多,同时也需要潜下心来全面规划与实施才可让企业数据产生价值,为企业赋能。


image.png

文字:元宝苍

责编、制图:王思洋

校审:郭征坤

监制:王丙义、张诚铭

RECOMMEND
推荐阅读

image.png

image.png

image.png

image.png

image.png


相关新闻
  • 装备制造业微信交流群,与专家面对面
  • 国产半导体材料的“芯”时代
  • 正式发布!《中国集成电路产业人才白皮书(2017-2018)》
  • 我国无人机产业发展分析
  • 大数据海洋中的淘金者——懒人经济
相关产品
分享到微信朋友圈 x
打开微信,点击底部的“发现”,使用 “扫一扫” 即可将网页分享到我的朋友圈。