三、数据监督和质量控制的措施
三、数据监督和质量控制的措施
1.建立数据质检监督制度
做好数据监督和质量控制,首要的任务是要从管理上着手,要建立相应的管理制度和措施。
首先要做好数据源的管理,数据质量问题的产生源点来自于生产的方方面面,不同的数据源提供数据,而录入这些数据的人员在掌握专业知识的同时还必须要掌握系统相关知识,才能在数据采集、录入过程中减少误差。因此数据建设一方面要求具有专业知识背景的人员从事数据的录入,另一方面要对从事数据建设的人员进行信息技术的培训,同时要建立数据质量考核制度,从根本上提高数据质量。
其次是数据传输、加载和处理环节。要在这上个环节上推进标准化和规范化,按照统一的规程传输、加载和处理,使数据能够可逆转化,即使数据出现问题,也可通过可逆方式还原数据。
最后是数据的存储,要做到数据安全、稳定,持续有效,保证数据长期准确保存,数据精度不漂移。
2.建立数据质量控制手段
数据质量监督和控制的另一重要措施是建立数据质量控制模型,也就是由数据质检规则。有了科学、合理、实用的数据质检规则,就能尽早、尽快地发现数据质量问题,使数据问题得到很好地解决。
有了数据质检规则,开发基于数据质检规则的程序,就能通过计算机手段快速、方便、有效地控制数据质量,在减轻劳动强度的同时,更好地提高数据质量。
3.历史数据:数据库清理
对于拥有大量数据的数据库,入库数据清理显得十分重要,一方面改正错误的原始数据,另一方面删除重复记录,增补缺少的数据。
历史数据的清理工作并不时每年都需要的,对历史数据的清理往往是在有新系统投产、有对历史数据进行进一步挖掘的新需求出现的时候才需要。
历史数据的问题往往是错误、缺漏、不规范、各式不满足需要等这些方面,历史数据建设应该通过集中会战的方式解决,否则会影响新数据的采集和入库应用。
4.根据应用反馈进行数据修正
已经入库的数据质量一般是不会引起数据管理人员注意的,如果错误数据已经入库,问题的纠正就只有等到数据被使用的时候。
用户在使用数据时,往往因为要进行数据链分析和挖掘,从而深入研究数据,也就能够发现数据的细微质量问题。这时候需要及时获取用户的反馈,要建立问题反馈的畅通渠道,根据用户意见及时复查和更正数据。
5.数据整合与分析
在已有数据的基础上,通过对专业信息进行深加工,从中抽取规律,并从不同角度进行分析研究,将生成的分析信息运用到信息管理、查询处理、支持决策、过程控制等诸多领域,将这些来自于不同专业系统的数据进行深入分析,从而得到系统详细、全面数据评价意见,形成对数据质量的最后把关,实现数据质量的完整控制。
随着信息技术的发展,数据的加工和应用已经成为油田和其他企业挖潜增效的有力手段之一,如何让数据真正产生效益却是件十分困难的事情、数据质量差,数据可信度低等原因使许多应用系统在使用过程中利用率很低。
为此,各领域都已经在数据监督和质量控制方面进行了许多有益的探索。数据监督和质量控制是一个长期的问题,也是一个新兴的信息专业岗位,做好数据质量控制不是一朝一夕的事情,需要长期努力,不懈追求。
网友评论