第二页
(四) 评估报告和结果运用
在电子政务绩效评估工作完成后,应该形成一个总的评估报告。评估报告是由评估工作组完成全部评估工作后,对电子政务绩效状况和业务目标实现情况等进行对比分析,客观判断形成的综合结论的文本文件。
评估报告一般由正文和附录两部分组成。报告正文的主要内容包括基本情况描述、主要各项绩效指标对比分析、评估结论、发展趋势预测、评估依据和评估方法等。报告附录包括有关评估工作的基础文件和数据资料。评估报告要维护被评估单位的正当业务秘密。
评估报告应该由独立的审计人员进行符合性审核,即:评估工作程序是否完整、评估方法是否正确、选用评估标准是否适当、评估报告是否符合规范等。
评估结果应该反馈给政府决策部门和被评单位,作为电子政务投资决策、管理改善和绩效监管的参考依据;并作为对政府机构领导任期和任职绩效考核的依据,同时也可为其他相关单位提供信息咨询和管理参考。
A省电子政务综合绩效评估最终报告有:《A省电子政务发展报告》、《A省电子政务数据分析报告》、《电子政务绩效评估报告》以及《电子政务绩效评估工作意见和建议汇总》。其中,《A省电子政务发展报告》是在被评单位自评报告、第三方评估报告、实地检查等资料的基础上,经过汇总、归纳与分析形成。在概括发展和总结不足的基础上,该报告按照电子政务的5个发展时期,对A省省直政府机构和市、州的电子政务建设与应用情况进行分析归纳,具体展现其在每个时期的发展状况,同时,清晰对比其在不同时期的差距。在此基础上,对A省电子政务的未来发展提出政策性意见和建议。《A省电子政务数据分析报告》为电子政务发展阶段、行政许可事项在线办理率、信息资源建设情况、信息安全情况、组织保障、建设与运行维护资金等数据的深度分析与展示。《电子政务绩效评估报告》为反馈给各政府机构的评估结论,《电子政务绩效评估工作意见和建议汇总》为此项工作中所搜集到的被评单位对本单位和全省电子政务工作意见和建议分类汇总。以上报告均提交给省政府和相关单位领导,供管理决策和参考分析使用。
A省电子政务综合绩效评估结果运用情况如下:
1、有关单位根据绩效考评结果,及时总结电子政务建设、运行和管理经验,完善相关制度,提高项目管理水平和资金使用效益,增强服务和应用效果。
2 、A省信息办根据绩效考评中发现的问题,及时组织专家和第三方专业机构提出改进建议和加强管理的意见,并反馈各单位作为完善和改进电子政务工作的参考依据。
3、电子政务绩效评估结果作为年终考核评估各单位政绩的指标之一。
4、绩效考评结果将作为各政府机构以后年度信息化资金预算审批和新增项目立项审批的重要参考依据,同时也为其他相关单位领导管理和决策使用。
(五) 评估模型
评估模型是整个评估体系的主体部分,而评估方法、评估基准、评估数据和评估指标则是评估模型最核心的四要素。
(1)评估方法
在评估中,不同的评估方法将对评估结果产生不同的影响。目前国内外关于多指标综合评估的方法很多,根据权重确定方法的不同,这些方法大致可分为两类:一类是主观赋权法,如层次分析法、德尔菲法、综合评估法等,多是采用综合咨询评分的定性方法,这类方法因受到人为因素的影响,往往会夸大或降低了某些指标的作用,致使排序的结果不能完全真实地反映事物间的现实关系。另一类是客观赋权法,即根据各指标间的相关关系或各项指标值的变异程度来确定权数,避免了人为因素带来的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些评估方法中权重确定基本上都离不开这两种思路。
指标的权重是指该指标在本层指标中所占的相对重要程度。权重对评估结果会产生较大的影响,权重确立的合理性与专家的判断水平直接相关。因此, A省电子政务综合绩效评估在进行权重判定时采用:合理配置的专家组成结构,包括政府机构高、中、低层管理人员、技术人员、也有第三方专业机构专家等,分别能够针对各自熟悉的领域对电子政务绩效进行客观准确地判断。这样,指标的权重才能体现不同政府机构电子政务的特点,打分结果才是科学合理的。
(2)评估基准
电子政务绩效评估基准是准确衡量绩效的尺度,基准的正确选择对电子政务绩效评估结果具有较大影响,评估基准的制订既是电子政务绩效评估体系建立的主要环节,也是电子政务绩效评估具体工作所面临的一个重要工作步骤。
基准是正在进行的系统化的方法论,用于识别、度量、比较自身在某一时期内的工作过程或职能,或与一个或其他多个组织进行比较,以实现其内部的改善[1]。基准是绩效评估的参考点。通过与参考点的对照可以认清单位自身所处的位置,从而识别前进的方向与目标。根据基准的参考点划分为内部基准和外部基准。
内部基准是指以某一时间段的绩效情况作为参考点,反映出组织内部的绩效随时间变化的情况。内部基准的存在前提是必须以历史数据的存在为依据,在进行过数据评估之后,单位可以选取自己的内部数据作为基准,进行纵向比较与衡量。包括计划基准、经验基准和历史基准等。
外部基准是指该单位与外部组织的运营绩效情况进行比较的参照物。一种是与同行业的整体最佳实践者进行比较,以找出差距。另一种是只瞄准特殊的比照对象,进行比较,确定该单位目前所处的行业地位,了解当前该领域的最佳实践情况,如何对照最佳实践过程修正自身等。
要进行电子政务绩效评估,除要建立科学、合理、规范的指标体系外,必须要对电子政务绩效评估的基准进行总体规划设计,研究指标与基准的对应关系,研究不同评估客体的基准选择,通过各种渠道广泛收集整理各种分类基准数据,在条件成熟时要研究建立绩效评估基准数据库。
基准并非是固定的和一成不变的,会随着经济的发展和客观环境的变化不断变化,因此,如何建立和维护更新基准库也是一项非常重要的工作。一方面可以在实践过程中根据实际情况对基准库进行补充和修正;另一方面可以随着相关行业管理要求的推出,不断纳入新的基准指标,使基准库随着应用的累积而逐渐成熟。
(3)评估指标
评估指标是评估模型的骨架。科学建立评估指标体系是决定评估工作成功与否的关键。如果评估指标选择不当,或者缺少关键指标,则会影响评估结论的精度,甚至给被评单位以错误的导向信号。因此,电子政务绩效评估指标需要基于发达国家电子政务绩效评估实践,遵循既定的基本原则,结合委托方具体需求,科学设计评估指标体系,并持续完善。
服务型政府视角的电子政务综合绩效评估的对象是各类政府部门,那它除了可以满足纵向比较之外,在横向比较上应针对不同政府机构的业务特点,仍然可以保持评估的公正性和准确性。面向公共服务的部门如财税部门和无公共服务面向宏观管理决策的部门如政策研究部门比较起来,其信息化需求和建设水平必然差距很大,在公众满意度调查上也可能存在误差,但我们不能据此认为后者的绩效就低。事实上目前沿用的各类评估方法和排名机制,会由于各政府部门职能定位和业务性质的不同,导致电子政务绩效排名顺序上的固定化。基于上述情况,ITGov中国IT治理研究中心创新性地提出了“三类三层”指标体系的设想,即,从类别上看,建立三类指标;从层次上看,每类指标又分为三个层次。具体层次结构如图3-1所示:
通用类指标,也称基础类指标,是电子政务绩效评估中最重要、最基本的指标,可以对政府机构绩效的总体情况进行高度概括性评估。该指标能够客观反映所有政府机构电子政务工作的基本工作情况,根据这类指标可以形成对各政府机构电子政务绩效的初步考核,具有通用性。
专用类指标,即行业类指标,是专门针对某一行业的特点提炼出的评估指标,在对同行业、同类型政府机构进行深入分析对比时,可运用行业性指标对通用性指标结果进行修正和补充,以此形成该类政府机构电子政务绩效评估的基本定量分析结论。
评议类指标,是对影响电子政务绩效的特殊非定量因素进行判断的评估指标,以此形成对电子政务绩效评估的定性分析结论。由评估实施方中的专家咨询组进行评估。
在指标体系方面,一级指标是按照应用与服务、资源整合利用、管理与保障设计的。二级指标则按照“简化指标,突出绩效”的原则,细化分解一级指标为二级指标。三级指标是则为具体实现定性定量评估的评估项。
通过三层指标体系和三类指标的结合,可以做到对不同政府机构的电子政务绩效进行客观全面的比较。
通用类指标:不同行业和性质的政府机构通过通用类指标进行比较
专用类指标:同行业政府机构则采用专用类指标进行比较
评议类指标:对于特殊因素的评判指标可以划为评议类指标,通过专家进行评估,得到定性评估结论。
A省电子政务综合绩效评估指标设计是在建设服务型政府思想的指导下,确定电子政务绩效评估目标——建立电子政务可持续发展的长效机制,推动建设服务型政府。按照“三类三层”指标体系的研究成果,第一步,根据A省电子政务综合绩效评估工作的评估目的、任务和评估对象,按照既定的基本原则,研究确定“应用与服务”、“资源整合利用”、“管理与保障”三项一级指标,“网上公共服务”等15项二级指标,若干项能全面反映评估客体各个侧面的三级指标,并区分为通用类指标、专用类指标和评议类指标。此外,还确定了“核心业务信息化支撑率”等5个关键指标数据,科学构成A省电子政务综合绩效评估指标体系,以此作为电子政务绩效评估的依据。具体指标体系内容与各级政府机构业务需求、工作目标等密切相关,故本文从略。第二步,通过二级指标和三级评估项,分别测算评估这三个一级指标。第三步,将不同政府机构对应在电子政务发展成熟度的相应级别上(初始期、扩散期、整合期、融合期、成熟期),并综合三个一级指标的解,通过综合评议流程,得到电子政务绩效评估结果。
(4)评估数据
评估数据是评估结果产生的源泉,有了评估数据才使得评估变得有意义。数据分为定量数据和定性数据两种,在应用评估模型时通常要对数据进行科学处理。
1.定性指标的处理
定性数据的处理通常采用调查问卷法及实地检查等方法。为避免主观判断引起的失误,增加定性指标的准确性,可以采用隶属度赋值方法,将定性指标分成几个档次,分别对应1-10分。对于每一档次的评分,制定评分依据。评分依据是进行客观评估的约束条件,能够在一定程度上克服单纯主观评估的缺陷,使得评估人员在评分时具有一定的参考标准。
2.定量指标的处理
定量指标的数据值按照指标释义和各单位具体情况进行收集,数据的收集可能需要统计、财政、信息办等政府机构配合。由于各项定量指标的内容、量纲各不相同,直接综合在一起十分困难。因此,需要将这些指标进行无量纲处理,将定量指标原值转化为评估值。
电子政务绩效评估不同于已经成熟的政府门户网站评估,它所评估的是一个综合性更强、涉及面更广的对象,所需要的数据和材料要求更全面、更广泛。这也是评估的一个难点所在。A省电子政务绩效评估研究课题数据采集方法主要是:自评,网上采集信息,问卷反馈,案例调查,专题访问,评估主体收集到各个部门在信息化规划、项目立项、招投标、验收等环节的信息,及第三方机构调查数据等相结合的形式。年初A省信息办结合本年度工作任务,督促各单位落实考核目标,督促落实相关数据基础的采集。每月督促相关单位上报重点应用进展报告。全年督促各单位及时在电子政务管理服务平台上填写和更新基础数据;以及通过公务员门户、政府门户网站、网络管理系统、共享交换平台、信息安全监测等平台在线采集各单位公务员上网、公共服务、信息资源目录、共享交换数据流量、网络运维、信息安全事件等相关信息。年中督促各单位完成年中自查报告。年底前督促各单位完成年度自评报告。
在对采集到的各类数据信息进行分类和整理时,A省将各项评估指标的观测值与相应的评估标准进行对比,对评估对象的各个侧面做出单因素评估;在无量纲化处理基础上采用适当方法对各单因素评估结果进行加权综合, 获得对评估客体全面描述的单维评估值——综合评估数值,从而对被评单位进行整体的比较、分析、排名。
三、 A省开展电子政务绩效评估工作的经验总结
A省电子政务绩效评估模式的经验可以总结为“一个聚焦、三个创新”: “一个聚焦”即聚焦在评估电子政务对行政效能和公共服务效率及效果的改进绩效上。通过评估,引导并激励全市电子政务工作围绕推动政府行政体制改革、管理创新与业务流程优化开展,为 “强化效能建设、深化效能监督”提供创新的管理手段,为电子政务可持续发展提供制度保障。“三个创新”即评估体系的创新、评估主体的组织创新和指标体系的创新。
(一)“一个聚焦”,即建立了聚焦于评估电子政务对行政效能和公共服务效率及效果的改进绩效的电子政务绩效评估体系。
电子政务绩效评估是国内外公认的热点难点问题,为保证这项工作的顺利开展,2007年初,A省与ITGov中国IT治理研究中心合作,开展《A省电子政务绩效考评体系构建》研究,并形成了《A省电子政务绩效评估框架体系》、《A省电子政务绩效评估指标与权重》、《A省电子政务绩效评估评价规则》、《A省电子政务绩效评估管理办法》等成果。该体系(具体参见《服务型政府视角的电子政务综合绩效评估体系探讨》)以提升政府行政效能和公共服务水平为出发点,把电子政务服务于落实科学发展观、建设A省服务型政府的目标和要求转化为具体的、可量化和可考核的指标,例如一级指标“应用与服务效果情况”:
通过构建服务型政府视角的电子政务综合绩效评估体系模型,将全国其他省市注重的信息化水平考核或政府门户网站评比,上升为以强化行政绩效和公共服务为导向的面向政府部门的综合性评估,引导电子政务向有利于社会发展、经济增长、民生福利、民主政治等方向发展。通过电子政务绩效评估,有效发挥了“指挥棒”的作用,强化了领导干部的绩效意识,实现了电子政务管理从事后结果管理向事中监督控制和事前预警监测并重的转变,进而构建了A省电子政务可持续发展的长效机制。
(二)“三个创新”,即对评估体系模型、评估主体和指标体系进行大胆创新。
A省电子政务绩效评估模式的三个创新,体现在以下方面:
首先是评估体系模型的创新。A省在评估体系模型的完备性方面进行了积极有益的探索,提出了更为完备的评估体系(请参见《服务型政府视角的电子政务综合绩效评估体系探讨》)。
其次是评估主体的组织创新。A省信息化领导小组办公室联合省编委办、省发改委、省财政厅、省监察厅成立A省电子政务绩效评估协调工作组,作为A省电子政务绩效评估的主体,并印发了《A省电子政务绩效评估管理办法》。评估主体的组织创新还体现在采取内外部评估主体相结合的方式,即政府部门与第三方专业评估机构相结合,并邀请市人大代表、政协委员代表和专家参与实地检查工作。各单位最后得分由多个部分组成,没有哪个主体能够决定最终的评分结果,确保评估结果的科学性、中立性和公正性,这样的评分方式也得到了各被评单位的肯定。
第三是指标体系的创新。A省积极破解绩效评估难题,即各部门职能定位和业务性质的天然差异可能导致其绩效排名固定化,同时难以横向对比。通过创新指标体系构建思路,提出“三类三层”指标体系(请见图2)并结合电子政务五个发展阶段的框架(初始期、扩散期、整合期、融合期、成熟期)。
网友评论