地方电子政务发展水平评估
来源:电子政务杂志 更新时间:2014-09-08

地方电子政务发展水平评估:核心指标体系设计与实证

摘要:开展电子政务发展水平评估是推动新阶段电子政务建设发展的重要抓手和基础性工作。本文紧扣《国家电子政务“十二五”规划》的发展目标和工作重点,提出了符合当前电子政务发展需要的评估指标体系框架,分析了指标框架的可行性,并将其应用于D市电子政务发展水平评估实践,进一步验证和完善了指标体系。

关键词:电子政务,电子政府,绩效评估,指标体系

电子政务发展水平评估是根据国家电子政务发展战略部署和相关文件精神,按年度对各地区、各级政府部门的电子政务应用情况进行全面、客观、公正的测评,以总体上反映各地区和部门电子政务的发展状况,激励和引导电子政务向健康、有序、高效的方向发展[1]。因此,反映现状、引导发展是电子政务发展水平评估的核心目标。随着电子政务进入新的发展阶段,发展水平评估的指标体系需要不断进行创新,以便更好地起到评估的引导、促进和推动作用。

一、研究背景

“十二五”时期,中国电子政务发展已进入转变发展方式、深化应用和突出成效的关键转型期。《国家电子政务“十二五”规划》(以下简称《规划》)明确提出要“组织开展电子政务发展水平综合评估”,开展地方电子政务发展水平评估,是贯彻落实《规划》的一项重要行动,也是推动地方电子政务健康发展的重要抓手和基础性工作。2013年,党的十八届三中全会上提出“推进国家治理体系和治理能力现代化”,电子政务是国家治理体系和治理能力现代化的重要支撑。面对新的发展环境和要求,为全面摸清全国,特别是各地电子政务的发展现状,引导和促进地方电子政务健康有序发展,开展电子政务发展水平评估愈发显得十分必要。作为国家电子政务主管部门,工业和信息化部自成立以来一直十分重视电子政务发展水平评估工作。20096月,工信部信息化推进司正式批复江苏省成为中国第一个电子政务发展水平评估试点省份。20112月,在江苏省试点的基础上,工信部在海南组织召开的全国电子政务工作会议上,正式提出面向全国开展电子政务发展水平试评估工作。20114月,江苏省在前期课题研究的基础上继续委托国家信息中心,全面启动了面向全省13个地市及其所属的105个区县的发展水平评估工作。同月,深圳市也开展电子政务发展水平评估指标体系研究工作,提出了符合深圳发展实际的指标体系。20124月,作为全国第一个副省级试点城市,大连市正式启动发展水平评估试点工作,并于20135月顺利通过工信部组织的专家验收。从2009年至今,在工业和信息化部信息化推进司的指导下,国家信息中心课题组作为第三方专家组,全程参与并指导了江苏省、深圳市和大连市的电子政务发展水平评估工作,并在实践中逐步形成并验证完善了电子政务发展水平评估的核心指标体系。

二、指标体系设计思路与原则

()指标体系设计思路

反映现状、引导发展是电子政务发展水平评估的核心目标。因此,构建符合新阶段电子政务发展需要的评估指标体系,应以《规划》为指导,在借鉴前期试点评估经验的基础上,围绕发展目标和工作重点,构建一套既能综合反映电子政务发展水平,又简单可行的指标体系,促进和引导各地电子政务实现可持续发展。具体而言,要体现以下三个基本要求:

第一,依据规划,结合实际。严格依照《规划》确定的发展目标和任务,结合当地电子政务发展实际,设计指标体系,制定相关实施方案,确保评估工作总体思路和方向与国家规划、主管部门的要求保持一致。

第二,数据客观,便于比较。坚持定量评估和定性评估相结合、日常监督和集中评估相结合、自我填报和随机抽查相结合,充分发挥评估指标的导向作用。评估数据应真实客观反映发展实际,同时又便于同级、同类的部门和地区之间进行比较。

第三,方法简单,全国普适。构建的评估指标体系和评估方法应简单易行,有助于简化评估程序、降低评估成本;同时,评估指标和评估方法应具有普适性和可操作性,便于全国推广应用。

()指标体系设计原则

围绕上述指标体系设计思路,在具体指标选取上应遵循如下几个基本原则(参见图1)[2]

第一,指标要有导向性。指标体系应给出衡量电子政务发展水平的具体标准,指示出被评估对象电子政务建设状况和差别,甚至发出预警信息。这样,被评估对象就能清楚地认识到自身建设的情况,找准与其他“标杆”的差距及未来发展的目标。评估指标体系的设计要能对电子政务的实施起到导向作用。

第二,指标要有代表性。指标选取的主要目的是为了从不同的角度对电子政务发展水平的“表现”进行准确测定与评价,只有选取那些观测值与评估结果相关性强、贡献大、最能代表电子政务发展中不同侧面特征的指标,才能更为准确地反映评估对象的客观状况。因此,在进行指标设计或选取的过程中,对评估指标的特征要给予充分考虑,按照简化指标的原则,尽可能选取那些特征明显又有代表性的指标。

1 指标选取原则

第三,指标要有可测性。指标数据可采集、可获得是选取指标的前提条件。有些指标虽然对于评估工作具有重要意义,但是如果采集难度过大、成本过高,或者不具备采集的主客观条件,就会影响评估工作的可操作性与评估工作效率,甚至会导致评估工作的失败,故这类指标不宜选入。另外,诸如意识、能力、满意度等主观指标由于难以计量,在设计评估指标时,要尽量采用定量指标,并且尽量对定性指标做到在定性的基础上用定量的方式获取指标数据。评估指标体系设计必须对指标的规模、评估结果的准确性,以及评估实施难易程度等方面进行综合权衡。从目前的国际发展趋势看,简化指标是基本的发展方向。

第四,指标要有普适性。想要确保评估指标能够在全国推广应用,便于反映全国总体情况并进行横纵向比较,就要充分考虑全国电子政务基础的复杂性和发展的不平衡性,尽可能简化指标体系,指标含义要清晰,便于理解和操作。

三、指标体系基本框架

()指标选取的政策依据

根据《规划》中明确提出的电子政务发展目标,可以析出电子政务发展相关考核指标(参见表1)

《规划》附录中对上述主要指标作了明确说明,这些指标是制定电子政务发展水平评估核心指标体系的政策依据。

()评估模型与核心指标框架

在参考《规划》目标要求的基础上,经过在江苏、深圳、大连三地的实践探索,本文从支撑水平、应用水平、服务水平三个方面构建了较为完善的电子政务发展水平评估指标体系。其中,支撑水平是从政府部门电子政务的软硬件支撑环境角度进行考察,反映电子政务安全可持续发展的能力和水平;应用水平是对政府部门内部业务信息化应用水平的考察,反映信息化对政府部门主要业务的支撑、优化和创新;服务水平是从电子政务公共服务的角度进行考察,反映政府利用信息化手段提供服务的能力和水平(参见图2)

依据上述三个维度构建核心指标体系框架(参见表2)

()指标框架的可行性分析

从指标体系的推广应用角度来看,上述指标体系的可行性和适用性主要体现在三个方面:

第一,指标体系符合国家有关政策文件精神。本指标体系严格依据《规划》的主要精神和发展目标制定,符合国家关于电子政务发展的总体战略部署,评估结果也可用于考核“十二五”末电子政务目标的实现情况。

第四,结果分析。该阶段需要完成的工作有:①根据参评项目评分情况,完成参评项目绩效评估分报告。报告要逐一分析每个参评项目在每一个指标上的得分情况、成绩与问题,并提出改进意见和建议;②在参评项目分报告的基础上,汇总完成地区参评电子政务工程项目绩效评估总报告;③全面总结评估工作经验,研究分析存在的问题,提出下一步继续开展评估工作的思路与建议。

具体实施流程如图2所示。

()关键方法说明

1.数据采集方法

指标基础数据采集首先采取调查问卷法,各参评单位按期填报调查问卷,通过比对和梳理参评项目建设单位在提交问卷的同时所报送的立项审批文件(含经审批的项目需求说明书、项目建设合同等)和项目验收文件复印件或扫描件等证明材料,对调查问卷中的合规性数据进行核查,并梳理出现场核实的重点和问题。

2.现场核实方法

首先由项目建设单位简要介绍项目建设和系统使用情况,并按照指标要求汇报数据填报情况。然后专家组根据汇报内容,结合前期对填报问卷和相关材料的比对梳理结果,提出质询,项目建设单位逐一举证和演示来进行回复。各专家分别结合问卷填报和现场质询核实的情况,对各项指标进行初步评分,并在评分表上签字确认。

3.综合评分方法

全部参评项目初步评分结束以后,对每一位专家的打分情况进行汇总,召开专家组内部会议,对所有参评项目按照指标逐一进行讨论,对个别评分差异较大的指标,由各位专家充分阐述意见后,由专家组组长结合专家意见确定最终得分(一般采取专家加权平均法计算最终得分),最后汇总得出参评项目的总分。

五、应用案例:基于H省的实践

()评估实施情况

为进一步加强电子政务工程项目管理,提高电子政务系统应用成效,H201 3年正式启动全省电子政务工程项目绩效评估。受H省工业和信息化厅委托,国家信息中心成立专项课题组开展该省电子政务工程项目绩效评估工作。按照前文提出的指标体系和评估方法流程,圆满完成了评估工作任务。

根据参评电子政务工程项目绩效评估得分情况,结合H省电子政务工程项目建设现状,将绩效得分分为“优秀”(90分以上)、“良好”(75-90)和“及格”(60-75)三个等级。本次参评的12个项目中,“优秀”等级2个,占比16.67%;“良好”等级8个,占比66.66%;“及格”等级2个,占比16.67%。参评的12个电子政务工程项目绩效评估平均得分为82.58分,总体处于“良好”等级。其中,参评项目管理绩效、产出绩效、效果绩效得分率分别为83.36%77.69%82.16%。总体上看,管理绩效和效果绩效表现较好,得分率均高于80%,这与参评绩效总体处于良好等级是一致的。产出绩效得分率则相对较低,需要进一步改善。课题组针对每一个参评项目分别出具了评估分析报告,并对该项目的指标得分情况、主要成效、问题及改进建议进行了详细说明。

()实践经验

本次绩效评估工作组织有序、实施高效,在较短的时间内高质量地完成了评估任务,并验证了上文提出的指标体系和方法流程,有以下几点工作经验值得总结推广:

第一,建立了统筹协调、分工明确的组织体系和工作机制。本次评估工作是在H省工信厅的领导下,由H省信息中心组织实施的,国家信息中心课题组作为第三方负责具体执行工作,各参评部门高度重视、全力配合,指派一名熟悉电子政务系统建设工作的同志担任填报员,负责调查报告的填报和联络等工作,整个流程配合默契。

第二,开展了动员培训,充分调动参评各方的积极性。为组织好评估工作,H省工信厅发布了《关于开展2013H省电子政务工程项目绩效评估工作的函》,召集各参评项目单位有关人员参加培训,提高了参评部门对绩效评估工作的认识,确保了较高的数据填报质量,为评估结果客观真实奠定了坚实基础。

第三,形成了一套比较科学合理的指标体系。本次绩效评估指标设计充分借鉴了国内外电子政务工程项目绩效评估指标体系,同时结合H省特色和电子政务项目发展现状,是一套既能客观反映项目建设绩效,又能引导项目健康发展的核心指标体系。专家评审组一致认为,该指标体系“具有较强的科学性、合理性和可操作性”。

第四,探索了一套操作性较强的评估方法流程。为了保证评估过程的客观性,工作组建立了一整套包括数据采集、现场核实与评分在内的评估工作方法流程。实践结果证明,这样的评估方法和流程总体上具有较强的可操作性。

()问题及下一步改进重点

同时,通过实践也发现两个方面的问题。一是评估对象选取还需进一步细化,由于参评项目的类别不一,造成评估标准不宜把握、评估结果差异较大;二是指标体系和评估方法还需进一步完善,个别指标设计和值域设置尚不完全符合参评项目实际情况,特别是部分定性指标评分标准过于固化,还有待进一步调整和完善。为此,下一步将重点在如下方面进一步深化研究:

第一,对参评对象进行分批分类。电子政务工程项目涵盖范围广,不仅包括应用系统建设项目,还有基础设施建设项目,以及软硬件升级改造类项目等,不同类型项目的指标考核重心和要点都各不相同,在选择参评项目时应有所区分。此外,同一年度参评项目要注意投资规模大体一致,避免过于悬殊。如果存在项目投资规模悬殊的情况,也可考虑按项目投资规模划分等级,在指标考核要点和难易度方面进行区分。

第二,指标体系需进一步优化。①本文提出的指标体系主要适用于电子政务应用系统建设项目,对于其他类型建设项目尚需进一步完善指标;②项目合规性指标需进一步细化,明确考核要点,以便更好指导和引导各部门项目立项建设管理;③财务考核指标需强化,项目审批和经费拨付关系紧密,且资金多少与绩效也极为相关,需进一步细化财务指标,以规范项目经费使用,防止工程领域腐败情况发生;④效果指标要更明晰,目前效果指标的主观定性成分较多,需要结合项目建设目标,进一步划定这类指标的考查细则,适当约束专家组打分的自由空间,确保效果指标更贴近实际。

第三,工作机制需进一步探索。①建立较为稳定的专家组。在绩效评估工作启动之初就组建专家组,特别是在参评对象选取、指标体系设计和现场核实评分等环节,充分发挥专家组集体决策的智慧,确保关键环节科学可靠、评分结果真实准确。②建立健全绩效评估结果应用机制。建议将各参评项目评估结果择机通报,并将评估结果作为建设单位申请下一年度信息化工程项目或申请财政运维经费的重要参考。③探索建立绩效评估长效机制。通过不断积累电子政务工程项目绩效评估工作经验,完善评估工作保障机制和流程,探索制定地方电子政务工程项目绩效管理办法,引导和推动电子政务工程项目建设健康有序进行;同时注重评估结果的长期跟踪、对比,以反映各部门电子政务工程项目后续绩效改进情况及存在的短板,切实提高电子政务项目建设的实效。

作者简介:杨道玲,男,1979年生,博士,副研究员,国家信息中心信息化研究部电子政务研究室副处长,兼任中国信息协会电子政务专业委员会副秘书长,国家信息中心网络政府研究中心主任助理。研究方向:电子政务战略规划、电子政务绩效管理。

参考文献:

[1]Esteves J, Joseph R C. A Comprehensive Framework for the Assessment of E-Government Projects[J].Government Information Quarterly, 2008,25(1):118-132.

[2]Foley P, Alfonso X. E-Government and the Transformation Agenda[J].Public Administration, 2009,87(2):371-396.

[3]Andersen K V, Henriksen H Z. E-Government Maturity Models: Extension of the Layne and Lee Mode l[J].Government Information Quarterly, 2006.23(2):236-248.

[4]Mates P, Lechner T, Rieger P, et al. Towards E-Government Project Assessment: European Approach[J].Journal of Economics and Business 2013,31(1):103-125.

[5]Grimsley M, Meehan A, Tan A. Evaluative Design of E-Government Projects: A Community Development Perspective[J].Transforming Government: People, Process and Policy, 2007.1(2):174-193.

[6]Sarantis D, Smithson S, Charalabidis Y, et al. A Critical Assessment of Project Management Methods with Respect to Electronic Government Implementation Challenges[J].Systemic Practice and Action Research. 201023(4):301-321.

[7]赵豪迈,白庆华.电子政务悖论与政府管理变革[J].公共管理学报,2006(1)34-39.

[8]徐少同.中国政府信息化项目绩效评价体系优化研究[J]电子政务,2013(3)73-78.

[9]周朝旭.电子政务项目评估软件的设计与实现[D].昆明:云南大学,2010.

[10]彭细正.电子政务项目绩效管理研究[J].电子政务,2009(4)95-99.

[1 1]潘春林.政府信息化项目绩效评价指标及模型[J].中国集体经济,2011(1)57-58.

[12]王进,吴前锋.电子政务建设项目后评价研究与实践[J].电子政务,2011(8)83-91.

[13]胡勇,黄立军,徐耀铛,等.中外电子政务项目绩效评估体系研究[J].情报杂志,2008(7)131-134.

[14]彭细正,张达科.电子政务项目管理与绩效评估[J].计算机与信息技术,2006(11)93-94.