电子政务系统应用软件验收测试指标分析
来源:IT168 更新时间:2014-06-19
中国软件评测中心作为国内成立最早、最具权威的第三方评测机构,在电子政务系统应用软件测试方面具有丰富的经验。中国软件评测中心先后承担了国家金字工程的金宏、金质、金关、金土、金农、金信等国家重大电子政务系统的测试,为全国人大、全国政协、最高人民检察院、最高人民法院、文化部、国家税务总局、国家海洋局、国家林业局等部委及地方政府提供了第三方测试服务,保障电子政务系统工程质量。
  经过多年的技术积累和测试实施,中国软件评测中心总结了电子政务系统应用软件验收测试指标,并基于该指标体系进行验收测试,为电子政务系统建设提供可靠的质量保证服务。
  2.验收测试指标体系
  随着电子政务系统建设的快速发展,应用系统的规模也越来越扩大,以往在项目初验或终验阶段进行的验收测试已经很难保障项目的建设质量。因此,我们根据国家电子政务系统工程特点,将验收测试分为子系统验收、集成、初验和终验4个阶段。通过分析4个阶段各自不同的特点,我们分别设计了测试指标并进行测试,从而进一步保障项目建设质量。
  
  图1中国评测电子政务系统应用软件验收测试指标体系
  2.1. 子系统验收阶段
  中国评测将子系统验收阶段定义为电子政务系统信息化建设项目中各子系统分项验收的阶段。
  该阶段的测试工作主要依据系统建设或分包合同以及《系统需求规格说明书》中的相关要求。测试的重点就是功能测试,主要包括以下几个方面:
  1) 分析被测系统的功能需求,依据《软件需求规格说明书》和软件产品质量要求验证各子系统是否满足全部功能需求,且各项功能实现正确;
  2) 分析被测系统的业务需求,对业务流程进行数据流向评测,确保各子系统的关键业务流程可以正确执行;
  3) 分析被测系统的数据处理需求,对系统业务数据进行严格的正确性评测,确保系统传输的实时数据和历史数据准确无误。
  2.2. 集成阶段
  中国评测将集成阶段定义为电子政务系统信息化建设项目中各系统完成整合并最终集成的阶段。该阶段,测试的重点就是稳定性测试、数据接口测试和内部兼容性。测试内容主要包括以下几个方面:
  1) 稳定性测试
  稳定性测试就是考察各子系统集成后,系统的持续运行能力,主要通过长时间的性能测试(比如连续运行24小时的压力测试),来发现系统潜在的不易暴露的问题,例如内存泄漏、资源争用等。
  2) 数据接口测试
  数据接口测试就是对集成后的各子系统内部接口和各子系统间的接口进行测试,保证各子系统内部数据流转,各子系统之间数据交换和共享的有效性和正确性。
  3) 内部兼容性测试
  内部兼容性测试就是测试各子系统是否符合项目设计中的框架体系和相关技术规范,子系统之间各模块、数据是否兼容;是否可以在同一平台和环境中运行,互不干扰。
  2.3. 初验阶段
  中国评测将初验阶段定义为电子政务系统信息化建设项目初步验收阶段。本阶段的测试就是将集成的系统安装在实际运行环境下,对硬件、网络、操作系统及支撑平台构成的整体系统进行测试。测试工作的重点就是性能测试、应用安全测试、易用性测试和外部兼容性测试。具体的测试内容如下:
  1) 性能测试
  性能测试主要依据《软件需求规格说明书》中的性能要求,考察应用系统关键业务在正常工作量、预期的峰值工作量下的性能情况,主要考虑系统容量特性、时间特性及资源利用状况等效率是否符合用户需求,并据此对系统的性能做出全面的评价。
  2) 应用安全测试
  应用安全测试就是测试电子政务系统应用软件的安全性,防止对应用系统及数据的非授权的故意或意外访问、防止重要数据丢失等方面的测试工作。
  应用安全性测试主要从身份鉴别、访问控制、安全审计、剩余信息保护等几个方面来进行检测。
  3) 易用性测试
  易用性测试采用验证软件执行的各种操作/输入/问题/消息/结果的易理解性、检查文档和帮助信息、模拟演示界面的互操作性、验证安装性等测试技术,通过验证、检查和设计测试用例的方法,从易学习性、易操作性、易安装性、用户界面友好性等方面对应用系统的易用性进行质量测试,并将易用性测试结果与用户需求中的易用性要求比较,评价软件产品的易用性是否符合用户需求和文档要求。易用性测试的主要内容包括以下几个方面:
  a) 易学习性:相对一般操作人员来说,学习使用的难度如何,对操作人员有何要求;
  b) 易操作性:操作的难易程度,对主要或常用功能应该提供快捷方式;
  c) 易安装性:安装的难易程度,符合流行安装模式;
  d) 用户界面的友好性:界面的简捷性如何,是否为系统管理员提供简洁、直观、友好的图形化的管理界面,方便操作;
  e) 各模块界面风格一致性:界面风格和操作是否一致。
  4) 外部兼容性测试
  外部兼容性测试主要考察电子政务系统与其他政务系统间的数据交换和信息共享能力,测试重点主要是数据格式的兼容性。
  2.4. 终验阶段
  中国评测将终验阶段定义为电子政务系统信息化建设项目最终验收阶段。本阶段的测试工作主要包括可维护性测试、可扩充性测试和用户文档检查。具体的测试内容如下:
  1) 可维护性测试
  可维护性测试关注的是电子政务系统应用软件上线之后的运行维护能力。主要检测应用系统是否具备监控运行状态和故障诊断的能力,是否能够通过维护向导或监控指标快速判断故障发生点。同时,系统是否具备故障易分析性、易定位、易修复性和可评测性。
  2) 可扩充性测试
  可扩充性测试关注的是电子政务系统应用软件是否可通过开发新的模块以保证功能的可扩展性;是否可通过开发或调整程序以达到性能的可扩展性。在测试中主要对以下方面进行可扩充性测试:
  a) 服务器:服务器的处理能力满足3年以上业务增长需要;
  b) 系统架构:系统是否可以满足功能设计方面的系统扩展需求,相应业务系统满足未来的需要,在推广应用方面,除满足现有设计范围部署需求,还满足今后扩展业务的需求;
  c) 功能模块的可扩充性:系统功能模块的可扩充性,当原有业务处理能力和数据存储能力遇到瓶颈时,系统能在不中断运行的情况下,方便进行扩容;随着业务的拓展,系统能按不同时期的要求,便捷地进行功能增加和升级;
  d) 确认应用系统软件是否可通过开发新的软件以保证功能的可扩展性;是否可通过开发或调整程序以达到性能的可扩展性。
  3) 用户文档检查
  用户文档是软件系统安装、维护、使用以及二次开发的重要依据,验收测试中将依据相关国家规范检查文档的完备性、正确性、一致性、易理解性等内容。
  a) 文档完备性测试:主要是考察文档是否完全具备。
  b) 文档正确性测试:主要检查用户文档中所有信息是否正确。
  c) 文档一致性测试:包括文档与文档的一致性和文档与系统的一致性两大部分。
  文档与文档的一致性包括需求规格说明书与概要设计文档的一致性、概要设计文档与详细设计文档的一致性等。
  文档与系统的一致性包括概要/详细设计文档与代码的一致性、数据库设计文档与生产系统数据结构的一致性和培训手册/维护操作手册与生产系统的一致性等。
  d) 文档易理解性测试
  文档的易理解性考察包括考察系统开发商提供的文档应具有易理解性,避免不必要的描述和表达形式,避免产生歧义性的理解,同时考察系统开发商提供的文档中是否对关键、重要的操作提供了直观、明了的文字或图表说明等。
  文档的易理解性考察可以结合文档一致性考察中的文档质量考察部分,加强考察系统文档中各个要素的质量,重点考察文档内容是否具有易理解性,对于容易产生歧义的部分是否进行了详细说明,对于关键、重要的操作是否进行了图文并茂的详细说明等。
  3. 总结
  中国评测测试人员根据电子政务系统的特点,将测试划分为多个阶段,再根据每个阶段建设内容分析测试指标。按照这些指标进行测试,可以比较完整的测试系统,为系统提供有效的质量保证。
  (来源:中国软件评测中心 CSTC赛迪信息物理系统测评实验室 )