一种大型软件测试方法

大型软件具有涉及子模块繁多、建设过程复杂、功能全面、性能具有较高要求的特点。依据ISO/IEC 9126软件产品评估标准[1]，需要对软件的功能性、可靠性、可用性、效率、可维护性、可移植性等方面进行评估。因此，需要有一种方法能够对大型软件进行测试，保障其软件质量。

本论文针对大型软件功能模块多、流程复杂、性能要求高的特点，总结了一种测试方法，该方法主要由功能测试和性能测试方法组成。功能测试方法由功能测试流程和功能测试用例设计方法组成，其中功能测试用例设计方法采用以等价类划分方法为主，多种其他黑盒方法为辅助的方法。性能测试方法由性能测试流程、测试工具选择、性能测试指标设计和性能调优方法组成。实践表明，该测试方法具有良好的效果，能够达到大型软件进行功能和性能把关的目的。

1 大型软件的功能测试

某大型软件在企业统一的电网设备和客户信息模型、基础资料和拓扑关系的基础上，基于GIS的标准化、一体化企业级信息平台，应用于供电可靠性管理、客户停电管理、线损四分管理、业扩报装辅助决策及配网建设规划等领域。具有涉及子模块繁多、建设过程复杂、功能全面的特点，需对其进行功能测试。

1.1 功能测试流程

功能测试目的是测试产品是否达到了合同技术协议书规定的功能。其流程如图1所示。


1.2 功能测试测试用例设计

　业务测试用例由10项内容组成：(1)用例ID，(2)用例名称，(3)测试目的，(4)测试级别，(5)参考信息，(6)测试环境，(7)前提条件，(8)测试步骤，(9)预期结果，(10)设计人员。业务测试用例的方法有包括等价类划分方法、边界值分析方法、错误推测方法、因果图方法、判定表驱动分析方法、正交实验设计方法、功能图分析方法和场景设计方法等，各种方法可以相互补充[2]。

在本文中，对一个模块依据逻辑功能不同将其细分，并分别设计测试用例，主要采用等价类划分方法来设计测试用例[3-4]。同时采用边界值分析方法、错误推测方法、因果图方法等在测试过程中进行辅助，辅助测试人员可以用较少的用例发现尽可能多的错误和缺陷。对某大型软件的所有模块均采取这种测试用例设计方法，其中某功能模块的功能细分列表如表1所示。

某功能模块的一个具体业务测试用例(运行数据查询)如表2所示。

2 大型软件的性能测试

2.1 性能测试流程

性能测试需要验证产品是否达到了合同技术协议书规定的性能指标。通过自动化的测试工具模拟多种正常、峰值及异常负载条件来对系统的各项性能指标进行测试。

性能测试可以分为负载测试、压力测试、配置测试、容量测试、基准测试和并发测试等[5]。本文主要通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。测试时监控系统的各项性能指标，以便为性能调优提供支持。性能测试流程图如图2所示。


2.2 测试工具选择

性能测试的工具种类很多，简单划分为以下几种：负载压力测试工具、资源监控工具、故障定位工具以及调优工具。QA Load、SilkPerformer、LoadRunner、WebRunner都是主流的负载性能测试工具。本文采用LoadRunner作为测试工具，它也可以作为监控工具直接从中间件、数据库以及主机自身提供的性能数据采集接口获取性能指标，在负载压力测试的同时对业务系统所处的测试环境进行监控。

2.3 性能测试指标

性能指标包括应用性能、主机性能、网络性能、多任务性能、可靠性、可用性、易用性、易学性、负载均衡等性能指标[6]。

本文的合同技术协议书主要考察系统的功能模块在某测试点下的最大并发数和响应时间指标。测试时、对服务器的CPU使用率、CPU等待队列、磁盘传输率(Mb/s)、内存页交换率(页/s)、网络传输率(包/s)等指标进行监控，编制服务器资源占用情况表，格式如表3所示。

对大型软件的所有模块均考察测试点的最大并发数和响应时间指标，其中某子系统的性能测试表如表4所示。

2.4 性能调优

性能测试调优是为了改善系统某些方面的性能，而对系统软件或硬件进行的修改，它与负载测试是性能测试的两个核心内容，它们是多次交替进行的。

当性能测试发现问题后，通过检查如下几方面来收集系统的信息以便诊断系统：(1)应用环境(如JDK版本)；(2)应用程序代码；(3)数据库配置参数；(4)操作系统配置参数；(5)硬件配置。如CPU的个数和主频、磁盘的容量和速度及是否使用RAID，内存大小等；(6)网络状况。是否会有网络负载过重的情况；(7)问题的影响是什么，比如影响响应速度或吞吐量等；(8)多少用户遇到了问题，遇到问题的用户与其他用户的操作有什么不同；(9)系统资源监控的结果是否正常，如CPU和I/O是否正常；(10)问题是否集中在某一类模块中；(11)是客户端还是服务器出现问题；(12)实际负载是否超过了系统的负载能力；(13)是否未对系统进行优化。

收集完以上必要的信息后，即确定调优的具体目标，如：(1)提高系统吞吐量；(2)缩短响应时间；(3)更好地支持并发；(4)提高硬件配置(如CPU、内存、硬盘、网络等)。

调优完成后，再次进行负载测试，确定调优后的系统性能指标是否达到合同技术协议书的要求。若仍未达到，则需要再次进行调优，并让开发方也改进程序。

实践证明，这种功能测试与性能测试方法能够有效地验证多个厂商的产品是否达到了合同技术协议书规定的功能和性能指标。性能测试是控制系统性能的有效手段，在软件的能力验证、能力规划、性能调优、缺陷修复等方面都发挥着重要作用。本文总结的功能测试与性能测试方法可以对多模块、有具体性能要求的大型软件进行测试，功能测试具有步骤明确、设计测试用例效率高和执行简单的特点；性能测试具有步骤明确、监控全面和能够进行调优的特点，是一种较好的测试方法。