解答系统的查全率、查准率测试方法的探讨

发布时间:[2018-1-5]     来源:     作者:     点击:

软件测试是通过执行软件来,对过程中的产物(开发文档和程序)进行走查,发现问题,报告软件质量。测试是程序的执行过程,目的在于发现错误;一个好的测试用例在于发现了至今未发现的错误;一个成功的测试是发现了至今未发现的错误的测试。一般软件测试我们主要从功能性、可靠性、易用性、维护性、可移植性、文档审阅等方面进行。作为第三方测评机构中的一名软件测试工程师,以我曾做过的一个项目为例,总结下测试的经验和方法。

一:项目基本情况

随着互联网的飞速发展,网络上的信息呈爆炸式增长。这使得人们在网上找到所需的信息越来越困难,这种情况下搜索引擎应运而生。越来越多的课程,使得学生的负担压力也越加严重,某解答系统通过对公式化结构数据的搜索算法、关键知识点等信息,在线上和线下整合的教育资源中进行寻找和选择,即时获得求解答案,并提供了相关知识点拓展学习的机会。

某解答系统是上海XX信息技术有限公司开发实施完成,该软件支持WEB端(如图1)和手机端访问,是一款教育软件,实现输入文字/公式、语音搜索初高中的题目,查看题目详细解析和相似题等功能。

上海XX信息技术有限公司以中学生普遍的困难——课后练习的求解、巩固、提高和知识点规律为切入点,将互联网线上及线下的中学理科教育资源进行了系统的整合,为广大中学生和教师、家长用户提供了一站式的“求解答”教育搜索引擎服务。

 

图1  某解答系统WEB端

二:项目具体实施

首先,收到客户提交的材料,第一件事就是查看送测材料,了解客户的测试需求、测试目的、熟悉客户信息及被测系统的基本资料(如:测试委托申请表、操作手册、设计说明书、任务书、合同等)。根据收到的材料,被测系统“某解答系统”需要针对WEB端和手机端的功能、《(课题)任务书》中的技术指标进行测评。其次,与客户联系了解测试服务器和客户端所需要的环境,被测系统搭建了测试环境,部署了一台测试服务器和5台搜索服务器;客户端支持Microsoft Windows系列、Apple iOS、Google Android等主流操作系统,满足市场中大部分的用户需求;采用MySQL数据库进行数据的管理和维护,通过定期手动拷贝的方式进行数据的备份与恢复操作;使用Apache Tomcat 7.0和Oracle JDK 1.7搭建服务器,通过Apache Tomcat记录访问、运行的日志数据,尤其是记录一些异常错误的日志信息。了解完测试服务器和客户端所需要的环境之后,根据收到的操作手册和设计说明书编制测试记录和测试用例。任何一个项目,一份考虑较周全的用例可以大大降低项目风险,增强测试人员乃至整个项目组的信心。我们通常在测黑盒测试(功能测试)时采取等价类划分法、边界值分析法、错误推测法、因果图法、判定表驱动法、正交试验设计法、功能图法等方法设计测试用例,检测每个功能是否都能正常使用。同时在Apple和Android的应用市场中下载“某解答系统”APP。当所有准备工作准备好了之后,开始进行软件测试。

n 测试依据的标准是:

GB/T 16260.1-2006 《软件工程 产品质量 第1部分:质量模型》国家标准。

GB/T 25000.51-2010 《软件工程 软件产品质量要求与评价(SQuaRE)商业现货(COTS)软件产品的质量要求和测试细则》国家标准。

n 测试内容:

依据GB/T 25000.51-2010标准对软件质量进行测试,从功能性、可靠性、易用性、维护性、可移植性等特性进行测试,对提交的文档进行审阅。

依据《(课题)任务书》中技术指标,对以下指标进行测试:

1. 实现移动应用程序注册会员人数50万;

2. 智能科学搜索引擎查准率≥95%;查全率≥95%;

3. 图像中的中文和公式混合识别准确度≥75%。

根据已写好的测试用例,我们上门去客户单位现场进行功能测试,检测每个功能是否都能正常使用,并记录每个功能的测试操作数据、期望结果和实际执行结果。测试前,需要在服务器上放置监控文件,监控测试期间CPU和可用内存的使用情况(如图2)。本文将主要分析并分享一下技术指标的测试方法。

 

图2  监控CPU和可用内存的使用情况

u 技术指标1:实现移动应用程序注册会员人数50万。

上海XX信息技术有限公司购买了友盟的U-App(应用统计)的服务,统计并分析某解答系统iOS版与某解答系统Android版的活跃用户数。【友盟+】作为全球领先的第三方全域数据服务商。通过全面覆盖PC、手机、传感器、无线路由器等多种设备数据,打造全域数据平台。友盟提供iOS、Android和Windows Phone等多平台服务,为客户提供全业务链数据应用解决方案,包括基础统计、运营分析、数据决策和数据业务等,帮助企业实现数据化运营和管理。

通过友盟+服务平台查看移动端的活跃用户数,能够查看到某解答系统iOS版累计用户数为:42,908;某解答系统Android版的累计用户数为:458,518;总数和为:501,426(超过50万注册会员人数)。

u 技术指标2:智能科学搜索引擎查准率≥95%。

查准率(精度)是衡量某一检索系统的信号噪声比的一种指标,即检出的相关文献与检出的全部文献的百分比。普遍表示为:查准率=(检索出的相关信息量/检索出的信息总量)x100%。

l 测试科目:

初高中的数学、物理、化学

l 测试数量:

100个数理化公式

l 测试公式:

Ø 单题查准率

 

Ø 总查准率

 

打开Google Chrome浏览器,输入网址:
http://next.qiujieda.com/,在搜索框中输入数学/物理/化学公式,点击搜索,查看搜索结果(如图3)。

 

图3  y=kx-b搜索的结果

查准率=检索出的正确结果总数/网页中检索出的结果总数*100%。网页中输入公式y=kx-b,检索出的正确结果总数为27个,检索出的结果总数为27个,单个公式的查准率=27/27*100%=100%,总查准率=1119/1119*100%=100%。满足智能科学搜索引擎查准率≥95%。(如表1、如表2)

表1  某解答系统查准率统计表

  

表2  某解答系统查准率详细记录表

 

u 技术指标3:智能科学搜索引擎查全率≥95%。

查全率(召回率),是衡量某一检索系统从文献集合中检出相关文献成功度的一项指标,即检出的相关文献量与检索系统中相关文献总量的比率。普遍表示为:查全率=(检索出的相关信息量/系统中的相关信息总量)x100%。

l 测试科目:

高中的数学竞赛

l 测试数量:

100个数学公式

l 测试公式:

Ø 单题查全率

Ø 总查全率

 

打开Google Chrome浏览器,输入网址:http://next.qiujieda.com/,在搜索框中输入数学/物理/化学公式,点击搜索,查看搜索结果(如图4)。

 

图4  |y|<1搜索的结果

 

查全率=检索出的正确结果总数/系统数据库中的结果总数*100%。网页中输入公式|y|<1,检索出的结果总数为2个,系统数据库中匹配到2个,单个公式的查全率=2/2*100%=100%,对100道公式进行查全率计算,平均查全率=(单个查全率n1+单个查全率n2+……+单个查全率n100)/100=(100%+100%+0%+……+75%)=98.75%,智能科学搜索引擎查全率≥95%。(如表3)

表3  某解答系统查准率详细记录表

u 技术指标4:图像中的中文和公式混合识别准确度≥75%。

某解答系统旨在以解决:

1. 中学生目前较为突出存在的购买教辅书繁多、书包和经济负担过重和不必要的补课等问题;

2. 部分师生(尤其是教育欠发达地区)所面临的教学资源和支持相对不足及低效的掣肘,以提高学生学习和教师工作的效率,实现“线上线下,终身学习,教学相长,无处不在”。

上海XX信息技术有限公司将市场上普遍在售的初高中的教辅书、参考书书籍、工具书、作业等题目进行录入系统,建立并整理成在线教育试题库,提高用户搜题识别的成功率。

通过从样本库中抽取100道初高中数学题目使用APP中拍照求解答功能,对100道题目拍照(如图5)并选取图像中的中文和公式进行识别,点击搜索,查找题目详细解析(如图6)(样本库由上海XX信息技术有限公司提供)。

 

图5  拍照的题目

 

 

图6  题目详细解析

 

在测试环境中,使用了某解答系统iOS版与某解答系统Android版APP对100道题目进行拍照、识别和搜索(样本库由上海XX信息技术有限公司提供)。样本库中的100道题目都能够识别并搜索到解题思路,准确度为100%。

最后按照实验室的报告模板《鉴定测试报告[12.2]》导出测试用例,编制软件测试报告。

三:总结与展望

查全率和查准率是评价搜题解题效果的两项重要指标。查全率和查准率与数据库系统和信息检索两个方面直接相关,也就是说,与数据库的收录范围、标引工作和检索式的正确表达等有着非常密切的关系。这两项重要指标类似于目前网络上的搜索引擎,面对大数据量能够自动的抓取万维网信息的程序或者脚本。作为搜索引擎的一个重要组成部分——网络爬虫相关的指标测试,将是我们接下来研究和探讨的主题。

 

关键字: