教学课程资源库 更多>>

关键词： 测试用例复用   知识图谱   朴素贝叶斯   MKNN框架  

摘要： 随着移动互联网的快速发展,近年软件规模也呈爆炸式的增长,软件代码量越来越多,百万行的代码软件比比皆是。对于如此大体量的软件来说,如果每一个功能的测试用例都要重新编写,那无疑要使用大量的人力时间成本,这就限制了软件的测试迭代速度。因此,研究如何提高编写高质量测试用例速度对测试人员有着极其重要的意义。本文针对测试用例的特点,引入了知识图谱,利用知识图谱中丰富的语义信息提出了两种测试用例复用的方法。具体研究工作如下:1.知识图谱可以把测试文档中的项目、测试项、测试用例、测试记录、问题报告单等数据关联起来,丰富测试用例的“上下文”,以便更好的对测试用例进行推荐,找到软件缺陷。本文基于构建的软件测试用例知识图谱,提出了一种基于知识图谱的测试用例复用方法(Test Case Reuse Based on Knowledge Graph,TCRKG)。首先通过领域专家并结合测试文档制定构建本体的规则,根据本体和结构化的数据完成知识图谱的构建;然后根据测试中可能常用的问题,通过朴素贝叶斯分类模型设置问题模板;在确定问题模板之后,得到测试用例集合,在这些候选测试用例集合中寻找相似度最大的测试用例;最后通过测试用例相似度计算,给用户推荐相似度最高的测试用例集合。2.在TCRKG方法的基础上,为了挖掘测试用例的语义信息,提出了一种多维知识神经网络(Multidimensional Knowledge Neural Network,MKNN)。MKNN方法的关键一环是多维度知识感知卷积神经网络(Multi-dimension Knowledge-aware Convolutional Neural Network,MCNN),能够很好的处理测试用例多属性句子表示。MCNN的输入是由词嵌入和实体嵌入两通道组成,来提取句子的特征表示。为了对每个用户都做到精准推荐,考虑不同用户的偏好,给不同的用户加上不同的权重。因此,在MKNN中设计了一个注意力模块,以动态聚合用户关于当前候选测试用例的历史记录。实验结果表明,通过实验的横向和纵向对比,MKNN比传统测试用例复用方法具有更高的推荐准确度,可以有效的提高测试用例的复用率。本文提出的软件测试用例复用方法通过整合测试用例及其相关的软件测试资源,让一个个孤立的测试用例汇聚成具有关联的知识图谱。利用构建的软件测试用例知识图谱,为挖掘测试用例的语义信息提供了条件,也为测试用例的精准推荐提供了可能。

关键词： 测试数据自动生成   遗传算法   模拟退火算法  

摘要： 在整个软件开发的过程中,软件的开发和测试是重要的环节,且具备相辅相成的作用。在开发期间,一般是由测试人员负责手工编写测试用例,所以测试用例对开发内容的覆盖不够全面,测试工作的效率也相对较低。因此,如何加快自动生成测试用例是摆在开发者面前的一道绕不开的“考题”。针对于上述问题,本文提出一种改进的模拟退火遗传算法(Simulated Annealing Genetic Algorithm,SAGA)辅助生成测试数据,新算法的改进思想为:首先提出一种新的路径相似度计算,并将其加入到适应度函数的计算中,对个体的评价更为精确;其次围绕交叉算子选取多点交叉算法,以及对变异算子采用自适应变异,并在选择操作中加入了精英保留策略,避免最优个体在进化中因其他操作而遭到破坏;最后将改进好的算法与模拟退火算法充分结合,在新算法当中应用Bolztmann机制,避免出现早熟与局部最优解,使收敛的速度更快,达到最优。本文先使用四个基准程序和一个实际程序,分别从运行时间、最优迭代次数及最优解产生个数三个层面与相关其他学者的研究结果进行对比分析,来验证SAGA在生成测试用例效率问题中的可靠性和有效性。而后,以某软件公司的测试环境为实际背景,开发了测试用例生成系统,在系统中使用SAGA算法,取得了较好的应用效果,表明了新算法的优越性。

关键词： 软件测试   差分测试   白盒测试   神经元覆盖率   神经元覆盖系数  

摘要： 伴随着社会的进步,计算机科学已经步入了人们的生活,因此,各种各样的智能系统被应用到人们的实际生活中,如自动驾驶汽车系统等。然而,这种系统的正确性和可预测性是至关重要的,尤其在角落案例的情况下。因此如何为深度学习(Deep Learning,DL)系统自动的生成测试输入成为软件测试领域研究的重点。为了将传统软件测试方法应用到DL系统,测试方法Deep Xplore被提出来,但是,该方法存在以下两个缺陷:第一,该方法在定义不同的DNN(Deep Neuron Network)模型对于同一个测试输入表现出的差异行为时,没有考虑不同DNN模型自身还存在着差异行为;第二,在做联合优化的过程中,仅仅提高神经元覆盖率是不能够充分的指导测试输入的生成,没有需要考虑DNN中每一层的神经元的覆盖率的情况。为了解决这两个缺陷,本文重新定义了不同DNN模型之间的差异行为,还引入了神经元覆盖系数来考虑隐层神经元的覆盖情况,最后,现了一个测试输入生成、分析原型系统并进行了实验验证。实验结果表明本文定义的差异行为以及神经元覆盖系数能够获得更具有多样性的测试输入。本文的主要工作如下:(1)本文重新定义了不同DNN之间的差异行为,然后又定义了神经元覆盖系数,提出了新的DNN模型的测试框架Deep Gradient。首先,本文在定义差异行为时是先将一组测试输入输入到被测DNN中,然后通过添加特定领域的约束条件,再次输入到被测的DNN中,利用两次获得的神经元输出的差值的绝对值来衡量不同DNN模型之间的差异行为。接着,为了考虑DNN模型隐层神经元的覆盖率情况,又定义了神经元覆盖系数的概念,这样可以使得获得的测试输入更具有多样性。最后,本文将测试输入的生成问题表示为一个三个目标的优化问题,通过构建损失函数再利用梯度上升算法求解该优化问题。本文进行了一系列的实验评估了该方法,发现通过重新定义不同DNN模型之间的差异行为和引入神经元覆盖系数,确实能够产生更具有多样性的测试输入。(2)为了解决Deep Gradient框架之下的三个目标的优化问题,本研究联想到计算机领域还有更直接的多目标优化算法,因此在Deep Gradient方法的框架之下提出了DEEP-NGSA方法,该方法的引入主要是避免多个超参数的调参问题,由于在调参过程中很难找到合适的参数去求损失函数的最值。因此,利用多目标优化算法直接优化差异行为,神经元覆盖率,神经元覆盖系数就更为直接。本研究通过一系列的实验评估了该方法,该方法在维持了Deep Xplore和Deep Gradient两个方法的效率之下,同样可以生成具有多样性的测试输入,符合我们预期的目标。(3)设计并实现了基于上述两个算法和RT、Adversarial Testing和Deep Xplore的DNN模型的测试输入生成的原型系统(DNNTESTING＿SY)。本文介绍了DNNTESTING＿SY的整体架构设计和测试流程,展示了测试原型系统的界面设计,并对DNNTESTING＿SY的3个主要功能模块进行了详细的说明。调试后,DNNTESTING＿SY能够实现自动化测试。

关键词： 软件测试   测试用例自动生成   蒙特卡罗树搜索算法  

摘要： Test case generation is an integral aspect of any effective software debugging *** test case generation is error-prone and *** automatic test case generation has been widely used to improve efficiency and effectiveness of software *** methods have been proposed for automatic test case ***,automatic generation of test cases with higher coverage is still one of the challenges faced by structural testing of *** address this problem,this paper proposed two new methods which use Monte Carlo Tree Search（MCTS）and Parallel Monte Carlo Tree Search（PMCTS）for test case *** methods can maximize branch coverage of derived test cases within the available test *** main work of this paper is summarized as follows:（1）A MCTS method（M-TCG）is proposed to formulate test case generation problem as a tree exploration problem and then utilizes MCTS for heuristically searching the optimal test *** policy is explored in constructing simulated test case generation *** evaluate the effectiveness and efficiency of MCTS method,comparative experiments were conducted based on 17 projects with 66 non trivial Java classes from SF110 corpus and other *** results indicate that the proposed MCTS method improved average branch coverage by 2.1% compared with Dyna MOSA which is a state-of-the-art evolutionary *** method also decreased memory consumption by 4% compared with the existing adaptive a Dyna MOSA approach.（2）We proposed PMCTS method（PM-TCG）which extends M-TCG method for automatic test case *** computational cost for constructing the search tree in rollouts of MCTS is expensive,PMCTS method can further improve its effectiveness by formulating the test case generation problem as a parallel tree exploration problem and then uses PMCTS for heuristically searching the optimal test *** were conducted on the subject programs used in the MCTS ***

关键词： 软件测试   错误定位   深层神经网络   执行切片  

摘要： 错误定位可以帮助程序员快速找到错误所在的位置，减少代码检查的工作量，将其从手动定位错误的低效工作状态中解放出来，从而提高程序调试的效率。因此，错误定位方法的研究对于降低测试成本、保障软件质量有着重要意义。　　本文针对现有软件错误定位主流方法存在的主要问题，研究并提出了一种基于深层神经网络的语句可疑度计算方法，以及一种融合执行切片技术的深层神经网络错误定位方法。主要研究内容如下:　　(1)为了获得待测程序中所有可执行语句的可疑度，为后续的错误定位奠定基础，本文提出了一种基于深层神经网络的语句可疑度计算方法。针对测试用例集中失败测试用例占比低可能对可疑度计算产生不利影响的问题，本文提出了一种平衡测试用例集数据的方法，通过删除部分输入不同但覆盖数据相同的成功测试用例等方式平衡两者的占比，以获得更准确的可疑度值。对于神经网络模型隐藏层节点数的设置，本文根据测试数据集中程序的平均可执行语句数，提出了一种估算隐藏层节点数初始值的函数，作为模型训练的初始超参数设置之一，再根据模型的训练效果动态调整。　　(2)为了剔除与程序错误无关的部分语句，提高错误定位方法的有效性，本文提出了一种融合切片技术的深层神经网络错误定位方法。该方法利用基于深层神经网络的语句可疑度计算方法的结果，对失败测试用例构造执行切片，通过切片关键度评估函数和关键切片个数估算函数选出关键执行切片，按语句可疑度与该语句权重乘积降序排列，得到最终的定位报告。基于DeepFM的语句可疑度计算方法，能一定程度上解决可疑度计算方法的结果对样本数量较为敏感的问题。通过切片技术充分挖掘可疑语句的执行上下文信息，将不会对程序错误产生影响的冗余语句删除，缩小搜索域，从而获得更好的定位效果。　　本文提出的方法较好地解决了现有错误定位方法存在的主要问题，提高了软件错误定位的有效性，对于基于机器学习的错误定位方法进一步深入研究具有一定的参考价值。

关键词： 软件测试   自动化测试   有向图   蚁群算法   Selenium  

摘要： 工作流技术的出现实现了业务的流水线化,帮助开发人员更好地管理业务流程,但是这种技术也给测试工作带来了新的挑战。在测试复杂的工作流时测试人员会遇到大量重复测试和测试覆盖不完全的问题,而且在工作流发生该改变时会花费大量时间用于测试用例的维护,从而导致测试效率和测试质量的下降。因此本文将基于一款应用了Activiti流程引擎技术开发的Web项目仁济科研平台的工作流测试进行研究并提出工作流测试用例的生成方法及其自动化测试应用,本文主要完成了以下工作:（1）采用了有向图的数据结构对科研平台中的工作流进行建模,有向图采用邻接表的形式构建,考虑到工作流会随着项目的开发进行修改,所以需要采用一种方便测试人员维护的方式来构建有向图,因此测试人员可以使用xml文件来构建有向图,程序读取xml文件解析后生成邻接表。（2）在有向图的基础上提出了深度优先搜索算法和基于Floyd算法的多路径蚁群算法生成工作流测试用例的方法,这两种方法生成的测试用例都可以完整覆盖整个工作流。深度优先搜索算法实现简单,但是生成用例数量较多,花费时间较长,蚁群算法生成的测试用例较少,因此花费时间更少,可以进一步提升测试效率。深度优先搜索生成的测试用例用于自动化测试所花费的平均时间为1小时11分钟,蚁群算法生成的测试用例用于自动化测试的平均时间为23分钟,而人工完成工作流的测试通常需要2小时27分钟。深度优先搜索算法生成的测试用例数量更多,更容易发现一些偶发性的bug,蚁群算法生成的测试用例更少因此能大幅度提高测试效率,所以在不同测试需求下可以应用不同的方法生成测试用例进行自动化测试。（3）基于Selenium框架设计了UI自动化测试程序,为了方便测试人员对其进行维护,程序采用了Page Object设计模式、关键字驱动、数据驱动等思想,并且划分了页面对象模块、测试数据模块、公共库模块和测试用例模块来进一步提升自动化测试程序的可维护性,该程序基于Pytest和算法生成的测试用例对项目进行自动化测试。本课题基于仁济科研平台的工作流测试工作进行研究,自动化测试已在测试工作中投入使用,从测试结果来看,代替了一些重复性测试的工作,提升了测试工作整体的效率和质量。

关键词： 软件可靠性模型   TMMi   V模型   敏捷测试   测试质量管理  

摘要： 随着传统金融行业面向数字化转型的迫切需求,以及银行业为响应国家“去IOE”、采购国产化设备、自主研发应用系统等号召,使得A银行面临软件规模不断增长和原有业务系统功能不断更新的双重压力,导致其应用系统的可靠性面临着巨大挑战。如何保障应用系统长期稳定的线上运行成为A银行各部门关注的重点。为提升软件质量,A银行测试中心构建了基于TMMi的软件测试质量管理体系。但由于该质量管理体系对软件测试度量和质量控制的关键环节——软件质量在投产前的量化评估缺少关注。使得A银行软件质量一直难以有所突破,如何改进现有质量管理方法,通过量化预测软件可靠性并研究出一套可提高A银行测试中心的质量管理方法成为一项富于挑战性的课题。本文首先从TMMi（测试成熟度模型集成）和软件可靠性模型的分析出发,定义软件可靠性的度量指标。一方面将软件可靠性度量指标有效的引入瀑布研发模式的“V模型”测试流程和敏捷研发模式的敏捷测试流程,用以优化软件测试退出标准和测试过程监控流程。另一方面将软件产品从研发测试到生产运营过程中的所有失效缺陷数据作为分析对象,利用数理统计方法建立软件可靠性模型,例如Rayleigh模型、延迟S模型、非齐次泊松模型、对数泊松模型等。通过分析模型参数的业务含义,来实时动态预测软件质量的可靠性。最后以具体的软件项目——新一代贷记卡系统等项目为例,通过实践证明了软件可靠性模型与基于TMMi质量管理系统的融合对于提升A银行测试中心的软件质量具有非常显著的作用。鉴于软件测试组织基于软件可靠性模型的质量管理研究案例较少。尤其是金融行业测试组织在软件可靠性模型领域的研究与应用还处于起步阶段,本文针对A银行测试中心的实际问题,提出了具有针对性的解决方案,并将A银行的成功经验总结形成可复制的实施经验,为软件可靠性模型如何在测试质量管理中实施落地提供了较为完整的参考方案。

关键词： 软件测试   软件测试过程   可视分析   过程可视化   文本数据可视化  

摘要： 随着数据可视化技术在软件测试领域的推广应用,出现了如软件测试管理系统、软件测试过程管理系统以及软件测试过程或结果可视分析辅助工具等。但是,这些系统或工具主要供开发人员进行代码分析时使用,可视化内容主要针对具体项目中的包、类、方法和代码行等,可视化呈现和分析程度有待提高。此外,当前第三方软件评测机构在测试和评审过程中均涉及大量纸质文档,分析困难,管理不便,整体工作效率低下。为解决上述问题,本文结合软件测试和可视化技术,采用从全局到局部再到细节的可视分析思路,结合多种可视化表现形式,实现了软件测试过程可视分析系统,从软件测试全过程和子过程可视分析两个角度,帮助测试人员、管理人员和评审人员等对软件测试过程、各过程关键信息以及子过程之间的关联等进行高效分析,提高软件测试的可理解性和可视分析的效率,具有较强的实际应用价值。本文主要工作体现在以下三个方面:(1)提出了软件测试过程的可视分析方法,包括可视化设计原则和要求、测试数据预处理、测试过程可视分析设计和测试报告生成。可视化设计原则和要求定义了本文系统的可视设计原则和要求;测试数据预处理实现了对源文档数据的说明、提取和数据结构的建立;测试过程可视分析设计针对可视分析任务设计了相应的视图以及交互手段;测试报告生成实现了测试报告的自定义生成和输出。该方法能帮助用户更好地进行软件测试过程的整体和局部分析,全面了解软件测试过程。(2)基于提出的可视分析方法,结合可视分析框架设计、可视分析流程设计、系统架构设计和系统界面视图设计的相关内容,设计并实现了软件测试过程可视分析系统STPVis(Software Testing Process Visualization)。该系统有效结合多种可视化技术和交互方式,从全局和局部两个维度呈现并分析软件测试基本过程和各过程主要内容,支持用户以可视化的方式对软件功能测试过程进行快速分析和深入探索。通过直观的视图帮助用户快速了解软件功能测试过程,减少用户翻阅纸质文档的时间,提高测试整体工作效率。(3)对软件测试过程可视分析系统进行了案例分析和系统测试。案例分析实现了对典型测试项目软件测试全过程和子过程的可视分析,验证了本文系统的实用性;系统测试主要包括功能测试和非功能测试,证明STPVis满足用户提出的需求,并验证了本文可视分析方法的可行性和STPVis的易用性和有效性。

关键词： 航天软件   文本匹配   自然语言处理   测试用例复用  

摘要： 随着中国空间科技的进一步发展，空间应用进入了全新的时代。随着航天任务量不断增加，各种航天型号任务中软件所占的比重越来越大，软件执行的任务也越来越重。软件的质量对航天型号的产品的正常运行有着至关重要的保障作用，保障软件系统的质量与安全性显得尤为关键，而软件测试工作是整个项目发展中必不可少且是至关重要的一环。尤其在航天领域，安全性和可靠性尤为重要，小的失误会造成巨大的损失，这也必然导致对航天软件测试工作的高要求高标准。为保障航天软件安全性和可靠性要求，测试人员在测试过程中需编写大量测试用例，且对于复杂的航天软件测试设计过程较为复杂。测试用例复用技术是利用历史积累的测试数据进行新的测试的方法，针对航天软件结构性强，相似功能模块多的特点，该方法可以很好的解决上述航天软件测试效率的问题，所以本文结合自然语言处理技术实现了航天软件测试用例复用。主要工作如下:　　(1)实现基于自然语言处理的航天软件需求规格说明预处理技术。实现测试用例复用的前提是具备规格化的测试资源，因此本论文提出针对航天软件的需求文档预处理流程，包括航天软件停用词库的建立、文本清洗、需求文档标准化等流程。　　(2)针对目前基于文本相似度的测试用例复用技术中语义信息缺失的问题，本论文提出在实现文本向量化及基本特征提取后采用深度语义模型进一步提取语义信息。本论文选取ESIM模型进行实验验证，并整理工程数据集验证了模型在工程数据上的有效性，最后选择SiasemeNet模型进行对比实验验证模型对准确率等评价指标的提升效果，实验结果表明ESIM模型在文本匹配方面具有更好的效果。　　(3)构建航天软件知识库，软件测试用例复用的一个重要前提是构建出完备且规范的知识库，本论文结合航天软件需求文档的特点，实现航天软件知识库构建并对需求文档及测试用例进行结构化存储，进而实现测试用例的复用。　　通过对以上内容的研究，本课题实现了利用自然语言处理中的文本匹配技术对需求文档进行处理及匹配。在自然语言处理过程中选择了深度语义匹配模型中的交互型模型ESIM，并验证了该模型在工程数据上的有效性，通过模型优化提高了匹配的准确率，达到预期效果。

关键词： 软件测试   Oracle问题   蜕变测试   蜕变关系   机器学习  

摘要： 随着信息化程度的日益提高,计算机软件已经被广泛应用于技术产业和国民生活的各个方面,软件系统的规模和复杂程度也在不断提高。软件测试作为提高软件质量、保证软件可靠性的重要手段,在软件开发过程中发挥着重要作用。在众多软件测试技术中,蜕变测试(Metamorphic Testing,MT)作为能有效减轻软件测试中预期输出问题压力的测试技术,目前被广泛应用在人工智能、搜索引擎等缺乏测试预言(Test Oracle)的软件系统的测试活动中。但蜕变关系(Metamorphic Relation,MR)作为蜕变测试技术的关键,往往需要软件测试人员在理解程序的需求规约基础上获取,且难以完全自动化地识别。因此,如何简便、高效地为程序构造出多样化的蜕变关系已成为蜕变测试研究领域的热点问题。现有的众多蜕变关系识别与生成方法中,基于机器学习技术的蜕变关系预测方法近年来得到了较多研究者的关注。其中,蜕变关系预测方法MRpredT使用文本挖掘技术对程序的注释进行处理,并利用处理后的注释文本信息衡量程序之间的相似性,以此达到蜕变关系重用的目的,实验结果表明该方法在对矩阵操作程序进行蜕变关系预测时有着不俗的表现。在MRpredT方法的基础上,本文首先从提高蜕变关系预测效果的角度出发,提出了 MRpredCC 方法(Metamorphic Relation Prediction based on Code and Comments),该方法综合考虑了充分挖掘程序代码与注释两部分信息,以此来提高程序相似性计算效率。随后从提高数据集程序多样性的角度出发,在原本只针对矩阵操作的程序集中增加推荐系统等机器学习程序,以衡量MRpredCC方法的蜕变关系预测效果。最后,为了能使得MRpredCC方法性能最佳,本文分别开展实验从四种候选相似性计算方法和四种候选分类器模型中选择最优的相似性算法和分类模型。此外,为了验证MRpredCC方法的有效性,本文开展了详实的实证分析,实验结果表明,相较于MRpredT方法,MRpredCC方法在蜕变关系预测中具有更好的预测效果。蜕变关系的自动化识别与生成技术有助于测试人员应用蜕变测试技术对软件产品进行有效测试,通过代替复杂的人工识别蜕变关系来节省大量的时间和开销。本文通过改进MRpredT方法的程序相似性计算策略提出了 MRpredCC方法,将对蜕变关系生成技术研究和应用提供一定的参考。