半岛权威十大直营(官方)网站

在DevOps环境中，将性能测试作为持续交付管道的一部分正在成为一种最佳实践。因此，性能测试必须是连续应用程序交付不可或缺的一部分。

越来越多的团队意识到，性能下降与功能下降对应用程序质量的影响一样大！因此，我们将重点放在性能测试上，以及如何将负载和性能测试最佳地集成到应用程序交付中。

将性能测试集成到持续交付管道中

您可以通过将选定的性能测试添加到Jenkins或您选择的连续集成工具中并使其定期运行，来开始将性能测试集成到连续交付管道中。

根据您的需求，您可以在构建/测试基础结构中的以下一项或多项中运行性能测试：

• 在每次构建后，以减少的性能进行“烟雾”测试。
• 每天进行一次更全面的性能测试。
• 每周一次或根据基础结构可用性，进行一组长期运行的测试以进行耐久性测试，或进行大量负载测试以进行压力测试。

然而，仅靠这本身是不够的。

手动分析负载测试报告可能很耗时，并且可能需要并非每个开发人员都具备的特殊技能。如果没有自动执行负载测试报告分析的功能，那么查看性能测试结果将变得很繁琐。重要的绩效信息也可能会被忽略。在这种情况下，您可能会连续运行性能测试，但是这样做的好处将会受到限制。

自动收集和分析性能测试结果

要获得连续性能测试的全部好处，您需要建立一种有效的机制来分析性能测试结果。Parasoft LoadTest及其LoadTest Continuum（Parasoft SOAtest的模块）为您提供了有助于自动收集和分析性能测试结果的工具，并为您提供了应用程序性能的见解。

如何设置环境以连续执行性能测试

以下步骤将帮助您设置环境以使用Parasoft LoadTest和LoadTest Continuum进行连续的性能测试：

1. 查看并配置LoadTest项目QoS指标以实现自动化。
2. 部署和配置LoadTest Continuum以进行负载测试报告收集。
3. 将LoadTest项目分批配置以执行。
4. 作为连续集成的一部分，开始运行LoadTest项目批处理，并使用LoadTest Continuum定期检查和分析性能测试结果。

我将在下面分别详细介绍这些步骤。

第1步——查看和配置自动化的QoS指标

Parasoft LoadTest服务质量（QoS）指标是自动化性能测试结果分析的关键功能之一。QoS指标可将负载测试报告中的大量数据减少为一组有关您的应用程序性能的成功/失败答案。Parasoft LoadTest提供了丰富的QoS度量标准集，从可用阈值度量标准到自定义脚本度量标准，允许您使用LoadTest API进行高级负载测试数据分析。

要准备用于自动化的性能测试，您需要查看LoadTest项目中的QoS指标。运行一个LoadTest项目并检查报告：用于手动分析负载测试报告的所有成功和失败标准都应表示为QoS指标。将尽可能多的指标转换为“数字”指标。数字QoS指标不仅返回成功/失败结果，而且还量化该指标的关键性能指标。例如，验证CPU利用率阈值的指标还将提供实际的CPU利用率值作为数字指标。

数字度量标准在LoadTest Continuum中被广泛使用，以绘制随时间变化的度量标准性能：

图1.在LoadTest Continuum报告中绘制的数字度量结果。

为LoadTest项目配置QoS指标后，就可以设置LoadTest Continuum进行性能数据收集和分析了。

第2步——部署和配置LoadTest Continuum

部署和配置LoadTest Continuum ltc.war Web应用程序归档文件（从9.10.2版开始在SOAtest/LoadTest安装目录中提供），如LoadTest文档的“LoadTest Continuum”部分中所述。

第3步——将LoadTest项目配置为批处理以执行

将您的LoadTest项目组合到.cmd脚本中以批量执行。通过LoadTest .cmd脚本，您可以指定将组成不同性能测试集的项目组，例如前面提到的“烟雾”测试，每日测试或周末测试。

配置.cmd脚本，以将报告数据发送到LoadTest Continuum，如LoadTest文档的“将报告发送到LoadTest Continuum”部分中所述。设置您的持续集成工具，以在构建过程中或定期运行LoadTest .cmd脚本。例如，在Jenkins中，您可以使用“执行Windows批处理”命令构建步骤来运行LoadTest .cmd脚本，如下所示：

%SOATEST_HOME%\lt.exe" -J-Xmx4096M -cmd -run "%WORKSPACE%\ltcontinuum.cmd

第4步——在Parasoft DTP中设置仪表板

Parasoft DTP包含报告和分析仪表板，使您可以使用各种小部件和报告来监视软件项目的运行状况和进度。

使用Parasoft LoadTest Continuum DTP小部件，您可以将最新的LoadTest结果摘要添加到DTP项目仪表板，并提供一种快速的方法来评估日常项目状态检查例程中性能测试结果的状态。

该小部件显示最近一次LoadTest运行的总数，通过的和失败的测试以及指标的数量。要更详细地查看结果，请单击小部件中的项目链接，然后LoadTest Continuum页面将在新选项卡中打开。

图2. DTP仪表板上的LoadTest Continuum小部件。

要在DTP中设置LoadTest Continuum自定义HTML窗口小部件，只需执行以下步骤：

1. 在Parasoft DTP报告中心中，创建一个新的仪表板或打开一个现有的仪表板。
2. 按添加小部件。在“添加小部件”对话框中，选择“自定义”->“自定义HTML小部件”。
3. 将以下文件的内容从LoadTest Continuum安装复制到对话框的HTML文本区域：%TOMCAT_HOME%\webapps\ltc\dtp\ltc_dtp_widget.html
4. 使用自定义设置修改HTML：
1. 找到getServerURL()函数。使用LoadTest Continuum安装的主机和端口修改返回值。
2. 找到getProjectName()函数。使用您要在小部件中跟踪的项目的名称修改返回值。
5. 按创建。

第5步——审查和分析性能测试结果

Parasoft LoadTest Continuum既是LoadTest报告的收集点，又是分析工具，可以组织多次运行的负载测试数据。LoadTest Continuum将数据组织成一个信息金字塔，使您能够以各种详细程度查看性能测试结果，从顶部的高层每日摘要到核心的QoS指标结果，再到详细的负载测试报告，底部：

图3. LoadTest Continuum每日摘要和测试指标视图。

考虑以下工作流程作为定期（每日）测试审查的示例：

1. 对于失败的测试，请执行以下步骤：
1. 打开测试历史记录视图，检查测试是否定期或偶尔失败。第一种情况很可能表明回归。第二种情况是不稳定。
2. 检查测试的失败指标：
1. 对于数字指标，请打开“指标历史记录”图形视图。使用指标历史记录图表获得见解。例如，如果度量标准所属的测试不稳定，那么度量标准图形的微小波动通常表明度量标准阈值需要调整。较大的波动表明代码或基础结构存在问题。
2. 打开此测试的所有图形链接。在同一测试中检查其他数字指标的图，以查看未超过指标阈值的波动。
2. 如果尚未设置LoadTest Continuum DTP小部件，请先在LTC项目主页面中检查测试和指标的成功/失败摘要。
3. 对于失败的项目，请单击指向LTC项目页面的链接以检查详细信息。
4. 首先在LoadTest Continuum DTP小部件中检查最新负载测试运行的状态。
5. 对此指标链接的“所有图形”执行相同的操作，以检查其他测试的相似指标是否受到影响。如果是，则表明您的应用程序或基础结构存在系统性问题，而不仅限于单个测试（请参见图4）。
6. 要进行更深入的分析，请打开失败测试的HTML或二进制“负载测试”报告。

图4.负载测试连续体相同度量标准视图的所有图形都显示了在多个测试中CPU％度量标准的性能提高。

将性能测试过程集成到连续交付管道中对于确保软件质量至关重要。为了充分利用此过程，您需要为性能测试结果分析自动化建立有效的机制。

与Parasoft保持连续

您可以在Parasoft SOAtest中使用Parasoft LoadTest和LoadTest Continuum进行设置，该软件提供了实现所有崇高测试结果分析自动化目标所需的一切。通过功能测试中的复杂自动化，您可以获取更高质量的软件。

学到更多：

• 通过这5种美妙的技术组合成为更智能的软件测试人员
• 什么是DTP，为何如此强大？
• 了解有关Parasoft SOAtest和Parasoft LoadTest的更多信息