一、项目背景及目标

1.项目立项背景

支付清算类系统作为社会资金周转的“大动脉”，其安全、稳健、高效的运行对于维护社会金融稳定具有至关重要的作用。商业银行作为支付系统重要参与者，应确保自身业务系统安全稳健运行、保障业务连续性管理的前提下开展支付清算业务，尤其是各类创新业务。

随着金融数字化转型的不断深化应用，支付清算类系统引入分布式架构以及敏捷开发模式的快速迭代交付已经成为常态。支付清算类系统作为我行重要信息系统以及各上下游系统的关键节点，面临更多长链条的业务流程以及更复杂的服务依赖，却要求快速的问题定位和更短的测试周期，对支付清算类系统此种重要且业务复杂的典型信息科技系统的交付质量提出了更高的要求，如何快速精准的测试是当前的一道难题。本方案从支付清算类系统相关人员角度分析，由内而外解决各个环节用户使用支付清算类系统时的问题：

（1）测试人员：负责系统测试，通过关联交易系统进行支付清算类系统的UI测试，要求测试人员对需求的充分理解，测试案例的精细设计，人力时间的大量投入。支付清算类系统涉及MQ、HTTP、socket、web service等多种连接方式，通过模拟报文进行接口测试，则要求测试人员有丰富的测试技能以及较高的编码能力，且难于确保接口测试的有效性。通过可视化测试覆盖统计手段，可实现函数级差异覆盖率统计，实时展示测试质量，为测试查漏补缺。

（2）业务人员：负责用户验收测试，需要分析业务逻辑变更产生的影响，投入大量时间至验收测试。通过代码与用例双向追溯，进行回归案例推荐，从代码层自动分析业务改造的影响，提供回归的建议。

（3）开发人员：快速迭代的条件下需更好把握重点、公共函数，修改映射的应用层接口的影响。通过可视化函数调用图及重点函数标记，可为开发对关联改造分析提供便捷的查看手段。

（4）用户及客户：对金融支付清算类的稳定运行及使用体验要求高，报错容忍度低。通过精准、可视化的测试，提高测试质量，减低缺陷逃逸至生产环境。

2.项目目标

基于精准测试进行增改函数测试覆盖率统计，透明化测试过程，可视化测试质量，将业务测试过程关联到代码覆盖率，从灰盒的角度更智能且目标更明确地测试，降低需求分析以及测试的误差。对重点、公共函数修改对应用接口的影响进行分析，降低代码分析和灰盒测试难度，结合自动化接口测试案例进行回归推荐，将以往需要研发及测试个人能力来判断的测试范围，转为工具自动化判断。精准测试处理后将回归推荐结果推送到自动化平台以及全链路性能测试平台，自动化构建对应案例集执行场景，自动回归推荐接口测试案例及性能基线，快速检出代码缺陷以及性能缺陷，减少支付清算类系统在快速迭代背景下出现的测试困难、测试时间不足、测试不充分等问题。 

二、项目/策略方案

以代码和用例双向追溯的精准测试为核心，通过迭代开发持续集成平台联通开发测试，联动自动化测试平台和全链路性能测试平台，建立一条集成开发、测试分析、测试执行以及结果分析的循环链路，实现支付清算类系统快速迭代下的精准测试。

三、创新点

支付清算类系统多为对外渠道提供公共接口服务，改造影响面广，测试全覆盖难度大，以精准测试为突破口，充分利用现有工具解决以往支付清算类系统开发测试过程需要研发及测试个人能力来判断的测试范围，转为工具自动化判断，配合现有的敏捷开发与测试模式，能够在双态模式下提高测试工作效率和工作质量。用精准测试的技术办法，打破黑盒测试的不可见弊端，用“可量化”和“可视化”的分析与测试手段，有效地发现程序深层隐藏的缺陷、精准识别测试的有效性，提高信息系统投产质量、降低投产风险。同时通过技术手段精准地追溯测试数据链路及自动化回归测试，有效实现信息系统的高可靠性和易维护性。

图一：现有质量工具图示

（1）自动化测试技术：基于业务流程分析进行支付清算类系统自动化测试用例的维护与生成，持续迭代接口自动化案例库，保证案例的完整性，降低维护成本，提高接口变更的维护效率。提供MQ、HTTP、socket、web service等多种协议的自动化测试手段，多并发无人值守的自动化测试手段，打造版本迭代的质量门禁，提高测试效率。

（2）精准测试技术：使软件测试从完全依赖人工记录、验证，转换为机器智能的全过程精准、可视、可信的全新检测模式。精准测试数据和支付清算类系统的UI/接口黑盒测试优雅对接，在不改变常规测试流程的情况下，就可以获得大量的精准分析数据，并直接引导用户进行高效的后续测试与质量风险评估。

（3）迭代开发持续集成平台：建立协作工作台及自动化流水线实现工作快速流动。

四、项目过程管理

针对支付清算类系统多渠道调用导致的测试难的测试特性，通过创新性的设计，以精准测试为核心，通过迭代开发持续集成平台串联开发测试，联动自动化测试平台和全链路性能测试平台执行测试，测试管理平台进行测试流程及资产管理。在开发、测试、业务间形成一个闭环，打破传统金融信息科技系统瀑布式的开发测试模式，像一个“轮子”可以高速转动，高效推出新业务，稳定优化已有业务。

图二：测试流程图示

（1）开发阶段：开发人员通过编码实现具体的需求功能，通过迭代开发持续集成平台实现版本的快速迭代，通过精准测试对支付清算类系统重点、公共函数相关修改进行影响分析，对代码的追踪对测试过程中产生的缺陷进行智能定位。

（2）测试分析阶段，基于版本迭代的变更内容，通过精准测试智能推荐进行测试范围的挑选，落入测试管理平台进行管理并形成资产库，通过MBP案例分析和自动化测试平台进行接口自动化测试案例的快速生成。

（3）测试执行阶段：通过自动化测试平台自动执行案例，与精准测试平台关联实现案例与代码双向追溯。通过精准测试平台识别接口变更，自动推送接口测试案例推荐结果至自动化测试平台进行接口测试，同时调用全链路性能测试平台实现接口性能回归。

（4）结果分析阶段：接收自动化平台以及全链路性能测试平台返回的测试执行结果，通过精准测试平台进行迭代版本的差异覆盖率分析，可视化迭代版本的测试情况，通过对未覆盖的代码分析形成相应的案例补充建议。

（5）测试准出阶段：通过测试管理平台准出模型，从代码覆盖率、需求覆盖率、缺陷情况、案例执行情况等方面进行版本质量度量。

五、运营情况

本项目已在行内投入到业务变更频繁、新业务开发活跃、测试复杂度高的支付清算类系统中，也推广至贷款类、管理类、核心支持类系统中，已累计覆盖100多个业务系统。

六、项目成效

1、创新金融科技项目建设协作模式

（1）测试人员：通过基于智能算法与业务流程分析的自动化测试和精准测试平台的回归案例推荐，精准地确定测试范围，提高测试案例的复用率，缓解支付清算类系统测试人员紧缺、测试技能掌握程度不一、测试效率低下的状况。

（2）业务人员：减少业务人员用户验收测试的工作量，降低业务逻辑变更带来的影响，释放人力，让其有更多精力投放到产品逻辑设计、UI优化与产品交互设计中。

（3）开发人员：提升开发人员版本打包、代码扫描、单元测试、问题定位等效率和精度，通过代码与案例的双向追溯关系，实现开发人员与业务人员在接口改造的无障碍沟通。

（4）客户：降低客户使用金融信息科技系统的风险，保障系统稳定运行，提升客户的系统体验。

2、全流程闭环，降本增效

（1）改进测试过程：在测试过程中，本方案贯穿整个软件开发测试生命周期，实现各阶段资源的协调统一，节省大量的资源，显著提升效益。经过量化分析，在使用此方案后，支付清算类系统同比投入成本下的回归精确度提升了三倍，自动化执行分析和调度效率提升了三倍，开发与测试的协同效率提升了两倍，用例设计充分度（覆盖率）提升了三倍，缺陷问题定位效率提升了三倍。

（2）提升管理效率：通过实现测试数字化转型，完成质量控制水平的提升，整合测试资产，减少因人员变动而产生的成本影响。同时通过可信的测试数据与分析报表视图，有效帮助管理者降低管理投入，提升管理效率。量化结果表明，本方案的应用可以有效的将支付清算类测试管理效率提升三倍，每个管理者通过每日统计数据，可以从原先管理4-5人的团队，提升至有效管理15人左右的团队。

3、精准质量管控，满足监管要求，维护企业品牌形象

（1）降低客户损失：支付清算类系统紧系客户的“钱袋子”，系统的缺陷往往会造成客户的资金损失，遭受客户的投诉，更有甚者会失去用户的信任、受到监管的处罚、媒体的批评等，而使用本方案可从系统建设源头降低这些风险的产生，减少客户不必要的损失，进一步树立品牌形象。

（2）落实监管要求：支付系统参与者的业务连续性管理水平是监管关注的重点。在支付清算系统建设中，测试工作的执行质量是保障系统稳定与质量至关重要的一环。本方案以先进的测试技术为测试工作注入高效的“润滑剂”，进一步保障支付清算系统建设的质效。

七、经验总结

传统模式下，开发人员关注的是代码，测试人员关注的是业务角度的测试用例，而本方案在测试用例执行过程中，为用户从底层自动建立任意运行模式的软件系统功能点与源代码之间的可视化追溯机制，使用户获取用例级的代码覆盖率等多种高级测试数据。打通了开发与测试之间的协同工作通道，有力的打破了软件开发、测试、维护及管理人员等之间的数据孤岛状态，实现了软件测试过程和结果的高度精准可视化。通过在支付清算类系统的实践，取得了良好的成效，此模式可进一步推广至其他信息科技系统。