一、项目背景及目标

（一）背景

 为相应国家及行业相关政策导向，严格遵循《金融业运用人工智慧（AI）指引》等监管要求，契合国家金融科技数字化转型、金融风险防控得政策方向，落实AI系统全生命周期得核心要求，主力银行实现AI应用合规可控、安全稳健运行，推动银行测试工作向智能化、高效化转型，兼顾合规性与创新型。

天津滨海农商银行传统测试工作涵盖接口测试、冒烟测试、SIT测试、UAT测试、数据迁移测试、非功能测试等多个场景，测试项目规模大、进度要求紧、业务逻辑复杂度高，需投入大量人力进行跨部门协调。当前所采用的NTP接口+测试管理平台、非功能测试自动化方案，存在启动成本高、后期维护难度大等问题，且测试过程中存在大量测试数据需人工准备、系统间数据转录繁琐等痛点，严重制约测试效率提升，难以满足银行数字化转型过程中快速迭代的测试需求。

（二）目标

基于银行系统业务需求文档及交易界面信息，自动提取核心测试点，批量生成符合业务规范的测试用例，提升用例覆盖度与精准度。

1.依托现有融合拾取技术与视觉大模型界面分析技术，根据生成的测试用例自动生成可执行测试脚本，并完成脚本有效性验证，减少人工脚本开发工作量。

2.实现接口串联测试全流程自动化，提供API支持测试管理建立标准化业务模型，可根据业务需求文档自动生成测试用例集，并能按界面批量获取页面元素信息，打通测试各环节数据壁垒。

3.通过自动化替代重复性人工操作，降低项目管理人力成本，提升测试交付质量与系统运行稳定性，助力测试团队从重复劳动向高价值工作转型。

二、创新点

知识库工程+精准元素识取：根据业务需求文档、接口设计文档、数据库设计文档等知识库，分析业务需求内容，生成响应知识图谱（包括测试需求图谱、测试资产图谱）。同时，精准采集系统界面，抓取业务元素，使需求分析生成测试大纲更智能化、准确化。

客户喜好特征提取：通过深度分析银行历史测试案例库，精准捕捉用例关键决策人对测试案例的偏好与要求，实现测试案例生成精度、粒度的个性化控制，提升案例采纳率。

定制思维链（CoT）：针对测试用例生成场景定制专属推理流程，引导大模型先分类生成主干用例、约束条件用例、边界场景用例、已知缺陷用例、存量复用用例等，再进行多维度合并优化，最后对照业务规范与测试要求反思校验，最终输出标准化、规范化的测试用例集。

RAG提示词动态构建：内置金融测试专属知识库，精准理解银行测试专业词汇与合规要求，AI可自动校验需求文档的完整性、合规性与可行性，并生成针对性评审意见，大幅减少人工评审工作量，提升评审效率与准确性。

三、项目技术方案

1.技术架构

图一 AI Agent测试机器人技术架构

AI Agent测试机器人采用模块化分层架构，是集成了自然语言处理（NLP）、计算机视觉（CV）、机器学习等多种AI核心能力的平台化解决方案。通过分层设计实现各模块解耦，依托闭环反馈机制持续优化测试流程，实现测试全流程智能化升级，最终目标是解放测试人员，使其从繁琐的重复性劳动中解脱出来，专注于测试策略设计、复杂问题分析等更高价值的工作。

2.主要功能

（1）智能需求分析生成测试大纲：AI Agent测试机器人可根据系统预设时间，自动从OA系统指定路径抽取对应业务需求文档，依托需求大模型及已有案例库，对需求文档进行智能拆分、深度解析，自动生成符合业务场景与测试标准的测试大纲，为后续用例生成提供明确指引。

（2）自动生成测试用例：基于生成的测试大纲及交易界面信息，  AI Agent测试机器人自动提取核心测试点，批量生成测试用例。有效优化人工测试中判定表法、正交试验法、因果图法等传统测试方法的应用效果，提升用例覆盖度，实现核心业务模块测试用例全覆盖的目标。

（3）自动化测试脚本：自动化测试脚本是全链路只能测试管理平台的核心功能之一，可根据AI自动生成测试用例，批量生成接口、UI等可执行脚本，并自动完成有效性校验，无需人工调试。通过自然语言驱动，大幅降低维护成本，提高系统稳定性。

3.集成架构

本项目作为天津滨海农商银行“测试综合管理平台（Test Integrated Management System, 简称：TIMS平台）”的功能延伸，全流程自动化测试功能，覆盖 “需求分析 - 用例设计 - 脚本开发 - 执行监控 - 报告分析” 全链条，具体包括：

（1）智能需求分析与测试大纲生成：自动抽取 OA 系统需求文档，智能拆解解析，生成符合标准的测试大纲。

（2）自动化测试用例生成：提取测试点批量生成用例，建立覆盖度追溯机制，确保核心业务模块全覆盖。

（3）自动化脚本开发与验证：依托融合拾取、视觉大模型界面分析技术，自动生成接口、UI 等测试脚本并验证有效性。

（4）测试数据构建与案例执行：采用 “存量复用 + 自动生成” 模式构建测试用例，“新建数据 + 脱敏历史数据” 双轨验证，自动编排执行计划、生成测试报告。

（5）全链路可视化管控：实现测试各环节数据互通与流程自动化，实时监控测试进度与效果。

与银行现有 OA 系统、项目管理平台、DevOps 平台通过 API 接口打通，实现数据互通、流程联动，构建一体化测试管理生态。

4.项目落地

（一）知识库工程搭建

导入开源AI大模型后，基于已有基础知识库，将我行历史需求文档，系统设计文档，接口文档，数据库设计文档等资产导入知识库，对基础知识库进行扩展。

根据新核心项目测试需求，将新核心存款系统及外围系统对应需求文档、接口文档及设计文档，如Excel、Json报文、xml/yam等文档输入，通过文档分析，界面分析，源码分析补齐输入，通过意图分析、规则分析、输出规格分析等对齐项目级知识，进一步扩大知识库基础能力。

RAG同样为核心实现技术，核心流程是将用户查询经Embedding模型向量化后，在向量数据库中检索相似文档块（chunks），再与原查询组合输入大模型生成响应，从而减少幻觉并提升准确性。

知识库构建流程：数据源加载—>文档预处理—>文本分块（Node）—>向量化（Embedding）—>向量库存储—>检索+重排—>大模型生成回答。

需求知识库构建,其中Node文本分块为核心步骤，读取预导入所有文件，生成Document对象，过滤无用内容、换行、空格、乱码，以提升知识库质量。根据不同文档选择不同解析器。将加载文件切成小块，分章节、段落、句子三级分解，章节和段落提取摘要、问答对。切割后的小块文档转为向量，用于语义检索，将所有Node向量化，存入向量数据库（Milvus），将知识库永久落地。

案例知识库构建，基本流程同需求知识库构建，内容部分来源于已有测试案例，部分由自动拾取技术进行补充，针对设计界面需求，采用智能元素定位“技术”，实现元素业务语义理解、元素类型筛选机制，它基于页面结构分析动态选择核心控件，如输入框、按钮和下拉框等。精准选取当前业务条件下的可操作元素上送大模型，提升大模型对不同业务条件下的业务理解。

项目成果包括：

（1）测试需求业务建模

抽象测试意图、业务规则、业务数据、数据逻辑关系、期望结果等核心要素，通过对大模型的不断训练提升了输出的稳定性和采纳率。

（2）测试智能体流程体系构建

形成需求生成、需求分析、案例设计的案例生成智能体流程体系。

图二 需求整理流程编排

图三 需求分析流程编排

图四 测试设计流程编排

（二）测试大纲生成

提示词工程（RAG），大模型提供角色定义、目标定义、业务规范基础提示词，根据query、范围要求、标签、参考文件目录召回相关业务知识，召回相关工程知识，如测试意图、岗位要求、客户喜好、输出规范等技术支持，结合构建的智能体实现客户特征提取（历史数据驱动的生成精度控制），提升生成结果采纳率。

Small to Big Retrieval(简称Small2Big)技术，是一种针对大模型RAG系统的优化检索策略，核心在于通过多粒度文本分块实现检索效率与精度的平衡。使用小的文本，如sentences（句子）做检索，使用对应的大的文本如segments（段落）做上下文。

实施关键点如下：

（1）关键决策点分组

决策点按业务相关性进行分组，分组后在组内做笛卡尔积。组间做笛卡尔积。

（2）业务规则

业务规则代表着不应直接参与排列组合的决策点，它们只生成一系列的正例反例对规则本身进行验证，确保测试覆盖了所有业务场景。

（3）数据逻辑关系

利用数据逻辑关系可以排除那些在实际业务中没有意义的排列组合，从而提高测试效率和有效性。

（4）反例的业务价值保留

即使是笛卡尔积的一部分，那些具有业务价值的反例也应当被保留，以确保测试能够覆盖潜在的错误场景。

（5）灵活运用乘法原理

决策点数量少的，测试设计者应选择使用笛卡尔积，决策点数量少的，测试设计者应选择使用三三相乘，再多的应选择两两相称。

图五 生成测试大纲

（三）测试案例生成

采用结构化案例生成方法论——定制化思维链（CCoT/ACE），通过需求分析模型、关键决策点提取模型、业务约束提取模型、客户风格模型等，全自动构建CoT提示词工程，确保测试用例生成的泛化能力与适配性。

建立用例覆盖度追溯机制，从最终生成的测试案例出发，通过案例标识号上溯至合并前的最大案例集，再通过案例对应的业务需求标识号，上溯至需求分解血缘关系，分别分析主干场景、业务约束等方面的覆盖度，最终汇总形成总覆盖度报告，确保测试用例覆盖全面。

采用混合召回策略，分别从向量知识库、ES知识库、业务知识图谱中精准召回相关知识，经过重排优化后为用例生成提供支撑；引入Agentic RAG技术，通过智能递归拆解复杂问题，分别召回各子问题相关知识，去重后重排，进一步提升用例生成的精准度。

图六 结构化案例生成

图七 生成测试案例

（四）测试数据构建及案例执行

在新核心项目测试过程中，测试案例采用“存量复用+自动生成”相结合的方式，既对历史存量案例进行复用改写，也基于业务文档和交易界面信息自动生成新案例，并通过大模型推理得出测试预期结果。测试数据采用“新建数据+脱敏历史数据”双轨验证模式，既使用新建测试数据完成第一轮功能正确性验证，也利用经过脱敏处理的生产历史业务数据，对系统功能进行强化验证，确保测试结果贴合实际业务场景。

新建测试数据通过自动化脚本批量生成，精准满足各类业务测试需求；历史测试数据通过专用工具自动连接数据库，输入自然查询语言后，由检索智能体自动生成查询语句，访问数据表筛选符合条件的测试数据，或直接复用已执行测试案例生成的业务数据。将测试数据与对应测试案例关联后，编排案例执行计划并启动自动化执行，执行完成后自动生成标准化测试报告，实现测试数据、案例执行、报告生成全流程自动化。

图八 AI Agent测试机器人全流程自动化展示图

（五）需求变更下的案例生成

在新核心项目实施过程中，针对需求变更内容，导入需求变更文档，决策点提取智能体提取变更功能点，再由决策点分类智能体、数据逻辑关系知识溯源智能体、业务规则知识溯源智能体、期望结果分析加工等智能体，协同进行智能研判、对比后输出结果，人工确认后，对需要调整的内容进行纠正，如此循环最终获取期望结果并落地知识库，AI Agent测试机器人基于新的需求分析结果自动生成补充测试案例。

四、运营情况

本项目实施周期为2025年6月10日至2026年4月10日，共计10个月，整体遵循“筹备启动—试点落地—全面推广—优化迭代—总结收官”的核心推进节奏，紧扣“测试机器人自动生成测试案例落地应用”这一核心目标，分阶段有序推进运营工作，确保项目按计划落地、高效运转，各阶段具体运营情况如下：

（一）筹备启动阶段（2025年6月-2025年8月）

完成项目专项团队搭建，明确各岗位职责分工；全面梳理银行测试业务需求，优化项目实施方案，明确技术路线与落地节点；完成硬件设备、软件资源、数据资产等筹备工作；开展全员专项培训，重点覆盖AI Agent测试机器人操作、技术原理、业务适配等内容，确保相关人员具备项目落地所需的专业能力。

（二）试点落地阶段（2025年9月-2025年10月）

结合银行核心业务场景，选取新核心存款系统等典型场景作为试点；搭建试点测试环境，部署AI Agent测试机器人相关功能；全程监测试点过程中的数据指标，收集测试人员反馈意见，针对试点中出现的问题及时优化调整，完善功能适配性，确保试点工作顺利推进，为全面推广奠定基础。

（三）全面推广阶段（2025年11月-2026年1月）

在银行全辖范围内推广部署AI Agent测试机器人与全链路智能管理平台，覆盖所有核心及关键外围系统测试场景；提供批量运营支持，解决各部门在平台使用过程中遇到的技术与业务问题；建立数据常态化监测机制，实时跟踪平台运行状态与测试效果；完善测试流程规范，加强跨部门协同配合，确保平台高效运转。

（四）优化迭代阶段（2026年2月-2026年3月）

对项目实施全过程进行全面复盘，梳理存在的问题与优化空间；根据业务需求变化与测试反馈，开展平台功能迭代升级，提升系统稳定性与适配性；加强运营团队能力建设，提升平台运维与优化水平；沉淀项目相关资产，形成标准化的测试流程与操作规范；开展用户满意度调研，收集改进建议，持续优化平台体验。

（五）总结收官阶段（2026年4月）

组织开展项目全面验收工作，对照项目目标与实施方案，核查项目成果；完成项目运营总结，梳理项目实施经验与成效；做好项目资产移交、人员交接工作，确保平台后续正常运维；开展项目全面复盘，总结经验教训，为后续类似项目实施提供参考。

五、项目成就

本项目在配合银行新核心建设项目进程中，重点对核心及关键外围系统开展回归测试，取得了效率、质量、成本三大维度的显著提升，成效突出，具体如下：

（一）效率显著提升

• 需求生成案例：需求文档解析成功率达100%，生成案例正确率77%，案例采纳率维持在70%-80%，单交易测试用例生成平均耗时约20分钟；新核心项目累计生成测试用例7.4+万条，外围系统2.6万，累计执行测试案例20+万次，高效支撑项目测试推进。

• 测试执行：测试执行速度较传统模式至少提升1/3，测试周期大幅缩短，整体测试效率提升30%以上，有效保障项目按期推进。

• 结果分析与报告：测试结果分析时间减少60%，测试报告自动生成时间缩短80%，大幅减少人工整理分析工作量，提升报告输出效率与准确性。

• 脚本编写：通过自然语言驱动脚本自动生成，脚本编写效率提升85%，彻底改变传统人工编写脚本耗时费力的现状。

（二）质量大幅改善

• 缺陷发现：功能缺陷发现率从传统模式的68%提升至89%，性能问题发现率从45%提升至78%，有效降低系统上线后故障风险。

• 测试覆盖：代码覆盖率从65%提升至92%，业务场景覆盖率较传统模式提升300%，实现核心业务场景全覆盖，确保测试无死角。

• 脚本稳定性：依托视觉自愈技术，UI自动化脚本稳定性从行业平均的70%提升至95%以上，减少脚本维护工作量，提升测试流程连贯性。

（三）成本有效节约

• 人力成本：通过自动化替代重复性人工操作，某实践案例显示，测试团队规模可从30人优化至18人，年度人力成本节约144万元，大幅降低人力投入。

• 时间成本：测试周期的缩短确保项目提前或按计划发布，系统发布频率从传统月度发布提升至双周发布，加快业务创新落地速度。

• 典型场景优化：以数据对比自动化为例，传统模式下，批量比对完成后，需人工进入每个目录查看结果文件，逐笔更新至测管平台，一个测试轮次约需提交40000笔结果，单笔耗时2分钟，单轮次缺陷约4500笔，日均提交缺陷180个；平台上线后，执行完数据对比可自动更新至测管平台，人工仅需核查测试结果，自动化替代率达70%；同时，传统模式中日均160笔缺陷修复需逐一手工检查，当前已实现自动检查，进一步节约人力成本。

六、经验总结

针对银行系统强合规、高安全、回归测试压力大的行业特点，天津滨海农商银行创新引入AI Agent测试机器人技术，构建全链路自动化测试体系，成功解决了传统测试效率低、维护成本高、数据准备难等核心痛点，积累了宝贵的实践经验。

项目核心实践亮点包括：一是利用大模型与RAG技术深度融合，实现需求到测试用例的智能生成，整体效率提升70%，大幅减少人工干预；二是通过AI视觉识别与脚本自愈技术，将UI自动化脚本维护成本降低80%，提升测试流程稳定性；三是运用AI智能造数技术，将测试数据准备周期从天级缩短至分钟级，彻底解决数据准备繁琐的痛点；四是通过精准测试与全链路自动化管控，大幅压缩回归测试周期，提升项目交付效率与质量。

后续，我行将持续优化AI Agent测试机器人功能，深化AI技术在测试领域的应用，进一步完善全链路智能管理体系，为银行数字化转型提供更高效、更可靠的测试支撑，助力业务高质量发展。