一、项目背景及目标

2025年全国两会《政府工作报告》明确指出，要“持续推进‘人工智能+’行动”。这一战略部署标志着以大模型为代表的通用人工智能技术已从探索阶段进入规模化、深度融合的产业应用新纪元。在金融领域，特别是国有大型银行，凭借其庞大的业务体量、丰富的数据资源和稳健的IT基础设施，已然走在了大模型技术应用的前列。目前，各大行已初步形成了规模化、体系化的大模型发展格局。邮储银行发布大模型“邮智”，开展了230余项大模型场景建设，构建起“算力、算法、数据、场景”四位一体安全可信的大模型服务体系，还有更多的大模型应用服务场景正在研发中。

然而，以大模型为代表的AI技术深刻改变了金融软件的形态与交互模式：用户输入不再受限于预设路径，模型输出具有概率性和非确定性，且行为易受参数影响而发生漂移。传统软件测试方法依赖确定性规则和有限输入空间，但在面对AI应用时，测试用例数量呈指数级增长，评估维度从功能正确性扩展至上下文连贯性、意图识别准确性等主观性较强的方面，传统技术已难以有效应对。

邮储银行在此背景下，立足于行业实践，深入研究行内大模型应用的核心特点，将研究焦点集中于大模型交互能力，致力于构建一套体系化、规范化的大模型交互能力评测标准。该标准不仅将抽象的“智能”与“体验”转化为可测试、可评估的具体能力维度，更强调以测试驱动能力提升：通过系统化评测主动识别模型短板、量化性能边界、归因交互漂移，将评测结果反哺至模型优化与训练闭环，实现“以测促建、以评促优”。并据此设计了可落地的实施方案，使测试从被动验证转变为大模型能力进阶的核心引擎，填补大模型金融应用测试领域空白，为“人工智能+”在金融业的稳健落地与持续进化保驾护航。

二、创新点

（1）分层解构评测框架：实现大模型能力短板的精准定位

本案例的首要创新在于：构建了面向金融大模型应用交互能力评测框架。该框架将大模型的核心交互能力分解为基础对话、信息提取、意图识别、流程决策四个逐层递进的层级，每个层级对应可量化的测试维度和评价指标。通过这一框架，能够将模型表现从模糊的“好/不好”转化为具体的能力画像。这种细粒度的能力诊断，为模型优化提供了明确的方向，而非笼统的改进建议，使测试从传统的“质量验证”角色升级为“能力发现与驱动提升”的关键引擎。

（2）“业务-场景”正交测试设计：全面暴露大模型能力盲区

针对大模型输入空间无限扩张、传统测试极易遗漏能力盲区的问题，本案例创新性地将核心业务与典型场景进行矩阵组合，通过构建正交表明确测试边界，确保每个核心业务下的各项交互能力均得到验证，从源头避免测试盲区。该方法以有限的测试用例实现高效、全面的覆盖，同时避免了冗余测试，实现了覆盖效率与深度的平衡，对同类AI应用测试具有普适参考价值。

（3）语义自动化验证方法：提升能力评估的客观性与效率

为解决大模型输出非确定性带来的评测难题，本案例开发了基于余弦向量法的语义自动化验证方法。该方法将模型输出与预期结果的语义一致性从字符串匹配层面提升至向量相似度计算层面，通过计算两者之间的余弦相似度并设定量化阈值，实现了对“不同说法、同一意思”的智能判定。该方法使单条用例执行时间大幅度减少，同时提供了可量化的能力评估阈值，使得模型能力在不同版本间的横向对比和持续追踪成为可能，为大模型能力的规模化、持续性评估奠定了技术基础。

（4）“测试-发现-优化-复测”闭环机制：驱动大模型能力针对性提升

本案例的核心价值在于建立了测试驱动的大模型能力提升闭环机制。通过上述测试方法发现的模型能力短板，直接反馈至模型微调、提示词工程或智能体决策逻辑的优化环节，优化后通过回归测试验证能力提升效果，形成“精准测试—短板发现—定向优化—效果验证”的完整闭环，为金融领域大模型应用的模型能力持续演进提供了可复用的方法论支撑。

三、项目技术方案

（1）总体框架：能力-维度-场景三层架构

邮储银行构建一套专门面向AI交互核心能力的测试技术体系。该体系应是一个分层解构、多维度量化的框架，其核心目标在于将抽象的“智能”与“体验”转化为一系列可测试、可评估的具体能力维度。基于“能力-维度-场景”三个层级，大模型金融应用测试技术体系构建了AI智能化交互能力测试设计框架：

第一层为能力分层，将大模型的智能化交互能力分解为四项逐层递进、相互关联的能力：基础对话能力作为交互体验的基石，确保人机沟通的基本顺畅；信息提取能力作为认知智能的基础，评估从非结构化数据中精准抓取关键信息的能力；意图识别能力作为连接用户与业务的核心枢纽，评估理解用户真实需求的能力；流程决策能力作为业务价值的最终体现，评估在复杂业务流程中引导与决策的能力。这四项能力共同构成了大模型在金融应用场景中智能化交互水平的衡量基准。

第二层为维度细化，针对每一项核心能力定义清晰、可操作的测试维度，将主观体验转化为客观判断依据。例如，评测基础对话能力时聚焦于单轮交互准确性、多轮对话上下文连贯性与噪声容错鲁棒性；评测信息提取能力时涵盖提取准确性、完整性、鲁棒性、复杂结构提取及多模态提取；评测意图识别能力时遵循由浅入深的原则，覆盖清晰直接意图、复杂结构意图及隐含深层意图；评测流程决策能力时关注固定流程遵循、分支决策准确性及流程闭环与结果输出。

第三层为场景锚定，为确保测试与业务实际紧密结合，需将上述能力维度锚定于典型金融业务场景中。通过制定《大模型金融应用测试设计参考框架》（如图1所示），搭建从“理论标准”到“工程实践”的桥梁，从而确保测试设计框架兼具技术先进性与业务相关性。

图1大模型金融应用测试设计参考框架

（2）测试用例库构建方法：正交化设计

为以有限测试用例实现高效覆盖，本案例创新性地采用正交测试设计思想。首先，基于业务需求识别所有关键业务（如智能客服、贷款咨询等），并将其与评测标准中的典型场景进行正交关联，形成如图2所示的《核心业务与典型场景正交表》，清晰界定测试边界。其次，依据《大模型金融应用测试设计参考表》，将正交表中的每个“业务-场景”交叉点细化为具体、可执行的测试用例。这一结构化方法能够系统性扩充测试场景，实现对目标业务的全维度覆盖。

图2 核心业务与典型场景正交表

（3）自动化验证方法：基于余弦向量法的语义相似度判定

针对大模型输出非固定性导致传统基于规则或文本匹配的验证方法失效的问题，本案例设计并实现了一套以余弦向量法为核心的自动化验证方法。其核心思想是将语义一致性的判断从字符串匹配层面提升至语义空间向量相似度计算的层面。具体流程包括三个步骤：自动化测试脚本从标准化话术表中读取预设输入话术并投喂给待测系统；系统捕获模型实际输出话术；利用预训练的词向量模型分别将预期输出和实际输出转换为低维度数值向量，计算两者之间的余弦相似度，并根据设定的阈值判定输出是否通过验证。该方法实现了从用例执行到结果判定的全流程自动化，能够智能判断“不同说法、同一意思”的情况，为大模型输出的质量评估提供了客观、统一的量化标准。

（4）评测流程：人机协同

本案例建立了自动化测试与人工专家评估相结合的人机协同流程。对于批量、重复性高且有明确预期输出的测试点，优先采用自动化测试工具执行，详细记录执行结果，大幅提升测试效率与可重复性。对于涉及上下文推理、深层意图理解、话术友好度、复杂分支决策等主观性强、逻辑复杂的测试点，则由人工专家运用对抗性测试、边界案例构造等方法进行深度校验。该流程确保测试评估兼具效率与深度，精准识别复杂逻辑缺陷与体验问题。

四、运营情况

本案例按照“理论研究—方法探索—工具开发—实践验证”路径推进，聚焦大模型交互能力评测。前期完成需求调研，确立正交化测试设计思路及基于语义向量的自动化验证目标；同步开展自动化工具开发与测试设计研究，形成评测框架雏形。在此基础上，深化测试设计方法，制定《大模型金融应用测试设计参考表》及人机协同评测流程，最终进入实践应用阶段。

为验证大模型基础对话能力测试设计方法与测试执行方法的有效性，选取大模型应用服务系统——大模型平台应用服务系统工程作为试点应用对象。试点聚焦“三农”与“消贷”两大业务领域的智能对话场景，覆盖话术管理、噪声容错、逻辑优化等16个核心功能模块。通过试点运行，充分验证了测试设计方法在扩充测试用例库、强化潜在缺陷发现能力上的实际价值，也明确证实了自动化执行方法对提升整体测试效率的积极作用。目前，该评测标准及相关工具已纳入邮储银行行级标准，并持续根据业务反馈进行迭代优化，为后续更大范围的推广应用奠定了坚实基础。

五、项目成效

（1）场景覆盖全面性

通过“业务-场景”正交测试设计方法，评测标准能够对88%的核心业务功能进行有效验证，实现了对目标业务场景的全维度覆盖。该方法从源头避免了因场景遗漏导致的测试盲区，确保每个核心业务下的各项交互能力均得到系统化验证，为全面评估大模型在金融业务中的表现奠定了坚实基础。

（2）用例库扩充能力

正交化设计方法指导测试用例库实现了56%的增长，显著提升了测试的完整性与深度。通过将《核心业务与典型场景正交表》中的每个交叉点细化为具体、可执行的测试用例，该方法不仅系统性扩充了测试场景，更展现出强大的用例库持续扩充能力，为后续测试工作提供了充足、高质量的用例支撑。

（3）测试效率显著提升

基于余弦向量法的自动化验证方法使单条用例执行时间从人工平均3分钟缩短至20秒，效率提升幅度达89%。该方法实现了从用例执行到结果判定的全流程自动化，有效应对了测试用例数量爆炸式增长的核心痛点，大幅解放了测试人力，使测试人员能够聚焦于更复杂的测试设计与结果分析。

（4）缺陷检出有效性

该评测体系在发现传统用例难以覆盖的复杂逻辑缺陷方面表现突出。试点结果精准识别了系统当前的质量短板：多轮对话的意图处理准确性不足、话术管理稳定性有待提升等，为开发团队的优化工作提供了明确的数据支持和方向指引。同时，人工专家深度评估机制能够有效发现自动化测试难以触及的上下文推理、深层意图理解等复杂问题，助力系统进一步迭代升级。

（5）标准建立

本案例在推动大模型金融应用测试标准化建设方面取得了系列重要成果，具体包括：

国家级报告收录：本案例的核心成果被收录至中国人民银行发布的《中国金融标准化报告2025》（征求意见稿）专栏 4：金融企业标准应用实施案例。我行大模型金融应用测试研究成果的成功入选，标志着本案例在金融标准化层面的探索获得了国家级权威认可。

行级标准发布：正式发布行级标准《中国邮政储蓄银行大模型应用测试设计标准》，标志着本案例的技术成果已转化为可推广、可复用的企业级规范。

知识库建设：编制完成《PSBC_SRDC_大模型应用测试设计指南》，已通过专家评审并正式纳入软件研发测试条线知识库，为后续测试工作提供了持续指导依据。

六、经验总结

中国邮政储蓄银行通过在大模型金融应用测试领域的探索与实践，初步构建了一套可参考、可落地的测试技术体系。回顾本案例的探索与实践过程，我们总结了以下核心经验。

第一，分层解构是应对AI测试复杂性的有效策略。将大模型抽象的“智能交互”能力分解为基础对话、信息提取、意图识别、流程决策等可独立评估的层级，使得测试设计从无从下手变为逐层击破，每个层级聚焦特定的测试方法和评估指标，大幅降低了测试设计的复杂度。

第二，正交化设计是平衡测试覆盖与成本的关键方法。在AI输入空间无限扩张的背景下，穷举测试既不现实也无必要，通过“业务-场景”正交矩阵界定测试边界，能够以有限的用例实现高效的覆盖，这一方法论对同类AI应用测试具有普适参考价值。

第三，标准建设需要与业务场景深度锚定。脱离具体业务场景的评测标准容易流于空泛，本案例通过制定《大模型金融应用测试设计参考表》，将每一测试维度都映射到真实的银行业务场景中，确保了标准的实用性和指导性。

未来，邮储银行将持续完善评测标准，深化与现有测试体系的融合，并积极推动行业协作，共同促进大模型金融应用测试向规范化、标准化方向发展，为“人工智能+”在金融领域的稳健落地筑牢质量根基。