一、项目背景及目标

在客户服务领域，当前传统的问答机器人存在知识库问题匹配不精确、提问语义理解不足、不具备上下文理解与答案抽取能力的三大痛点。基于RNN的智能客服模型不能充分理解客户提问，精准定位关键知识点能力不足，多依赖于单个知识库条目形成回复，且回复多为知识库中原文，无上下文理解能力，客户对话体验不佳。

对此，2023年2月，江苏银行正式启动大语言模型服务平台建设，围绕开源的大语言模型展开理论分析、技术研究和路径探索，基于更强大的语义理解能力、更精准的知识库匹配能力、更灵活的上下文理解能力和知识抽取能力、代码补全与提示编程能力和泛语言代码编程能力设计该平台，并于同年4月正式上线。

二、创新点

1.更强大的语义理解能力

智慧小苏L0模型能够克服传统问答机器人在提问语义理解方面的不足，提供更贴近客户需求的回答。强大的语义理解能力不仅使得问答质量更高，也使得提示工程等大语言模型优化手段成为可能。

2.更精准的知识库匹配能力

智慧小苏L1模型能够根据输入文本生成词嵌入向量，通过基于向量索引的向量数据库进行知识检索可以大幅提升知识匹配能力，获取语义上近似的问题。基于词嵌入能力的向量检索不仅可以理解不同的语序，识别同义词，还可以在错别字、外国语等场景下准确匹配对应条目，在实现效果上超越了Elastic Search等传统知识检索手段。

3.更灵活的上下文理解能力和知识抽取能力

智慧小苏L2模型具备实时抽取分析知识库信息，可以横跨多个知识库条目，精准定位关键知识点，形成系统性回复的知识抽取能力。在上下文理解上，模型可以回溯至多16轮对话，并且可以根据问答历史记录生成相匹配的回答。

三、项目技术方案

在技术选型方面，结合开源协议、模型参数量、中文支持、底层架构等因素，江苏银行选择围绕开源的1760亿大语言模型展开技术研究，进行理论分析和路径探索，基于相关模型和架构结合内部知识库，并分阶段完成“智慧小苏”系列三款内部大语言模型的训练工作。

图1. “智慧小苏”大语言模型服务平台

1.更强大的语义理解能力

“智慧小苏L0”是基础对话底座模型，主要能力体现在提纲写作、摘要生成、信息抽取、数理推理。

图2. “智慧小苏”基座版

2.更精准的知识库匹配能力

“智慧小苏L1”解决了传统客服机器人问题匹配不精确的痛点，并且提供了一定程度的语义理解。“智慧小苏L1”以“智慧小苏L0”为基础，通过内部知识库问题22万条训练，形成专注金融客服领域对话微调的注意力层析取模型，实现任意给定文本的向量化匹配。

通过与测试环境机器人对比，向量匹配技术驱动的问答知识库查询相较现有的传统问答匹配方案，在准确率方面提升高达14.1%，且在智能补全与问题匹配领域，向量匹配技术在一定程度上实现了自然语言理解，即使在拼写错误、多样化问题表述以及英语等其他语言的情境中，匹配准确性依然较高。

图3. “智慧小苏”向量版

3.更灵活的上下文理解能力和知识抽取能力

为解决“智慧小苏L1”在语义理解上的短板，以“智慧小苏L0”为基础，通过强化学习与大量RLHF（人类反馈强化学习）训练，形成具有三大金融客服领域任务执行能力的金融客服垂直领域大模型“智慧小苏L2”。有效的解决了传统客服机器人提问语义理解不足、不具备上下文和答案抽取能力的痛点。基于客服对话进行人类反馈强化学习形成的“智慧小苏L2”，更重视上下文资讯抽取并整合形成答案，与GPT-4等预训练模型依赖预训练知识存在本质上的不同。

图4. “智慧小苏”强化学习版

“智慧小苏L2”在金融客服上实现了强大的“意图对齐”能力，在大语言模型三大评估指标的“帮助性”（生成结果是用户期望的）、“诚实性”（生成结果是真实的）和“无害性”（生成结果是无害的）上取得了较佳的指标结果。模型严格基于知识库的知识抽取模式进一步保障了模型的输出安全性，使其有了对客服务的可能性，严格知识抽取的实现方式也满足大模型“诚实性”和“无害性”的评估指标。

图5. “智慧小苏”大语言模型服务平台客服解决方案

结合“智慧小苏 L1”的向量匹配、向量索引和向量存储技术和“智慧小苏L2”的实时知识库信息抽取与理解能力，生成的结果可以有效解答客户问题，并根据客户的提问抽取知识点中精确的某一部分或者横跨多个知识库条目，形成答案响应客户。

四、项目过程管理

该项目由信息科技部牵头组织并负责具体实施，严格按照江苏银行项目管理相关制度，从计划、质量、财务等多方面进行规范化管理，项目如期完成。主要经历了以下五个阶段：

1.需求分析和概要设计阶段

此阶段为2023年2月，其间主要完成了需求分析、功能和技术构架的高层设计。提交了现状需求分析报告、模型平台架构、技术选型和接口设计等文档。

2.系统详细设计与模型选型阶段

此阶段时间段为2023年2月至2023年3月，其间主要完成了系统详细设计工作与模型选型工作，提交了系统详细设计说明书等文档，并选定盘古α、BLOOM与CodeGen三款大语言模型进行研究。

3.模型训练阶段

此阶段于2023年2月至2023年4月分阶段持续进行。

2月至4月间完成了智慧小苏系列大语言代码模型C0、C1与大语言文本模型L0的数据准备、训练工作，并完成了大语言模型服务平台的测试以及上线工作，提交了系统测试报告、上线方案、系统设置等文档。2022年4月底，大语言模型服务平台开始试点运行。

2023年4月上旬完成了智慧小苏系列大语言文本模型L0的重新训练工作，并上线了注意力层析取模型L1。

2023年4月中旬BLOOMZ发布后，基于BLOOMZ完成了智慧小苏系列大语言文本模型L0的重新训练工作，并且完成了金融客服垂直任务模型智慧小苏L2的人类反馈强化学习训练工作。

4.试点上线阶段

此阶段2023年4月分阶段完成。

2023年4月上旬，代码模型上线并试点代码补全插件，面向内部两个团队三个使用Python编程语言的项目组开展试点工作。针对向量模型L1，则面向客服QA机器人开展试点工作，收集相关测试数据。

2023年4月下旬，首先上线了基于智慧小苏L0的客服对话应用。此后基于智慧小苏L0收集了测试环境数据，形成了人类反馈强化学习训练集，并在完成了L2训练工作后进行了在线客服的试点。

5.推广应用阶段

此阶段时间为2023年4月至今，面向更多行内业务系统，智慧小苏大语言模型及服务平台持续探索应用场景，实现科技赋能业务。

五、运营情况

“智慧小苏”大语言模型服务平台运用在江苏银行在线智能客服功能上，通过在推荐问和智能问答回复两方面全面接入“智慧小苏”大语言模型服务平台L1与L2模型，智能客服展示出强大的问答语义理解、上下文关联与智能答案抽取、知识匹配能力。智能客服上线至今，已累计应答内部测试人员问题4万余次。

六、项目成效

1.客户服务质量显著提升

基于大语言模型的“苏苏”智能客服，应答准确率由93%提升至96.7%，有效改善传统问答机器人答非所问的现状，进一步提升数智化应用能力，回复内容更具拟人化色彩，给予客户更加浓厚的感情氛围，保证客户忠诚度及粘性，让用户体验极速提升，吸引更多潜在用户进行尝试使用。

2.业务模式优化降本增效

可有效替代传统问答机器人并降低部分人工客服的工作，更加自然的问答使得大语言模型机器人能够整合知识点并解答，提升准确率的同时降低了客服中心标准问泛化的工作量，匹配率的提升也减少了客户转人工的频次。测试环境中，大模型匹配下仅需原先问答库大小的1/4即可实现相同效果，可有效降低50%~75%的问题泛化人力。

3.技术精进提升品牌影响力 

江苏银行大语言模型服务平台使用小训练集微调形成专业垂直模型和带来搜索质量提升的向量检索等先进的技术构建，其应用标志着我行成为国内*****家落地实际应用的城商行，提升了我行品牌影响力。

七、经验总结

经过近半年的应用与实践，江苏银行“智慧小苏”大语言模型服务平台将模型研发从传统AI的定制化、“作坊”模式转变到“工厂”模式，改变了传统模式中“一个需求，一次定制”的方式。面对新场景，仅需以预训练大语言模型为基础，针对单一运用场景进行微调，即可满足业务需求，有限降低了训练集大小、耗时周期以及从训练到反馈的时间跨度。“智慧小苏”大语言模型服务平台可有效助能新的业务场景快速落地，满足行内多场景多任务的使用需求，有效赋能业务的发展。