一、项目背景及目标

在我行内外部监管趋严的背景下，业务流程变长、业务系统变多、业务难度变大，导致基层业务人员在业务叙做过程中经常遇到各种问题，条线专业人员疲于应付各类问题。另一方面根据内部管理要求业务人员需要定期轮岗，各岗位上的“新人”难以有效保障业务开展。

为将业务知识与岗位人员有效分离，跳出“积累-流失”的恶性循环，满足我行业务拓展需要，打造一个具备自主学习能力、“脑容量”无限、7*24小时随问随答且服务态度始终如一的AI问答机器人，是十分必要且迫切的。一来，可以打破条线甚至产品线竖井，打造“一人多岗”AI问答机器人，通过制度文件、产品说明、管理办法以及答疑群聊天记录，自主学习业务知识。二来，在提供答疑过程中对不懂的问题可以追问业务专家，获得答案后留存数据库，不断丰富知识库。同时，将业务知识与岗位人员有效分离，跳出“积累-流失”的恶性循环。AI问答机器人以手机端为载体，在大语言模型加持下，实现从“人机交互”到“人人交互”的转变，同时7*24小时在线，对每一个问题都能“零秒响应”，做到敏捷赋能。

二、创新点

1.依托AI大模型（Chat-GLM），对LLM（large language model）大语言模型的深度应用。在chat-GPT4问世之后，全社会对LLM应用于实际商业场景的期待很高。但是由于国内外网络差异、商用价格以及信息保密等问题，LLM实际应用特别是在银行的应用场景，至今没有有效推进。而本项目，则是利用开源且可商用的LLM，进行私有化独立部署，一举解决网络、价格及保密问题，打通LLM赋能银行业务的全链路。

2.依托Langchain，实现大语言模型与专业领域知识的完美结合。LLM作为通用模型，对私域专业知识如何快速有效消化吸收，并进行精准输出，这也是LLM难以有效落地的核心挑战之一。本项目借助Langchain这一技术手段，将私有知识，进行向量化存储，根据问题，检索知识库并形成提示词，交由LLM进行NLP（natural language processing）自然语言处理，形成最后的问答内容。在此模式下，Langchain得以与LLM完美结合，解决私域知识与通用模型的适配问题。

3.依托总行提供的LT-ASR（automatic speech recognition）语音识别以及LT-SSC（speech synthesis component）语音合成技术平台，打造极致的“人人交互”体验。为进一步提升小蜜蜂的拟人化设计，提升基层员工使用的舒适性，在后台服务模型Langchain、LLM的技术基础上，项目组拟嵌套LT-ASR及LT-SSC技术，将前端的文字交互升级为语音交互，为用户打造极致的“人人交互”体验。

三、项目技术方案

1.技术方案

本项目将融合多项关键技术，涵盖大语言模型、LangChain、语音识别、语音合成、OCR识别、AIGC（AI generated Content）、NLP、RPA、移动端开发、Web前端界面开发、用户评价系统、专家反馈机制以及模型微调等领域。

用户端：将提供行信移动端和办公电脑Web端作为主要的语音问答应用入口。这些用户端将与后端的语音识别、语音合成、大语言模型接口以及应用服务接口进行紧密的交互和通信。

管理端：将专门面向PC端，作为核心管理用户和专家用户的管理入口，用于管理用户、数据集、数据标注以及模型训练发布管理等关键服务。这一端将为项目的有效运行和管理提供必要的支持。

2.项目设计

用户界面设计：开发适用于移动端和PC端的用户界面，支持文本和语音输入，以及展示文本和语音回答。界面友好易用，适应不同设备和屏幕尺寸。

语音处理流程：整合语音识别技术，将用户语音输入转化为文本，并将回答的文本转化为语音合成以实现语音回答功能。

评价系统：为每个问答结果提供评价功能，让用户对回答的质量进行评分，以持续改进回答质量。

专家修正机制：设计定期的领域专家对问题库的差评问答进行答案修正流程，确保系统回答的准确性和专业性。

模型微调：构建标注后的数据集，用于定期对大语言模型进行微调，以逐步提升问答准确性和适应性。

3.架构策略

业务架构：根据业务场景需求，搭建业务架构，从知行平台的语料输入、AI学习、输出、评分机制以及业务专家交互等维度进行设计，整体框架流程图如下：

逻辑架构：小蜜蜂工作逻辑架构包括学习端、问题端以及解答端三方面规划，学习端包括本地文件上传、文本识别、文本切割、向量化存储等环节；问题端包括语音输入、语音识别、OCR识别、文本向量化、向量检索等环节；解答端包括提示词生成、NLP处理、语音合成等环节，逻辑架构图如下：

技术架构：技术架构包括前端架构、后端架构、语音处理架构，其中 ，前端架构使用现代前端框架，如React或Vue，实现用户界面的开发，确保界面响应迅速且适应不同设备。后端架构主要是搭建后端服务器，用于处理用户输入、调用语音识别和大语言模型API，生成回答并进行评价记录。语音处理架构旨在整合语音识别引擎和语音合成引擎，确保语音输入和回答的质量和流畅度。

4.体制机制

专家反馈机制：建立专家团队，定期审查差评问答并提供修正意见，保证回答的准确性。

数据标注流程：设计数据标注流程，将专家修正后的数据用于模型微调，保障模型性能的持续提升。

5.工作方法

团队协作：项目组组建三个团队，行内技术团队、行外技术团队以及业务专家团队。其中，行内技术团队负责整体技术可行性、安全性审查，负责项目软硬件资源配置；行外技术团队负责项目整体私有化部署及移动端、管理后台等部分功能的个性化开发；业务专家团队负责前期知识库基础资料饱和式搜集以及后期问题的补充回答以及部分答案的勘误修正工作。三个团队各取所长、各司其职、同步推进，保证项目进度的平稳快速推进。

敏捷开发：采用敏捷开发方法，将项目划分为多个迭代周期，每个周期内完成一部分功能的开发和测试。

持续集成与部署：建立持续集成与部署流程，确保代码质量和系统稳定性。

6.迭代方案

迭代周期：将项目分为多个迭代周期，每个周期通常为2至4周，以逐步实现功能并优化系统。

迭代内容：每个迭代周期内，依次完成一些功能，如移动端界面、语音处理、评价系统、专家修正流程、模型微调等。

反馈机制：在每个迭代周期结束后，收集用户反馈和专家意见，用于指导下一阶段的开发和改进。

四、项目过程管理

2023年9月项目立项；

2023年9月-12月项目建设；

2024年1月项目正式投产应用。

五、运营情况

在项目投产前，我们借助条线专家对知行平台的知识储备进行饱和式输入，同时利用RPA技术对核心行信群、微信群进行数据抓取整理，一并输入至知行平台知识库，借力外部公司对LLM进行微调，确保知行平台在特定场景下足够聪明后上线运营；在上线之初，联动板块各部门、分支行各级机构、信息科技部进行多维度宣传，再加上“词条贡献”专项活动、知行平台优化意见专项收集等多项全员参与的活动。

目前项目投产以来已经平稳运行半年，在中行江苏分行全辖进行推广应用，项目已在交易银行条线、公司条线取得初步成果，成功释放省行人力并对问题提供即时高效回答。

六、项目成效

经济效益方面：该项目上线，纵向上有效打通省、分、支及网点四级机构之间的信息壁垒，横向上有效打通各版块、各部门、各团队以及各产品管理人员的业务竖井，以小知行平台一己之力，纵横贯穿全行，以其高度集成的专业知识及友好的交互方式，成为板块业务发展的发动机。在日积月累的问答释疑中，不断积累成长，释放了分行人力，提高了分行的工作效率，赋能中国银行管理运营能力提升，可带来显著的经济效益。

社会效益方面：中行江苏在大模型+银行专业知识问答方面做出的探索也为大模型、知识问答行业带来了一些实践经验，为大模型应用于银行业做出了一定的贡献。

七、经验总结

我行在大模型知识问答方面的探索得到一些经验：知识问答主要受两方面的影响：1、模型。采用泛化能力更强、更新、更大的基座模型可以显著提升问答效果；2、知识库。专家知识对于系统的性能提升有着显著的效果，我行在加入行内专家知识后模型的回答准确率得到了大幅提升。