一、项目背景及目标

自ChatGPT发布以来，大语言模型在全球范围内迅速掀起了人工智能的浪潮，引发空前关注。证券公司的主营业务涉及大量文本内容处理与生成的工作，如提供投资分析报告书、发布投资研究报告等；同时在公司内部管理过程中也积累了大量的专业知识文档如合规管理法规制度等。可以说天然为大语言模型的落地实践提供了丰富的应用场景。然而，基于证券行业的强监管特性，证券公司无法使用公有云API的调用方式使用大语言模型，需本地部署。根据调研结果显示，目前市场主流AI厂商、互联网厂商的大语言模型私有化部署方案成本较高，动辄数百万起，对于中小型券商来说不得不谨慎考虑相关投入产出比。另一方面，据统计，在2023年共有一百余个中文大语言模型完成了技术开源，众多的开源大语言模型为私有化部署与应用带来了机遇。

综上，我们从公司实际情况出发，采用自主研发的方式基于开源大语言模型规划并建设了公司级的大语言模型中台。目前搭建的大语言模型中台将实现公司大语言模型技术的首次落地应用，为多个业务场景实现降本增效；且大语言模型中台支持新应用的敏捷开发、快速迭代，未来可高效赋能更多业务场景。

二、创新点

在大语言模型应用建设过程中，我们遇到了若干挑战：①如何选择合适的大语言模型？②如何快速完成大语言模型的落地？③如何降低因模型变更或闭源给自身造成的影响？

基于这些挑战，我们设计并建设了大语言模型中台。从大语言模型应用的落地流程来看，主要的步骤包括：大模型测试、大模型微调、大模型开发、大模型量化部署这四个大的模块。在本课题建设的大语言模型中台技术组件中，完成了对大语言模型测试时对应用效果、复杂指令理解、回答安全性等方面的测评工具落地，从而实现根据不同应用场景挑选出综合能力较强的大语言模型。大语言模型的微调工具可使用下游应用场景的训练数据，支持使用全参数量、LoRA（低秩适应）或RLHF（基于人类反馈的强化学习）的方式调整模型参数，使大语言模型适应下游应用场景的特定表述方式和表达习惯。大语言模型的开发工具落地了不同的开发框架，如Langchain、Llama-index、AutoGen等，实现了针对不同的应用场景选择更匹配、更完善的定制化开发框架的效果。大语言模型的部署落地了不同的部署框架，如vLLM、Tensorrt-LLM等，可提供不同的量化方式与加速方式，节约推理时的显存资源耗费并提高推理并发量。

本项目形成了公司大语言模型应用落地的参考标准，可为后续大语言模型项目缩短建设周期，使项目建设聚焦于应用场景本身，挖掘出更多的业务价值。

三、项目技术方案

图1 大语言模型中台架构设计

图1为我们按照大语言模型应用落地的步骤对大语言模型中台的架构设计，总共划分为四层，自底向上分别是大语言模型训练、大语言模型开发、大语言模型部署、大语言模型应用。

大语言模型训练层包含了基础设施、数据源管理与训练框架，这一层主要用于管理GPU与高性能网络，并在硬件之上搭建分布式训练环境，为后续大语言模型的测试或者PEFT（Parameter-Efficient Fine-Tuning）微调提供基础环境。大语言模型开发层包含了不同的开发框架与技术组件，这一层用于在大语言模型参数确定后，根据业务场景定向封装大语言模型的能力；同时设计出可切换不同大语言模型的适配层，降低大语言模型变更为项目建设带来的风险。大语言模型部署层包含了不同的分布式推理加速框架，这一层主要用于对大语言模型进行统一的量化加速，提高大语言模型推理时的最大并发量，有效提高硬件使用效率。最上层通过统一的API设计为大语言模型应用提供服务，包括单次调用API、批处理API、流式处理API，满足不同应用场景与大语言模型的交互需求。

四、项目过程管理

立项阶段：2023年6月，确定大语言模型中台建设目标、规划硬件资源与人力资源、确定项目。

大模型中台实施阶段：2023年7月-2023年9月，梳理大语言模型落地各阶段关键问题，对不同阶段的多种技术工具完成选型、部署、测试等工作，完成各组件对外提供统一服务的目标。

大模型中台使用阶段：2023年10月-2023年2月。结合开源大模型与大语言模型中台，针对不同业务场景开发应用，完成模型层间的开发与应用层面的开发。

大模型中台总结阶段：2023年3月。结合大模型应用开发周期、技术组件易用性、中台功能完整性等角度，总结大模型中台建设思路，寻找优化方案。

五、运营情况

大模型中台已在公司金融科技部AI开发团队广泛应用，基于该中台建设的3个不同类型的大语言模型应用已应用于投顾展业、合规管理、财务管理相关部门。大模型中台在不同应用场景建设过程中运行稳定，各技术组件根据开源框架更新速度稳步升级，可满足典型自研大模型应用落地的全流程技术组件需求。

六、项目成效

基于大语言模型中台，我们落地了3个不同类型的大语言模型应用，包括了基于思维链、提示工程、Agent调用的报告生成类应用——证券投顾分析报告书智能生成，基于RAG（检索增强的文本生成）的应用——智能合规助手、智能财务问答。

图2 报告生成样例

图2为证券投顾分析报告书的生成示例，利用思维链、提示工程与Agent能力，可实现对投资研究信息的整理与总结，结合市场信息与新闻舆情信息生成相关投顾报告，大幅减少人工浏览信息、整理信息的时间。

图3 RAG流程示例

图3为基于检索增强的知识库问答流程示例图，使用不同的知识库组件完成多重召回，如向量数据库、知识图谱、传统检索等技术，结合大语言模型完成了对公司数千份文档按业务条线分类的整理，形成了数字化的合规知识库与财务知识库，实现了用户通过自然语言与知识库助手、问答机器人进行流畅的交互。

图4 智能问答示例

图4展示了基于知识图谱的合规案例智能问答，区别于使用向量数据库的RAG方案，使用知识图谱的知识组织方式具备结构化、可直观理解的优点。

七、经验总结

在本案例实施过程中，我们发现大语言模型的技术成熟度还处于上升期，具体表现为大语言模型相关的技术栈更新非常迅速，这为中台设计与建设带来了一定的困难，不同技术组件的由于版本迭代带来的兼容性问题与稳定性问题需要重点测试。

由于不同企业对大语言模型的技术定位不同、实施路径不同，采用自研方式落地开源大语言模型的企业在项目实施前应充分考虑相关风险，如大语言模型在垂直领域的适配性、技术组件对不同大语言模型的兼容性与可替换性等。通过自研的方式建设大语言模型中台应根据企业对大语言模型的定位，立足自身业务场景完成对中台的设计。