一、项目背景及目标

本项目聚焦银行业集中作业平台人工录入效率低、传统OCR泛化能力弱等痛点，创新采用“多模态大模型+专业OCR小模型”协同架构，对柜面影像采集、凭证录入、授权审核等关键环节进行智能化改造。

项目实现了多单据混合采集、整单智能录入与“判别式”智能审核。全单录入字段准确率达96.17%，行名行号准确率近95%。单笔业务处理时间由45秒压缩至15秒（RPA自动填充），效率提升超30%。

该项目为农村金融机构探索“联合银行统筹、全行业共享”的大模型落地模式提供了高价值、可复制的实践范例。

1.业务现状

集中作业平台是银行业务处理的核心枢纽，承担着凭证录入、归类、授权审核等关键职能。当前，柜面人员进行凭证录入、归类后提交到集中作业平台，平台结合凭证的标准化情况，分为全单录入和切片录入两种录入方式。全单录入当前由两路人工进行录入，切片录入分为OCR双录、人工-OCR双录、人工双录三种情况，录入完成后进行行名行号录入。录入完成后进入授权环节，进行验印、业务细节审核工作，授权通过后提交交易到核心进行记账。

江苏农商联合银行作为省级金融机构，服务全省60家农商银行，日均处理业务量超过2万笔，涉及多种凭证类型和复杂的业务流程。传统的人工录入模式不仅效率低下，而且容易出现人为错误，严重影响业务时效性和客户体验。

2.业务痛点

过去银行业一直在持续探索传统OCR技术在这些场景中的应用，试图实现自动化处理，然而仍面临如下困境：

（1）采集难：操作繁琐，易错低效

柜面影像上传需逐张拍摄、裁剪、归类，操作繁琐且易错，容易重复提交，且未进行填写内容核验。人工填单较为麻烦，手写字迹不清晰还会影响后续识别效果。

（2）识别弱：OCR泛化能力不佳，版式受限

局限于传统OCR识别能力，只能在切片录入中采用OCR辅助，极大限制了录入速度和业务时效性。对于未知版式必须手工添加版式后才能录入，降低了业务扩展性。合同跨页条款、票据可变模板、承诺书手写批注等非标准版式，超出传统OCR基于固定模板的解析能力，泛化能力明显不足。

（3）流程繁：环节复杂，系统臃肿

由于业务复杂程度不同，录入环节被分为全单录入、切片录入、行名行号录入等多种方式，导致系统复杂性显著增加。切片能力决定了系统上限，而原始切片算法依赖图像分辨率数值，高拍仪、手机拍摄分辨率不准，且图像存在形变、透视等问题，导致切片失败或切片不包含相应内容，进一步拖累整体效率。

（4）审核累：高度依赖人工，易产生疏漏

授权环节高度依赖人工逐项比对影像、录入要素及验印结果，属于高频枯燥的重复性劳动，极易产生视觉疲劳，导致漏审风险，影响业务合规性和客户体验。

3.转型挑战

集中作业平台智能化改造面临三大核心挑战：

一是流程重构挑战。传统柜面影像采集依赖人工逐张拍摄、裁剪、归类，是制约整体效率的首个瓶颈。如何实现多单据混合采集、自动分割与智能质检，打通智能化改造的“第一公里”，是流程重构的核心挑战。

二是技术升级挑战。传统OCR基于固定模板，对非标准版式（如手写批注、跨页条款、可变票据）的解析能力不足，导致新凭证接入周期长、人工介入多。如何引入具备强语义理解与多模态感知能力的大模型技术，实现“开箱即用”的智能识别，是技术升级的关键命题。

三是精度与效率平衡挑战。原有切片算法过度依赖图像分辨率，形变、透视常导致切片失败或内容缺失；人工双录模式效率低下（单笔约45秒），且准确率受疲劳影响波动大。亟须采用整单录入模式，并构建“AI预录入+人工复核”的人机协同机制，在保证高精度的同时大幅提升效率。

4.项目目标

本项目旨在通过多模态大模型与专业OCR小模型的深度融合，实现集中作业平台的全面智能化改造，具体目标包括：

多单据混合采集：支持多种凭证一次混合采集，由通用模型自动完成文档分割与智能质检，提升采集效率。

整单“两录一校”：利用多模态大模型替代一录，OCR小模型辅助二录，实现人机协同高效作业。

智能审核授权：系统自动比对要素并生成Checklist，高亮显示不符项，实现判别式授权，提升审核效率。

效率大幅提升：单笔业务处理时间缩短至10-20秒以内，综合效率提升30%以上。

二、创新点

1.技术创新

一是创新大小模型协同架构。行业常见做法是单一依赖大模型或传统OCR，本项目创新性地将多模态大模型与专业OCR小模型协同使用。大模型（Qwen VL）负责语义理解、非标准版式解析和手写体识别，小模型负责高精度、高速度的字段抽取。两者分工协作，一录大模型智能抽取并输出坐标，二录小模型结果供人工点选补录，在保证准确率的同时兼顾处理效率。

二是创新整单录入模式。项目摒弃传统依赖图像分辨率的切片录入方式，采用整图录入模式。整单录入避免因形变、透视导致的切片失败问题，同时利用多模态大模型的全局感知能力，更好地处理跨凭证校验、跨页逻辑关联等复杂业务。该模式大幅降低了系统对图像质量的敏感度，提升了业务稳定性。

三是创新智能体服务封装。项目将大模型能力封装为标准化智能体（Agent）服务，RPA机器人可直接调用并自动填充凭证字段。已完成全单录入、行名行号Qwen模型智能体开发并完成测试环境接口部署；完成生产环境2台机器的高可用部署，支持200 TPS并发处理。智能体服务使得业务流程无需深度改造即可接入大模型能力，降低了推广门槛。

2.模式创新

一是创新人机协同作业模式。项目改变传统人工双录模式，构建“AI预录入+人工复核+数据比对”的人机协同流程。多模态大模型智能抽取KV对、表格及手写体，通过AI录入与人工补录的数据比对，确保数据准确性后再提交系统。这种模式既发挥了AI的效率优势，又保留了人工的准确性保障，实现了效率与质量的平衡。

二是创新低样本快速冷启动模式。传统OCR需百张以上样本训练模板，本项目基于向量化技术和提示词工程，仅需少量样本即可实现新凭证类型的快速接入。针对复杂字段，通过配置提示词即可达到高精度效果。新业务上线周期从周级压缩至天级，显著提升了系统的业务扩展能力。

3.管理创新

一是创新构建数据回测机制。项目建立了T+1数据回测功能，实现对实际业务影像的持续回测。通过定时程序收集生产环境影像URL，进行批量测试和准确率统计，持续收集异常案例并优化准确率。这种闭环优化机制确保了模型能力的持续提升。

二是实现热词系统与提示词动态优化。针对大模型常见的地名识别错误、幻觉添加等问题，项目建立了热词系统和提示词动态优化机制。例如通过添加热词解决“沭阳”误识为“沐阳”的问题，通过优化提示词消除“集体资金管理账户”模型幻觉增加“经济”字段的错误。这种轻量级优化方式无需重新训练模型，响应速度快，成本低。

三是形成省级统筹资源共享模式。本项目采用省级统一建设、全省共享服务的模式，避免各法人机构重复投入，实现规模效益。选择代表性机构先行试点，验证效果后再全面推广，降低推广风险。建立持续运营机制，根据用户反馈不断优化产品功能，提升用户体验。

三、项目技术方案

1.整体架构

项目采用“前端采集+智能处理+业务集成”的三层架构设计。前端采集层负责多单据混合采集、文档分割、图像增强等预处理工作；智能处理层负责凭证分类、信息抽取、智能审核等核心功能；业务集成层负责与现有集中作业平台、核心系统等的对接。

2.核心技术组件

（1）多单据混合采集流水线

为了提高采集速度，采用多种单据混合采集的方式，可以将混合单据一次采集，以提高采集速度。系统支持多张合拍-自动切分归类流水线，对采集的图像进行文档分割，无需训练模型，一个通用的文档分割模型即可完成。对于分割之后的文档图像的质量进行智能质检，对于模糊、不完整的图像能够给出判断，要求重新进行采集。

（2）通用文档分类

先做图像的四方向分类，将图像校正，然后采用文档图像Embedding技术将图像进行文档分类，对于不在库中的图像进行提醒，由人工快速建库。这种基于向量化技术的分类方法，相比传统模板匹配方法具有更强的泛化能力。

（3）两录一校流程

采用先进的大小模型协同技术进行全单录入，做到由多模态大模型替代一录，由深度学习通用小模型辅助二录，人机协同高效作业，提升作业效率。一录采用多模态大模型，可以智能抽取文档中的KV对、表格，同时识别印刷体和手写体文本，给出精确的字段坐标。二录采用OCR通用小模型识别结果供人工拖拽或框选补录。

（4）智能审核授权

利用业务规则，在人工审核之前，对业务涉及的所有单据进行智能审核，找出不满足规则的字段并高亮显示，且结果可溯源，最后给出机器审核结果，由人工来判断，提升人工审核效率。基于授权检查要素清单，系统自动抽取证据并进行逐项比对，生成Checklist结果返回给授权人员；在授权Checklist中展示各要素的比对结果、规则校验状态及对应凭证来源信息，为授权人员提供结构化辅助参考。

3.技术实现细节

（1）全单录入场景

该场景是项目的核心场景之一，基于Qwen VL大模型与OCR模型改造全单录入场景，替代现有人工及旧版OCR录入环节，提高凭证录入准确率并降低业务时间和人力成本，同时提高业务授权校验通过率。

已完成全单录入Qwen模型智能体开发并完成测试环境接口部署；已提取生产环境1月22日全量数据，并针对某交易（其他凭证共466张）进行了Qwen 8b模型智能体服务批量测试和准确率优化。测试结果满足上线条件，在生产环境2台机器上线Qwen 8b模型Agent服务以支持高并发。

（2）切片录入场景

该场景主要针对特定字段进行快速识别和录入。交易类型为03001，验证字段包括申请人账号、凭证日期、凭证号码、申请人名称，准确率要求达到99.9%（包含核验岗）。

（3）行名行号录入场景

行名行号是一个有限集，可以在录入过程中自动不断扩充该有限集。利用行名行号数据库，自动匹配最佳的行名行号，如果结果与数据库不一致，在审核岗进行提示。采用历史库命中+语义检索召回+重排推荐+人工确认/回写闭环的模式，行名准确率达到91.99%，行号准确率达到92.87%，综合字段准确率达到92.43%。

四、运营情况

1.系统部署情况

项目已在江苏农商联合银行生产环境部署运行。在生产环境2台机器上线Qwen 8b模型Agent服务以支持高并发，并且完成模型服务高可用配置和运维文档编写。已实现生产环境RPA机器人调用Agent服务并自动填充。业务系统团队目前已开始基于Qwen大模型Agent服务接口对集中作业系统进行前端改造。

项目已在江苏农商联合银行生产环境稳定部署运行，生产环境部署2台服务器支撑Qwen 8B模型Agent服务，实现高可用配置，支持200 TPS并发处理。已完成模型服务的运维文档编写和监控告警体系搭建。RPA机器人已实现生产环境调用Agent服务自动填充凭证字段，业务系统团队正基于大模型Agent接口对集中作业系统前端进行智能化改造。

2.支持的交易类型

项目目前已覆盖21种业务凭证类型，日均处理核心交易约2.5万笔。主要业务场景及日均交易量如下：

3.运行指标

4.服务支撑

组建专业技术支持团队，提供7×24小时运维保障，制定完善的服务等级协议（SLA）。建立用户反馈与异常案例闭环机制：每日收集业务方反馈的识别错误案例，通过T+1数据回测持续优化智能体服务准确率。截至目前，已累计优化提示词及热词规则30余项，模型识别准确率保持稳步提升。

五、项目成效

1.经济效益

一是效率提升显著。项目实施后，单笔业务处理时间由人工双录的45秒压缩至大模型+RPA自动填充15秒，人工复核约20秒，综合处理效率提升30%以上。2026年2月春节期间，业务高峰期单笔综合耗时降至40秒，较改造前节约人力约11%。全单录入整单准确率从初始66.5%提升至77.3%，提升10.75个百分点，大幅减少了因录入错误导致的授权退回和业务返工。

二是成本有效节约。项目有效降低了人力成本、运营成本和差错成本。按当前业务量测算，每年可节约后台录入人员约15%的工作量，对应人力成本节约超30万元。项目采用省级统一建设、全省共享的模式，避免了全省60家农商银行重复投入，预计节省各法人机构独立建设费用逾千万元。当前字段级准确率达到96.17%，有效减少因录入错误导致的业务返工成本。

三是有效促进业务提升。凭证录入准确率显著提高，授权校验通过率明显提升，业务处理时效性改善，客户等待时间缩短。项目为全省农商银行后续推广智能营销、智能风控等场景奠定了技术和人才基础。

2.社会效益

赋能普惠金融，服务乡村振兴。项目通过提升作业效率、降低运营成本，助力农商银行更好地服务“三农”和小微企业，支持实体经济发展。省级统筹、资源共享的建设模式，为资源相对有限的农村金融机构提供了低成本、可复制的数字化转型路径。

树立行业标杆，引领智能转型。本项目是行业内率先将多模态大模型与专业OCR小模型协同应用于集中作业场景的成功实践，为金融行业大模型落地提供了“大小模型协同、人机高效配合”的可行方案。项目推动全省农商银行集中作业由人工经验向智能决策转型，加速农村金融机构数字化进程，成果对全国农信系统及中小银行具有直接借鉴意义。

培养复合人才，夯实转型基础。项目在建设过程中培养了一批懂大模型技术、熟悉集中作业业务的复合型人才，积累了大模型金融应用的全流程经验，为后续智能化建设储备了关键人才力量。

六、经验总结

1.建设经验

需求驱动，精准切入。项目从全省农商银行实际痛点出发，聚焦录入效率低、准确率不高、授权审核繁琐等核心问题，确保技术应用解决真问题、产生真效益。启动前深入调研各农商银行业务现状，明确改造重点和优先级，避免技术“空转”。

技术融合，协同增效。不依赖单一技术路线，将多模态大模型、专业OCR小模型、RPA、向量检索等多种技术有机融合。大模型负责语义理解与泛化识别，小模型保障高精度与高效率，实现1+1>2的效果。该协同架构是项目成功的关键技术决策。

领域适配，持续进化。针对通用大模型在金融领域的专业性不足，通过提示词工程、热词系统、领域微调等方式进行适配。建立T+1数据回测闭环，确保模型能力随业务运行不断进化，避免“上线即落后”。

安全稳健，分步推进。建立完善的监控告警和安全保障体系，确保金融数据安全与业务稳定。采用“试点先行、逐步推广”的分阶段策略，选择代表性机构验证效果后再全面推开，有效控制项目风险。

2.推广经验

省级统筹，资源共享。采用“联合银行统筹、全行业共享”模式，由省级统一投入，全省60家农商银行共享服务。该模式特别适合科技资源有限的中小金融机构，能够以较低成本实现较高水平的智能化，具有广泛的复制推广价值。

低样本冷启动，快速扩展。传统OCR需百张以上样本，本项目基于向量化技术和提示词工程，仅需少量样本即可实现新凭证类型的快速接入，新业务上线周期从周级压缩至天级。这一能力大幅降低了推广门槛，便于快速复制到其他业务场景。

闭环迭代，自主运维。T+1数据回测和异常案例驱动的持续优化机制，使模型在真实业务环境中不断进化。该机制不依赖厂商持续投入，可由行内团队自主运维，降低了长期运营成本。

3.思考与展望

本项目实践表明，大模型在金融领域的落地需解决专业性、准确性、安全性三大挑战。大小模型协同、提示词优化、热词系统、闭环回测是行之有效的路径。未来可进一步探索大模型在智能营销、智能客服、智能风控等场景的规模化应用。对于科技资源有限的中小金融机构，不宜追求“大而全”的自建模式。通过省级或区域统筹、资源共享、分步实施的方式，可以更高效地实现数字化转型。

未来江苏农商联合银行将持续进行技术深化，探索更先进的多模态模型，提升识别准确率和处理效率；持续开展场景拓展，将智能化能力延伸至授权审核、智能营销、智能客服等更多业务环节；持续坚持生态共建，联合更多金融机构和科技公司，共同推动行业智能化水平提升。