一、项目背景及目标

经前期调研，现业务场景中仍存在大量非结构化影像、纸质材料人工分类和录入操作，证照、凭证、合同、财务报表、发票的录入与分类等需求，且固定格式占70%以上。本项目旨在搭建一套低门槛、高效率的OCR模型训管平台，能迅速响应内部各类场景OCR应用需求，逐步建立行内OCR模型自研能力，降低新场景下的OCR模型建设及已有模型的维护成本。

二、项目/策略方案

广西北部湾银行OCR审单平台项目包括模型训练平台、模型集中管理平台、模型应用平台发布等模块，根据应用场景不同依托平台可自主开展模型串并联，创新性将模型识别结果与IDP融合输出应用规则结果辅助进行人工判断，对模型运行详情进行实施监控，真正实现对OCR模型“训”“管”“用”“优”全生命周期开展管理及应用。

三、创新点

1.OCR+NLP训练平台，降低模型研发门槛。OCR审单平台内置算法类型覆盖90%以上银行业务场景的非结构化影像及文件类型，包括但不限于业务单据、单证、票据、合同类长文本等，以深度学习网络对各类银行业务单证的原始图像进行特征学习。平台支持锚点、KV、NLP模型构建方式，提供全流程可视化操作界面，行内业务人员可自主完成固定板式、非固定板式OCR模型开发、训练、调优。

2.自动预标注，提升数据标注质效。OCR审单平台支持以传统数据导入人工标注方式进行训练数据标注。此外，平台基于内置高性能预训练模型，实现通过模型对导入样本数据进行预标注处理，预标注处理后的数据可进行手工调整标注结果，数据标注人员仅通过核对预标注结果即能完成数据标注工作，大幅度提高数据标注人员的工作效率，进一步确保数据标注结果的准确性。

3.统一管理，降低模型维护成本。OCR审单平台可对存量及新增模型进行集中管理及发布，实时监控各OCR模型调用情况，提供统一对外接口供行内各关联系统调用，以可视化图表形式展示不同渠道、不同模型调用量，打通OCR模型使用壁垒，降低OCR模型复用及迁移成本。

4.自主设置规则，拓展模型应用场景。OCR审单平台支持可视化配置比对规则，实现以图形化的操作完成识别结果的逻辑处理，输出规则比对结果可直接供下游系统使用，替代用户对不同识别结果初步的逻辑处理工作。平台配置低代码模块，即用户可根据实际业务建模需要，将多个模型通过可视化托拉拽的方式将模型串并联组合应用，实现“一模型，多功能”。

5.用训一体化服务，满足新业务缺样本场景及模型自动化迭代的需求。OCR审单平台通过与行内业务系统打通，搭建生产数据回流机制。用户可按需选择将实际工作流中识别错误的源文件，或全部参与识别的源文件回流至平台，通过系统之间交互收集模型优化样本数据，满足缺样本场景下模型迭代升级需求。同时，平台支持对少量真实样本学习生成虚拟数据，采用真实+虚拟数据混合训练模式完成OCR模型开发。

四、项目过程管理

1.2022年10月-2022年12月，完成数据管理与模型管理基础功能开发与投产，完成与集中运行相关训练模型上线试运行；

2.2023年1月-2023年5月，完成管理平台、合同抽取、数据回流、IDP等模块开发与投产，实现系统整体上线；

3.2023年6月至今，平台试运行阶段。依托平台，结合应用场景完成相关OCR识别和分类模型自主研发与投产。

五、运营情况

2023年5月OCR审单平台完成系统整体投产，并陆续上线集中作业场景OCR分类与识别训练模型、集中开户场景身份证标准引擎、信贷管理场景房产证和行驶证等标准引擎。按照项目预期目标，上述模型统一接入OCR管理平台，通过管理平台接入服务并对外发布接口，分渠道实时监控模型运行情况，截至目前平台OCR模型调用量已超30万笔。

六、项目成效

1.提升模型自研能力，降低开发成本。OCR审单平台引入了国内领先的深度学习框架和图像识别算法，降低图像识别技术应用门槛。依托平台，用户可进行数据标注、模型训练、模型后配置等操作自行完成定制化单据、凭证OCR识别模型训练与开发，一定程度上缓解传统依赖外部合作方进行OCR识别模型开发局面，可节约80%模型购置费用，降低新场景下的OCR模型研发成本。同时，支持生成虚拟样本，少只需提供1张样本即可生成虚拟数据样本，多渠道响应缺样本场景下OCR模型开发需求。

2.缩短模型应用周期，提升对应用场景支撑效率。银行业务单据凭证具有种类多、样式更新快等特点，采用自训练模式进行OCR识别模型开发，能够迅速响应文档格式内容更新后的OCR识别需求，可在原模型基础上进行增量训练即可完成模型版本更新。通过自研模式开发应用OCR模型周期缩短至2周，配合关联改造，训练模型约4周即可投产使用，模型应用效率提升3倍以上，大幅度缩短新OCR模型研发周期。

3.训、管的统一管理，构建了一体化的管理及应用闭环。一是在模型训练支撑的基础上，OCR审单平台建立将对行内各个OCR图像识别模型进行统一管理，提供OCR模型调用统一出入口，并为所纳管的识别模型提供试用及接口文档更新储存模块，便于业务人员和技术人员进行效果评估与开发对接，实现模型集约化管理和简易复用的应用效果。二是平台支持数据回流，通过场景应用实践，不断回流数据至训练平台，形成训练及数据闭环，不断提升模型识别率。三是OCR审单平台提供可视化实时监控界面对模型运行情况进行跟踪，分析模型识别效果，模型管理人员通过界面及时掌握模型运行情况。

4.贴合场景应用的平台服务，高效的响应了业务场景的应用。OCR审单平台内置可视化配置规则集模块，提供界面便于用户以可视化配置的操作完成识别结果初步逻辑处理，通过系统进行规则判断可替代识别结果简单人工校验比对工作，由纯人工核验模式转化为人工复核模式，减少了简单重复工作流程中的人力投入，同时提高了识别结果应用的精确性，信息录入及使用效率提升300%以上，拓展OCR能力在各应用场景的深度应用。

七、经验总结

通过搭建OCR审单平台，以自训练的方式有针对性进行OCR模型设计与研发，能快速满足业务需求，模型开发及落地应用周期较短，模型需求把控自主性较强。通过模型与数据闭环管理，将模型精进纳入日常应用场景中，进一步提高OCR应用效率。