一、项目背景及目标

在当前数字化转型的浪潮下，银行业务逐步呈现出服务场景化、网点智能化、渠道电子化，决策 AI 化的“四化”趋势，以 OCR 和 NLP 为代表的人工智能技术已逐步应用到身份查验、企业资质审核、单证信息提取、集中作业、手机银行等各类实际业务场景中，在零售、营销、风控、运营等领域发挥着积极作用，有力加速了银行的数字化转型。

为满足业务发展对运营智能化的诉求，江西省农村信用社联合社（以下简称“江西农信”）积极开展 AI技术的实践应用，基于深度学习技术建设了富有自身特色的智能 OCR 平台，首次在农信领域实现基于深度学习的“OCR+NLP”融合，构建了文字识别、人脸识别、图像识别、结构化等核心技术功能，可广泛应用于银企对账、合同审核、财报识别、银行流水等多个业务场景中，提升了非结构化数据管理和使用能力，赋能全行运营系统智能化升级。

二、项目方案

智能OCR平台定位于一站式机器学习训练平台，集合数据管理、模型训练、智能模板和服务应用等功能于一身，提供CV、OCR、NLP等领域数据驱动模型应用的现场高效解决方案。

图1.1-1 总体业务流程图

平台可以划分为四个系统：

1.管控系统（CBC）

负责平台的整体管理与运维，主要包含资源管理、操作维护、用户管理和系统日志等功能。

2.标注系统（CBD）

负责数据的智能化管理与标注，主要包含数据管理、数据标注、数据处理、数据采集与数据自动扩充等功能。

3.训练系统（CBL）

负责机器学习、深度学习等模型的训练，核心组件包括集群与资源管理、容器化、分布式训练、自动模型优化、多框架支持与扩展以及系统容错等。

4.推理系统（CBS）

负责模型的快速部署以及模型Pipeline的定制，支持利用已训练模型，快速生成图像、OCR、结构化数据提取以及NLP等服务API。

平台提供包括预置通用和场景智能文字识别、智能图像处理、智能数据管理与标注、机器学习算法开发、模型训练、模型编排与应用、文档图像智能模板结构化和AI能力管控多方面能力。平台具备基于深度学习的标注、训练和推理能力，利用人工复审答案作为标签，训练提升模型，能够达到在业务场景中“越用越好”的目的。

三、创新点

1.简化部署管理

用户通过CBC可以充分简化集群或分布式部署的管理工作。不管是单机、服务器集群、云端或容器化环境，用户均可通过CBC简洁友好的图形化界面，完成包括计算资源管理、服务资源分配与监测、系统操作与维护、以及系统用户与权限管理等功能。

2.智能化样本管理

CBD支持通过数据集和数据批次等形式对不同形态、格式、来源，以及不同数据类型和标注类型的数据实行智能化管理工作，并通过图形化界面提供高效便捷的用户操作。

3.自动样本扩充

CBD支持利用少量样本，按照特定扩充规则，如语料库，字体样式、大小等，自动、快速、批量扩充已有样本集，可以有效解决样本匮乏情况下模型训练的问题。

4.强大的样本处理能力

CBD支持对于导入的待标注数据进行各种预处理操作，同时支持对于标注后的数据进行多种后处理操作，以满足用户对于特定数据集合的处理需求。主要的数据预处理功能包括文件重命名、去重，图像尺寸缩放、格式转换、去EXIF信息等。数据后处理功能主要包括各种图像变换、OCR再标注等。同时，通过样本集查看页面，用户可以方便的查看并手动处理单一样本，如常见的图像旋转、样本删除等操作。

5.专业全面的样本标注功能

CBD内置强大的exLabeler客户端工具。该客户端可运行在Windows和常见Linux系统，支持常见机器学习和深度学习算法的标注，包括CV、OCR、NLP等领域算法。相比于常见的页面标注工具，客户端工具能够提供强大的标注功能，同时保证更好的用户体验，如操作简便性、流畅度。同时，CBD还支持单人和团队标注模式，以满足不同规格标注任务的需求。另外，CBL前端页面还支持简单易用的OCR智能模板标注功能。

6.快速模型训练

CBL支持多种框架下的分布式训练，因此，可以充分发挥系统计算资源的能力，快速完成模型的训练。当前支持的框架包括Tensorflow，PyTorch和Keras。另外，CBL具备弹性训练架构，能够根据训练任务负载大小自动调整计算资源的占用。

7.自动模型调优

CBL支持通过模型超参搜索等技术，自动完成模型的训练调优，得到佳性能的应用模型，避免了用户繁琐的手动调参工作。

8.模型无缝部署与快速应用

CBL训练得到的模型，可以通过页面无缝部署到CBS系统，并支持自动生成或用户定制API的方式，实现模型的快速部署应用。

9.灵活多样的服务API定制

CBS支持基于CBL的训练模型以及内置模型定制不同任务和过程的服务API。常见的任务包括CV、OCR、结构化数据提取、NLP等。API过程可以分为单一和综合模式。单一模式下通过一个模型即可完成API的功能，如常见的图像分类、对象检测等；综合模式下则需要通过构建模型Pipeline来实现API的功能，典型的Pipeline如先做OCR识别，再做样本分类，后完成各个类别的结构化数据提取。

10.数据闭环

CBS支持对于自身所产生的生产数据根据不同的条件进行自动采集的功能，条件可以是样本处理状态、处理时间段和置信度等。采集后的数据可以方便地导入CBD，形成数据集，并支持进一步的数据处理与标注。标注完成的数据集可以用于模型的训练调优，从而得到性能更佳的模型，用于更新CBS生产模型。基于此流程，CBB打造了数据驱动模型应用的闭环。

11.模型和API灰度测试升级

CBS系统支持对同一模型不同版本的管理，并支持在模型服务中同时加载和运行多个版本的模型。CBS还支持一个API绑定多个模型服务。模型升级时，用户可以选择先在部分服务中激活新版本的模型，完成测试验证后再升级其他服务。同时，CBS也支持不同的API版本，用户可以通过定制新版本的API，并绑定部分模型服务，在不影响当前版本API的前提下，完成新版本API的测试，通过后，再切换到新的API。

四、项目过程管理

智能OCR平台于2022年5月份完成项目启动，经过需求分析与确认后，在2022年10月完成功能开发，并于2023年5月15日完成功能测试、性能测试和回归测试，2023年6月1日正式上线，平台投产上线后运行稳定，保障业务正常有序开展。

五、运营情况

目前，传统柜面业务通过后台集中式的人工审核规避风险，随着数字化网点建设推进，人工效率低等问题日益凸显。我们通过构建智能OCR平台，针对各类票据进行大量数据的训练，构建了基于我行客户特征的识别模型，使用机器识别替代传统的人工录入方式，实现了柜面凭证的“人工一录+机器二录+机器校验”的智能审核方式，推进业务流程的智能化、高效化，有效降低了运营成本。

该应用首次将手写体识别运用于关键业务场景，试运行阶段涉及单位转账汇款、现金汇款2支交易，这两支交易目前主要涉及的是结算业务申请书、进账单、转账支票、其他类凭等内容。上线后，全单岗人员可减少一人，全单人工录入业务量将减少50%，录入复核岗将全部取消，识别成功率可以达到95%以上。同时系统开放了发票验真包含识别+验真一体化的接口，该接口提供发票的识别成功率可以达到97%以上。

六、项目成效

通过智能OCR平台的建设，利用行内百福云平台、分布式技术等技术平台和工具，持续推动OCR技术创新，带来了业务价值和技术价值。

1.数据安全性提高

采用智能OCR平台，在行内即可进行模型开发，训练数据行方自主完成，保障了数据的安全性。

2.系统性能增强

智能OCR平台采用成熟的分布式框架技术，统一全行架构和技术栈，性能有了较大提升。

3.OCR模型调优能力提高

采用智能OCR平台，CBL支持通过模型超参搜索等技术，自动完成模型的训练调优，得到佳性能的应用模型，避免了用户繁琐的手动调参工作。

4.手写体识别率提升

投产10天总计结算业务凭证1641张，识别率高达94.49%。

5.降本增效

上线后，全单岗人员可减少一人，全单人工录入业务量将减少50%，录入复核岗将全部取消。另外，随着平台的建设完成，数据标注、模型训练、模板定制等全流程全部于行内自主完成，大大简化了智能OCR应用流程，效率提升10倍以上，加快需求交付。

七、经验总结

随着数字化转型的深入推动，智能OCR技术在银行领域的应用将成为未来发展的重要方向。通过加强数字化转型、提升风险管理能力、加强客户服务和推动创新发展，银行可以实现更高效、智能和个性化的服务，提升竞争力和客户满意度。未来的发展规划主要可以从以下几个方面开展：

1.加强数字化转型：随着数字化转型的深化，银行将加强对数字化技术的应用，提升业务效率和客户体验。通过引入智能OCR技术，实现对各类文件和表格的自动识别和处理，提高数据处理速度和准确性。

2.深度应用智能OCR技术：智能OCR技术将广泛应用于银行的各个环节，包括客户开户、贷款审批、合同管理等。通过智能OCR技术，可以实现自动化的文件识别、数据提取和数据录入，大大减少人工操作和错误率，提高工作效率。

3.提升风险管理能力：智能OCR技术可以帮助银行更好地管理风险。通过对大量数据的自动分析和识别，可以及时发现异常情况和风险信号，提前采取相应措施，降低风险发生的可能性。

4.加强客户服务：智能OCR技术可以提高银行的客户服务水平。通过自动化的文件处理和数据录入，可以加快办理业务的速度，减少客户等待时间。同时，智能OCR技术还可以实现对客户需求的智能识别和分析，提供个性化的金融产品和服务。

5.推动创新发展：智能OCR技术的应用将推动银行业务的创新发展。通过对大量数据的分析和挖掘，可以发现新的商机和市场需求，推出更加符合客户需求的金融产品和服务。同时，智能OCR技术还可以与其他技术如人工智能、区块链等结合，实现更多创新应用。