一、项目背景、目标及相关规划

1.项目背景

在广东农信IT战略规划指引下，按照平台化、云化、分布式架构转型的思路，搭建一套具备高可用性、高性能、可管理等特性，满足相对集中和标准统一的非结构化数据管理平台。旧项目于2017年7月投产上线，至今已有7年，平台实现了汇聚全行非结构化数据的功能，解决了各系统数据分散存储、存在重复设计存储方案以及数据无法实现共享的问题，但未解决统一数据结构、制定统一标准的问题。随着业务的快速发展，原系统存在的局限性也进一步放大，为加强技术自主可控，解决统一数据结构、制定统一标准，实现平台架构优化等问题，新项目的建设则显得尤为迫切。

2.项目目标

构建全行统一的非结构化数据的新存储管理平台，对行内海量的非结构化数据进行统一存储管理，能够实现对外统一提供处理服务，提供海量非结构化数据的存储、管理、共享、查询、统计、批量导出等服务，为广东农信辖内农商银行客户提供更优质的服务体验。本项目在加强技术自主可控、解决未统一数据结构、制定统一标准的同时，同步推进内容管理平台客户端的适配改造，并逐步实现服务端应用、服务器、操作系统、数据库等信创替换改造，实现平台从客户端到服务端的全栈信创实施。

3.建设规划

面对新形势新要求，广东农信在IT规划中提出了平台化、云化、分布式架构的转型策略，信创内容管理平台定位为全行非结构化数据的存储管理平台，对外统一提供处理服务。结合旧项目的建设经验，采取“分层建设，逐步迭代”的方式开展实施工作，对各个功能进行清晰的分层，各个模块独立建设，模块之间实现统一标准接口互相调用。

信创内容管理平台整个架构分为三层：统一服务接入层、内容处理层、内容存储层。

（1）统一服务接入层：该层位于整个平台的最上层，将内容处理、内容存储等相关服务进行封装，形成统一的标准服务并对外暴露，方便外围业务系统调用，该层提供了多种调用接入方式，包括API、控件、WebService等。

（2）内容处理层：该层提供对非结构化数据处理的服务，例如影像采集、音视频播放、办公文档展示、OCR、权限控制等内容的处理。针对各种类型的非结构化数据提供的服务，每类可以作为一个相对独立的模块进行建设。如影像处理模块，音视频处理模块等，业务系统可以通过统一服务接入层对各种服务进行调用。在该层提炼出通用数据模型，在这个模型中，既支持通过复合文档方式的精确描述内容，也支持灵活地描述内容和内容之间的关系以及文件内容在使用中的工作状态。

（3）内容存储层：此层主要是利用国产自研分布式数据库的优势对元数据、非结构化数据的存储，实现高性能、自主可控、安全可靠存储，能够支持高效海量数据的查询，能够支持不同方式快速建模并进行调整。

信创内容管理平台架构图

信创内容管理平台技术路线如下：

信创内容管理平台基础环境参数信息如下：

二、创新点

本项目在建设、推广等过程中的创新点包括：

（1）支持新旧类型终端并行。项目开发了信创版本客户端，采用信创与非信创客户端并行的模式，服务端统一化部署发布服务，在机构网点，根据客户端操作系统的信创与非信创版本实现不同版本的接入，通过逐步覆盖方式来试点验证，并在过程中不断迭代，实现与常规业务客户端的隔离，保证原主要操作系统业务不受影响；

（2）数据库支持混合部署能力。国产数据库能满足跟存量服务器兼容支持，可以支持不同架构的服务器混合部署，支持逐步通过扩容再卸载的方式逐步替换原有服务器，实现服务器信创化。

（3）良好的分层设计实现平滑切换。作为一个非结构化数据的中心，系统采用分层设计，可以方便地增加不同的非结构化对象的处理；各个层次的功能实现松耦合，提升扩展能力，同时将复杂大型应用的实施简单化，逐层进行信创化改造，降低切换时对业务系统的业务影响。

（4）支持高效的海量查询。使用大数据方案，支持海量数据的在线查询。非结构化数据总存储容量超过2PB，基于大数据量的单笔数据查询平均耗时200ms以下。同时开发出可靠、稳定的传输引擎，实现统一接入管理、统一认证管理、负载均衡、缓存功能、策略管理等辅助功能，使得在线海量查询更加高效。

（5）支持接入方式的多样性。不仅提供了包括API、控件、WebService等多种调用接入方式，而且支持多种文件格式的输入。

（6）有效的安全管理。采用特有的压缩算法，生成特殊格式的数据，需勇对应的专门解释组件来解读；应用接口的操作、访问权限的控制均通过技术手段，在保证效率的同时，增加了限制访问内容、单笔授权等多重安全管理措施。

（7）富有价值的元数据和模型管理。元数据模型的设计应该是企业内容管理中最有挑战性的技术设计之一。元数据模型的能力直接表现出一个平台适应用户需求的能力，元数据越复杂，内容提升价值的潜力就越大。为了适应客户不断变化的需求，提炼出通用数据模型，在这个模型中，既支持通过复合文档的对内容精确描述，也可以灵活地描述内容和内容之间的关系以及文件内容在使用中的工作状态，并支持通过API方式进行调整。

三、项目过程管理

广东农信于2022年11月启动信创内容管理平台项目，2023年11月完成系统编码、测试和上线准备，于2023年12月接入后督历史数据迁移项目进行试运行。

四、运营情况

本项目用户超过10000个柜员，非结构化数据总存储容量超过2PB，日均产生文件500万个，目前系统运行平稳。

五、项目成效

信创内容管理平台为广东农信生产业务系统提供海量非结构化数据的存储、管理、共享、查询、统计、批量导出等服务。通过该项目的建设加强了技术自主可控的能力，制定了统一的服务标准，实现了客户端的信创适配的兼容适配性，并逐步实现服务端应用、服务器、操作系统、数据库等信创化替换改造，实现了业务功能全面升级，逐步平滑替换，达成平台从客户端到服务端的全栈信创化。

在项目建设过程中，牵头组织，与合作伙伴共同起草了《金融行业分布式非结构化数据应用全栈国产化平台平滑迁移实施指南》，团体标准，通过了广州市数字金融协会专家的联合审议。标准中对金融行业分布式非结构化数据应用，在原系统环境向全栈国产化平台（应用服务、中间件、数据库、操作系统、服务器、芯片），平滑迁移过程中有迁移准备、迁移设计、迁移实施和迁移交付的具体指南，为行业提供了可行的实施方案及标准参考。

六、经验总结

通过对非结构化数据平台建设优化的探索和实践，在整个实施过程中充分尝试了各种落地实施方式，解决集成和切换过程中的各类难题，积累了有效经验以及解决办法。一是扁平化组织架构、敏捷型实施团队、专家级高效评审机制，为项目的方案改良与最终落地奠定了坚实基础；二是以业务主导、科技引领为总体思路，切实保障PB级海量数据在信创迁移中的完整性、可用性、安全性，让数据创造更高业务价值，让科技投入更有效促进业务发展；三是遵循广东农信十四五IT规划中“改进、演进、创新”总体指导原则，基于平台化建设的丰硕成果，结合最新监管要求，联合多个科技部门及基础软件供应商，充分发挥行内科技人员主观能动性和自主可控能力，在客户端、服务端、数据库等多个方面实现有效优化及平滑切换。这些经验让广东农信进一步整合了数据资源，构建了标准统一的非结构化数据管理平台，提升了新形势下的信息化建设能力、自主可控能力，同时在实践中产出的团体标准对于同业的同类项目实施也给予了一定的参考指导作用。