一、项目背景、目标及相关规划

1.项目背景

近年来原银保监会、人民银行对银行业金融机构统计与数据管理工作重视程度不断提高，工作要求趋细趋严，陆续出台了《银行业金融机构数据治理指引》《金融业数据能力建设指引》《银行保险监管统计管理办法》等多个制度办法，对数据报送的范围、内容、频率和质量不断提出更加严格的要求。山东农信原有的统计数据管理系统因建设时间较早，受系统架构及性能制约，已经难以满足监管机构日趋严格、复杂的统计数据报送要求，以及农商银行日趋多样、灵活的数据分析应用需要，亟需对系统进行迭代升级，提升对统计与数据管理工作的科技支撑。

2.项目目标

一是建设统一、规范、先进的数据加工模型，按照明细表、指标表、结果表分层，每层按照客户、交易、机构等主题分类，实现各类统计报表底层数据的统一、共享、复用。二是支持1104非现场监管统计和金融统计报送工作，实现统计数据的统一补录、跨系统校验和按加工流程进行来源追溯。三是建立统计指标库，实现对统计指标结果数据的多维查询和可视化展示。四是加强统计数据分析应用，实现对统计明细数据的分析、统计，以及分析报告的自动生成。五是实现报表定制功能，基于各项统计数据灵活定制、生成各类报表，以及对手动报表进行自动汇总。六是提高对统计管理工作支持，自动统计数据偏离度、异常操作，记录分析统计报送问题。

3.建设规划

近年来，监管部门对监管数据报送质量要求越来越高，字段检核、表间校验等规则持续丰富，并逐渐增加1104指标数据与EAST数据、客户风险数据，金融统计指标数据与金融基础数据、广义信贷数据之间的跨系统校验。根据山东农信当前实际情况，基于已上线的监管报送类系统建设经验及报送实际情况，结合业内统一报送平台建设经验，该项目采取“统一平台，分步迁入”的方式分阶段开展实施工作。

*****阶段：以建设统计数据报送管理平台为首要目标，以1104非现场监管统计和人行金融统计为基础，结合历年监管报送类项目建设经验，开发部署数据模型，建设监管数据报送集市，提高数据加工报送能力。

第二阶段：以监管报送数据同标同源报送为目标，以监管数据集市为基础，以监管部门发布及自身积累的可核对指标为切入点，逐步将EAST系统、客户风险统计报送系统、金融基础数据统计报送系统、广义信贷标准化报送系统迁入本平台。在建设过程中逐步完善数据集市模型，统一部署校验规则，实现跨系统校验检核，构建统一的监管报送体系，实现数据的同标同源报送。

4.业务流程及功能

*****阶段以建设统计数据报送平台为首要目标，实现1104非现场监管统计和人行金融统计的统计报送，分别建立报送流程，实现相关业务功能，系统业务逻辑结构如下：

基于上述逻辑架构，*****阶段重点建设并实现以下业务功能模块：

（1）报送管理模块。1104非现场监管统计和金融统计两类报送业务分别具有单独的报送管理模块。主要包括：数据补录、报表生成、报表查看、数据校验、报表审核、报表审签、报表加锁解锁、报表汇总等功能。

（2）指标管理模块。通过对现有报表指标进行归纳，形成多层次的指标体系，为指标数据的应用提供支持。主要包括：指标库管理、指标查询分析、指标监测预警等功能。

（3）数据分析模块。通过对报表数据及明细数据的自定义加工，实现相关数据的透视汇总和可视化展示，可实现对数据表运用拖、拉、拽方式快捷建立数据模型。主要包括：单表查询、多表查询、编辑报告模板、报告生成与查看等功能。

（4）行内报表模块。对于1104非现场监管统计和金融统计报送以外的报表，纳入行内报表管理，满足监管报送、数据分析、临时报表汇总等需要。主要包括：行内报表设计、行内报表填报与查看功能。

（5）统计工作管理模块。通过该模块实现对辖内农商银行统计人员的管理与考评，并可对辖内农商银行的数据质量问题进行跟踪管理。主要包括：统计人员管理、统计质量管理、检查发现问题管理、知识库管理等功能。

二、创新点

山东农信总结以往监管报送类系统烟囱式开发建设的的经验教训，首次提出建设监管数据集市的思路，设计了较为完善的监管集市数据模型，并满足1104和金融统计指标数据报送主体功能的基础上，新增了指标管理、数据分析、行内报表、统计工作管理等模块，实现系统操作代替手工统计，在提升统计报送数据质效的同时，大大减轻了一线统计人员的工作负担。

1.平台化、一体化、中台化

统计数据报送管理系统作为统一的数据服务平台，不仅能满足监管部门各类报表数据报送和行内数据统计工作要求，还能为用户提供灵活查询、报表定制等各种数据服务，赋能数据应用工作。

2.操作简单、多终端适配、升级迅速

3.行列混合式存储保证高性能

统计数据报送管理系统采用行式存储和列式存储相混合的数据存储结构来构建数据集市数据底座，充分利用行式存储增删改少量数据速度快，列式存储统计分析查询性能高的特点，根据各数据表的用途不同，逐步构建高效稳定的行列混合存储的数据集市。

4.支持多级法人

统计数据报送管理系统适应山东农信多级法人管理的特点，支持多法人的灵活配置，满足省联社、农商银行两级管理，实现省联社、农商银行分别开展统计数据报送业务。支持多法人多层级的机构管理，机构下可以划分部门、工作组等，以更好的管理总、分、支行的机构组织。在权限方面充分利用上下级关系，合理配置数据查询查看权限。机构（部门）可以查看其子机构（子部门）的所有数据，子机构（子部门）不能查看上级及同级的数据，各法人机构数据独立，确保数据的安全和机密；支持多法人业务参数配置管理，省级管理员可定义标准参数，各法人机构可以对参数进行调整。

三、技术实现特点及优势

1.应用架构

该系统项目应用架构采用分层架构体系设计，分为源数据层、数据加工层、服务层、展现层。

（1）源数据层。对接入数据进行整合、存储，并为数据加工层提供基础数据服务。

（2）数据加工层。基于贴源数据进行数据模型、指标体系的加工，对所需数据进行历史数据归档，并为应用服务层提供数据支撑。

（3）服务层。作为与业务相关的应用层，主要包括：报送管理、指标管理、数据分析、行内报表、统计管理等。

（4）展现层。主要用于PC端的展示。

2.技术架构

系统服务端基于J2EE体系规范，支持AnalyticDB、TDSQL-A等分布式数据库，中间件采用Springboot内置Tomcat/jetty，也可支持Weblogic、TongWeb、金蝶等国内外主流应用中间件。

代码生成功能，基于mybatis、thymeleaf、velocity开发的代码生成器，可对单表或多表的基础业务功能进行生成，可大大降低编码工作量。使用AlibabaJavaCodingGuilines、SonarLint插件规范对代码进行规范化检查，提高代码质量，使用CVS进行代码管理。

设计遵循构件化、模块化、参数化设计，易于改造和扩展，易于功能模块的独立升级或拆分成子系统。项目开发使用JAVA语言，脚本语言shell、标准SQL。确保平台升级业务连续性与平台应具有较好的移植性。系统在SpringBoot的基础上，采用图形化、组件化、模块化、一体化设计思想，技术栈包括：SVG、HTML5、bootstrap、jquery、lodash、CSS3、axios、codemirror、spreadjs、antv-x6、font-awesome等。

采用SpringBoot开发框架具有延迟初始化、应用程序、日志、缓存和验证等特性，系统应用基础架构如下图：

基础设施层：如数据库、消息队列、缓存、分布式存储。

基础服务层：如RestAPI、swaggerdocument、消息通信、数据缓存服务等。

应用服务层：安全认证服务、系统管理相关的服务、业务相关服务、监控相关服务等。

监控功能：包括SpringBootAdmin监控、连接池监控、数据库监控、系统日志监控、JVM监控等。

接入层：使用keepalive+nginx组建的接入负载控制层。

展示层：使用bootstrap实现的移动端、桌面端均可适配的界面。

3.应用服务技术架构

主要分为展现层、服务层、数据加工层、源数据层。

展现层：支持电脑端访问，兼容国际国内主流浏览器，大保证了访问渠道的多样性。

服务层：提供产品主要的前段业务功能，为业务人员提供数据的补录、填报、校验等业务流程，该层主要包括六大模块，主要包括报送管理、指标管理、数据分析、行内报表、统计管理、系统管理与监控。

数据加工层：提供数据的存储、加工、调度等后端数据服务，该层主要包含调度平台、指标体系、数据模型和历史数据归档。其中调度平台负责提供各种数据任务的调度服务；指标体系和数据模型为系统提供数据的数据模型和数据指标体系；历史数据归档负责存储所有的历史数据。

源数据层：负责接受和存储数据整合平台推送过来的源数据文件，并将源数据文件加载至数据库中。

四、项目过程管理

山东农信于2022年10月启动统计数据管理报送系统项目，2023年9月完成上线运行。

五、运营情况

在系统建设中重点提升监管报送数据的取值准确性、完整性、规范性，持续完善监管数据集市建设的同时，对基层人员反馈较多的临时报表、数据分析占用时间长的问题予以重点关注，纳入系统功能实现模块。系统上线后进一步提升监管报送数据系统自动取值率，监测指标数据偏离度，并推动问题整改，同时，基于行内报表、数据分析模块相关功能有效减轻基层统计人员工作负担。

六、项目成效

通过统计数据报送管理系统建设，全面提升山东农信1104非现场监管统计和金融统计数据的加工及报送功能。借助先进的前端功能组件，实现报表查看、数据统一补录、跨系统校验和按加工流程追溯等功能，完善数据报送流程，协助业务人员核对数据，提升数据质量。借助行列混合数据结构的分布式数据库，搭建高效稳定的监管数据集市，提升数据加工处理性能，并保证与其他监管报送系统的数据一致性，全面提升山东农信数据报送用户体验及报送数据质量，具体运行效果如下：

1.开启监管数据报送的新服务模式

系统依托报表查看、数据统一补录、跨系统校验和按加工流程追溯等功能,完善了数据报送流程，为业务人员提供了业务数据参考及数据核对的方法与手段。通过指标库管理、数据分析、报表灵活定制、统计工作管理等功能进一步满足了山东农信特殊化的报表定制和数据分析等其他数据需求，作为数据报送工作的重要补充，开启了山东农信数据报送的新服务模式。

2.采用先进数据模型，全面提升数据报送质量

系统依托统一、规范、先进的数据架构和数据加工模型，实现各监管报送模块的底层数据的统一，构建统一监管指标框架及模型，实现监管数据口径一致性，便于监管数据的查看和管理，并支持后期灵活的扩展。保证了各个监管部门报送数据指标的一致性，满足监管部门之间数据核对与检查的要求。

3.满足多法人、多层级机构关系的数据采集与报送

系统支持山东农信多法人的管理模式，满足省级、市级、农商行级、支行级等不同层级机构的数据采集、汇总统计、总分校验、逻辑校验、分级报送的功能需求，支持集中报送或具有独立报送资格的法人机构单独报送。

4.提升数据加工计算服务能力—实现即看即报

系统依托国际国内先进的行列混合存储结构的分布式数据计算引擎，极大提升数据加工计算服务能力，实现业务人员上班即可看到报送数据并进行报送的工作流程。

七、经验总结

山东农信统计数据管理报送系统建设，对以往1104非现场统计及人行金融统计的建设及报送经验进行了梳理整合，提升了统计数据报送的准确性和效率，进一步减轻了基层统计人员工作负担。下一步，山东农信将持续推进监管数据集市建设，推进EAST系统、金融基础数据统计报送系统、客户风险统计报送系统、广义信贷标准化统计报送系统迁移，实现监管报送数据的同标同源，提升报送数据质量。同时加强对相关功能开发，推进监管报送数据在行内的深度应用。