一、项目背景及目标

1.项目背景

随着银行业数字化转型的深入开展，内部精细化管理和外部监管监督均对数据质量提出了更高要求。高质量的数据是银行数字化转型的基础，也是提升银行经营管理效率、优化业务决策、增强竞争力的有力支撑。《银行业金融机构数据治理指引》等政策明确要求金融机构提升数据治理能力，提升数据准确性、完整性和及时性，同时近年来监管数据质量监管趋严，错误数据可能导致银行面临巨额罚单，亟须建设数据质量校验工具，开展常态化数据监测监控和交叉验证，提升全行数据质量水平，降低监管合规风险，用数据赋能业务发展。

2.项目核心目标

晋商银行数据质量检核平台项目的核心目标：一是做好EAST、1104、客户风险报送等各类监管报送数据的异常监测预警，问题早发现、早处置，实现监管数据真实性、准确性、及时性、完整性等数据质量关键指标提升；二是依托检核平台定期监测重点领域、重要集市的数据质量情况，既针对共性基础数据开展各类质量监测，同时解决基于单一系统难以开展的系统、跨业务数据质量问题；三是建立覆盖数据质量规则定义、问题监控、整改督办、效果评估的数据质量闭环管理流程，通过数据质量透明化、可视化看板，提升全行数据意识和质量水平，为监管统计、风控模型、客户画像等业务发展及创新提供可信数据支持，推动业务与技术的深度融合。

二、创新点

1.打造全行级数据质量管控平台

数据质量检核平台建立全行级数据质量检核规则库，覆盖监管报送、业务经营、风险管理等主要领域数据，通过规则监控、问题溯源、评估整改进行数据质量的全流程闭环管控，定期发布数据质量报告，全面展现质量问题整改情况，督促质量问题及时解决。

2.实现数据质量分层管控

数据质量检核平台利用MPP分布式框架提高校验性能,支持对不同数据源的明细数据、指标数据等高效校验,实现对源头业务数据、监管集市数据、最终报送数据的分层、分类、全面数据质量校验，满足不同监管主体间同类型监管数据指标汇总和明细、明细数据项和明细数据项的横向一致性自动校验，从源头到报送端全面提高数据质量。

3.实现数据确责和系统确责双轨并行

将“业务数据责任制”数据归属原则固化于数据质量检核平台中，实现了数据确责在表级、字段级的灵活配置，数据校验中发现的数据质量问题，系统会根据预设的数据认责机制自动高效地分配至相应的责任人，不仅提高了数据管理的效率和精确度，更强化了数据安全性和操作的规范性，为数据在全行共享共用奠定坚实基础。

图1：数据质量分层管控

三、项目技术方案

1.技术架构说明

综合考虑我行数据系统架构、需求紧迫性、开发成本等因素，数据质量检核平台基于现有国产化Mogdb和Gbase8a进行建设，方案具有建设周期短、成本低、易维护等特点，可实现从数据源头到数据应用全流程的数据质量管控。

图2：技术架构

2.业务模式说明

晋商银行依托数据质量检核平台，形成制定、检核、分析、督办、整改、控制数据质量闭环管理（图3），有效打通监管数据治理各个环节。

图3：数据质量闭环管理

数据质量检核平台包括检核规则配置、检核任务管理、数据质量问题管理、数据质量监控统计、数据链路分析、数据认责管理、数据问题流转分配和流程设计等功能模块。数据检核规则涵盖了数据空值校验、码值校验、格式校验、一致性校验、关联性校验、业务逻辑校验等维度，支持对不同数据源的明细数据进行校验,从源头提高数据质量，规则引擎能够记录不同版本的检核规则，有效沉淀为数据资产。检核任务管理根据不同的监管机构、数据报送模块、报送频率和检核需求，灵活配置检核数据源、规则维度、任务频度、评分权重等针对性进行数据质量监测和预警；智能监控校验性能，按规则逐项监测任务运行耗时，便于运维人员准确定位、分析并及时优化校验性能，提升校验效率。

图4：数据检核规则

图5：检核规则性能分析

数据认责模块通过数据认责引擎,将行内数据认责管理体系固化于系统，配置数据主责部门和协办部门，实现校验结果中数据问题的责任主体智能判定、问题工单流转派发及改善建议自动化匹配等。数据质量报告通过报告引擎,根据系统(源系统或数据应用系统)、业务部门、数据机构等维度，以图文报告形式生成质量统计分析报告。数据质量跟踪督办从问题发现、流转派发、根因分析、数据整改到验证实现数据质量全流程闭环管理和可视化监督,对于超期未完成的质量工单下发督办任务，进一步压实数据管理部门、业务部门、科技部门及分支机构责任；通过个性化流程配置及灵活性用户权限管理，数据管理流程可随着管理制度、组织架构的变更而变更，做到快速协同反应。

图6：数据认责

图7：数据质量报告（节选）

图8：数据质量跟踪督办

四、项目过程管理

晋商银行数据质量校验系统是提升全行数据治理能力、保障数据可靠性的核心项目，项目于2023年12月启动，2024年5月实现上线运行，实施周期为6个月。

需求定义阶段：业务需求分析、软件规划等，2个月；

开发阶段：系统设计、系统开发、技术验证等，2个月；

测试阶段：系统集成测试、用户验收测试，1.5个月；

上线阶段：部署、上线、投产验证等，0.5个月。

五、运营情况

晋商银行数据质量校验系统已平稳运行约1年，检核规则库更新可及时适应业务变化和监管新规，系统用户覆盖全行监管统计报送人员及数据质量管理人员，通过“试点应用-全面推广-智能化运行”实现数据从“被动整改”到“主动预防”转型；解决数据质量孤岛式管理模式，提升业务与技术部门协同能力，提升问题数据根因追溯响应时间，打破依赖人工抽查发现问题整改滞后的困境，数据问题解决效率提升80%，监管数据质量水平提升75%。

六、项目成效

我行通过建设数据质量检核平台，建立了全行级数据质量检核规则库，通过数据确责和系统确责双轨并行，实现了数据质量的自动探查、问题智能分配、责任到人、全流程跟踪闭环管理，全面提升了全行数据治理和数据质量水平，具体成效如下：

1.解决数据问题“发现难”，有效满足监管合规要求

数据质量检核平台作为全行级质量管控平台，检核规则覆盖全行业务条线、管理条线和EAST、1104、客户风险报送等主要监管统计数据，满足跨系统、跨数据源数据质量监测核验，通过对不同监管统计报送数据表内、表间、系统间、报送模块间的数据核验，从数据异常性分析、数据合规化审计、数据标准落实、数据业务含义自洽性校验、数据分类及标记等多个方面进行质量探查和异常数据告警通知，快捷高效地满足逐渐严格化、细致化、准确化、及时化的监管数据要求，保障监管统计数据真实准确、高质高效。

2.解决跨部门治理“协同难”，大幅提升数据治理成效

数据质量检核平台实现了表级、字段级数据认责配置，数据确责和系统确责双轨并行，实现数据审核权限的自动化精准匹配和数据质量问题的自动化高效分配、责任到人，处理进度全流程可视化展示，有效减少线下跨部门间不必要的沟通协调和推诿扯皮，有力推动了监管数据治理工作进展，问题处理周期缩短60%，问题解决效率提升80%，全行数据质量水平提升75%。

3.解决金融数据“应用难”，有力推动数据价值释放

数据质量检核平台以监管数据合规性为切入点，依据监管数据强制性要求且覆盖银行业金融机构所有业务数据的工作特性，从监管数据治理反推源头数据质量提升，构筑全行数据质量管理“事前事中事后”三道防线，在满足监管合规要求的同时，打通业务数据壁垒，推动数据从“合规达标”向“价值赋能”跃升，实现对全行合规风险管理、精准营销、产品创新等业务场景的深度赋能。

七、经验总结

随着金融业数字化转型的加速，数据已经成为驱动业务发展的关键因素，提质增效、科技赋能业务已经成为金融行业的共识。数据质量治理是一项“技术为基、管理为魂”的长期工程，既要充分利用先进技术工具搭建坚实的技术底座，更要持续优化银行治理架构、制度体系和管理流程，把制度建在流程上、流程建在系统上，建立“数据质量人人有责”的治理文化，用好系统、用活系统，才能真正实现数据质量的实质提升和业务赋能。未来，晋商银行将持续完善“规则驱动+流程闭环+全员参与”的治理模式，筑牢银行数字化转型的数据基石，为全行高质量发展赋能增效。