本文来源于:鑫智奖·2025第七届金融数据智能优秀解决方案评选,作者:瑞数信息
瑞数信息:分布式数据库备份归档解决方案
2025-02-21 关键词:数据库,分布式,自动化
3223
一、解决方案简介
本方案针对银行业在严格的监管要求之下,需要长期保存交易记录、客户信息及其他关键数据的情境,利用备份数据的分钟级挂载恢复能力,实现逻辑表的自动化抽取,并以通用格式将数据存储在数据湖中,以供长期历史保留。长期归档的数据能够在未来20年甚至更长时间内直接查看或使用,而无需依赖原始数据来源的数据库类型或当时归档的备份系统。
二、应用场景痛点简介
当前,银行核心交易型分布式数据库的数据归档方式通常采用备份归档至磁带的方式进行长期保留。其主要流程包括:通过数据库自带的备份工具将分布式数据库的数据备份至NAS(网络附属存储),再通过第三方备份系统将NAS中的全量数据备份至物理磁带库。然而,这种方式存在诸多问题和挑战:
全量全库归档时间长:分布式数据库数据量越大,归档整个数据库需要耗费大量时间。
磁带资源消耗大:需要大量的物理磁带进行数据存储。
访问归档数据复杂且效率低:20年后如需访问归档数据,必须依赖原有备份系统,并将数据恢复至原有分布式数据库才能使用,操作复杂且效率低下。
磁带介质更新换代快:磁带技术的快速更新换代导致运维成本高。
保存环境要求高:磁带对保存环境有较高要求,增加了管理难度。
长期归档数据恢复失败风险:长期保存的磁带数据存在恢复失败的风险。
使用和合规检测难度大:对归档数据的使用和合规检测带来一定的难度和风险。
为解决这些问题,瑞数信息提出了分布式数据库表级去平台化归档解决方案,其核心目标是满足长期归档数据的使用和合规要求,将归档数据以通用格式存储在分布式数据湖中,无需依赖特定的分布式数据库或备份系统,能够在任何时间直接查看和使用,同时通过表级归档和自动化流程优化提高归档效率,降低人工运维及存储成本,减少磁带资源依赖,增强数据的可用性和合规性,为长期数据保留提供可靠保障。

三、解决方案亮点介绍
1.分布式数据库备份特点
①快速备份
分布式数据库的数据量大且分散于不同节点,若运用传统周期性备份法,不但耗时久,还会给生产造成极大影响。而分布式数据库备份归档解决方案则可有效应对这一难题,它采用一次全备份、永久增量合成的方式,既能大幅提升备份效率,又能减少网络以及客户端服务器的资源消耗,切实解决分布式数据库因数据量大导致备份效率低下的问题。
②快速恢复
备份数据会以原始数据格式存储于备份存储池内,并借助快照技术来实现数据的虚拟化管理。在此基础上,备份数据以基于时间点的快照副本形式,直接挂载至目标服务器。可实现基于任意时间点的分钟级快速恢复,能够迅速解决逻辑故障,为业务连续性提供坚实保障。
③全局事务一致性恢复
分布式数据库备份,需满足全局事务一致性保护要求,分布式数据库备份归档解决方案内置数据一致性校验机制,确保分布式数据库备份的一致性,通过收集全局事务日志和数据库层日志进行计算和处理,实现基于任意时间全局事务一致性恢复能力。
2.归档数据去平台化特点
①表级数据精准归档
针对分布式数据库数据量庞大的特点,创新采用表级精准归档策略,突破传统全库归档模式的局限性。支持基于业务重要程度、数据访问频率、合规要求等制定灵活的归档策略,实现按逻辑表精细化归档。
②归档数据去平台化
将归档数据以通用格式存储在分布式数据湖中,历史归档数据无需依赖原有分布式数据库系统、无需依赖原始备份系统进行恢复,确保数据在任何时间都能直接查看和使用,提升数据的独立性和可用性。

3.提升效率、降低成本
①提升数据归档效率
数据备份和表级归档方式,在备份方式上面不仅可以降低周期性全量备份带来的备份时间长、资源消耗大的问题,还能减少对生产系统的资源占用影响。同时根据表级归档策略,减少日常归档的数据量,加快数据归档的效率。
②降低长期存储成本与风险
定制化表级归档方式,可降低对归档存储空间的消耗,通过创新使用分布式数据湖存储架构,不仅满足数据归档的可靠性,同时也显著降低对传统磁带存储的依赖,避免磁带介质更新换代带来的高额运维成本和数据恢复风险。
瑞数信息为银行数据管理搭建以下能力:
1.数据生命周期管理能力
通过建立完整的数据归档框架,实现按表粒度的精准归档管理,确保数据在整个生命周期中的可追溯性和完整性。方案支持定制化的归档策略,建立数据质量控制机制,保证归档过程中的数据一致性,并通过全面的合规审计体系,满足监管要求。
2.技术架构能力
采用现代化分布式架构,构建高性能、可扩展的数据处理体系。通过数据湖技术实现统一存储,支持多种数据格式和处理模式。去平台化设计确保数据可在不同系统间灵活迁移和访问,突破传统架构局限,提供更高效的数据服务能力。
3.运维管理能力
打造智能化运维体系,实现归档流程的自动化管理。通过监控预警机制,及时发现和处理潜在问题。建立完善的运维管理流程,优化资源配置,提高系统稳定性和可靠性,降低人工干预需求。
4.数据服务能力
提供灵活多样的数据访问接口,支持实时查询和历史数据快速检索。通过标准化的数据服务层,满足不同业务场景的数据需求。支持多维度数据分析,为业务决策提供数据支持,提升数据价值。
5.风险控制能力
构建全方位的数据安全防护体系,包括访问控制、加密保护、审计跟踪等机制。建立细粒度的权限管理,确保数据访问的安全性。通过合规检查和风险评估,防范数据安全风险,保护银行核心数据资产。
6.成本优化能力
通过智能化管理和资源优化,显著降低存储成本和运维投入。减少对传统磁带存储的依赖,优化人力资源配置,提高运营效率。通过总拥有成本(TCO)的系统性管理,实现长期成本收益的最优平衡。
这六大能力的有机结合,为银行构建了一个高效、安全、经济的长期数据管理体系,有效解决了传统归档方案面临的各种挑战,为银行数字化转型提供坚实支撑。该方案不仅满足当前业务需求,还具备面向未来的可扩展性,能够持续适应银行业务发展和技术演进的需要。
四、金融行业客户名单
某股份制商业银行。
五、客户评价
该股份制商业银行数据中心评价:
瑞数分布式数据库表级去平台化归档解决方案创新性地解决了银行长期困扰的数据归档难题。方案不仅在技术层面实现突破,通过表级精准归档和去平台化设计显著提升了效率,还从根本上解决了传统磁带归档方式带来的各种痛点。实施后,数据调用更便捷、存储成本大幅降低、运维更简单,完全满足了监管合规要求。特别值得称赞的是,方案的长期价值突出,为银行未来的数据治理奠定了坚实基础。总体而言,这是一个技术先进、实用性强、具有显著投资回报的创新解决方案。
本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】。
推荐阅读
更多
股份制银行数字化审计平台建设
充分考虑了现代商业银行审计业务面临的主要问题,建立了一个覆盖银行全业务范围,集风险识别、评价、控制于一体的综合系统。基于统一的数据库和灵活的监测、计量模型,精准识别每一个疑点数据,采用非现场与现场相结合的方式,精确计算各机构、业务品种风险水平,全面提高银行内部审计质量和效率,具备标准、共享的自主建模,丰富、便捷的场景查证,多维、智能的预警监测,专业、智能的智审工具。
领雁科技
领雁科技
2025-02-21
长亮科技:分布式银行核心系统解决方案
长亮分布式核心系统采用全新的“微服务+单元化”架构,支持服务的灵活组合部署和单元化的无限动态扩容,满足银行未来业务发展的爆发性增长需求,具备开发、业务及技术敏捷能力,能够有效支撑业务的快速创新。
2024年“鑫智奖”第六届金融数据智能优秀解决方案评选
长亮科技
2025-02-21
陕西农信:基于自主可控技术的中小银行软件自动化测试体系建设探索
基于银行软件全流程自动化测试驱动的管理理念,自动化测试平台以Robot Framework、Jenkins和测试管理平台(以下简称CTP)为核心,通过集成测试管理平台、代码开发平台、代码管理库、测试任务调度平台、执行机集群,实现从测试需求-案例开发、案例开发-案例执行、案例执行-报告展示流程的结合,流程引擎高效运转,完成24小时无人值守测试工作,为提高回归测试效率、解放手工测试、提升测试质效提供了有力支撑。
2022年第六届农村中小金融机构科技创新优秀案例评选
陕西农信
2025-02-21
重庆农商行:分布式信用卡核心建设及异构数据平滑迁移项目
项目主要采用分布式微服务技术和异构数据平滑迁移技术。分布式微服务技术方面,主要是通过领域驱动设计(DDD)方法,将原单体应用按照业务模块进行拆解,形成高内聚、低耦合、规模适中的自治微服务。在数据层面,采用分区多活架构设计,数据组织方式从原有以机构维度为主的集中式转变为以客户为主的单元化多分片式,通过分布式数据库支撑上层微服务应用单元化能力。最后通过云原生容器环境,实现了应用全面上云;异构数据平滑迁移技术方面,基于自研异构数据迁移平台,包含去Oracle改造开发、数据技术开发、业务改造开发、架构设计、测试联调等五个模块,建立“人员-规则-工具”的闭环,确保数据迁移高效,业务无感知。
2024年度全国农村金融机构科技创新优秀案例评选
重庆农商行
2025-02-21
晋商银行:新一代手机银行项目
晋商银行新一代手机银行采用分布式微服务,实现了前端动态化楼层管理,以及服务端架构升级的方式,支持按不同用户级进行灰度发布等。从功能布局、视觉感官、流程交互等方面进行深度设计改造,围绕用户财富旅程,对存款、理财、基金等产品进行流程重塑。构建起APP+网点+远程的同源、同频全渠道协同服务体系。打造具备特色生态基因的数字化手机银行App,完成了旅程重构、特色金融、场景生态、协同经营、安全守护五大方面的变革升级。
2023年度城市金融服务优秀案例评选
晋商银行
2025-02-21
安徽农信:自动化测试平台
自动化测试平台具有执行效率高、案例复用率高、错峰自动执行等优点,利用自动化测试技术替代部分手工测试工作,有效开展回归测试和影响性测试,提高测试团队的执行速度和交付能力,加快信息科技项目建设进度;同时,由于自动化测试从执行到结果保存和比对都是自动执行的,可以有效的避免手工提交出现的“点错”、“看错”等问题;自动化测试确保每次测试的执行内容和测试结果相一致,也进一步提升测试结论的可靠性。
2022年第六届农村中小金融机构科技创新优秀案例评选
安徽农信
2025-02-21
微信
咨询
微信咨询
扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构