一、项目背景及目标

1.项目背景

近年来，金融行业实施金融科技战略，利用科技赋能运营转型与商业模式创新，实现渠道、产品服务、客户体验等全方位的数字化转型。尤其是随着人工智能、物联网、大数据、云等技术和应用的深入发展，人们对金融服务的需求更加多元化，愈发聚焦在数字渠道。与此同时，随着“新基建”浪潮的不断推进，金融行业的数字化转型已成必然趋势。在此背景下，作为承载数据和计算的传统数据中心面临能耗高、可靠性、安全性以及运维复杂等巨大挑战，亟待变革。

随着金融监管的不断健全，同城灾备、两地三中心以及多数据中心正在成为金融机构保障业务连续性的标配。正常情况下，主中心和备中心各司其职，当灾难发生，主数据中心不可用时，灾备数据中心可以快速恢复业务应用和数据，减轻灾难带给用户的损失。但是，灾备中心的建设和运维成本巨大，如果不能充分利用，容易成为“空转”数据中心，造成企业的资源闲置，金融机构数据中心建设面临着提升企业核心应用的效率，盘活现有资源的新挑战。另外，随着互联网金融以其雄厚的IT技术与多样化的应用不断向传统金融行业渗透，谁能提供更优质的服务，谁才能在竞争中获得优胜。因此，7*24全天业务连续运营越来越成为优质核心业务的关键保障，对RTO和RPO的追求也越来越趋于极限0。

双活数据中心，甚至两地三中心的多活架构，不仅可以更高效的使用资源提高投资回报率，更可以在主数据中心的系统计划内或计划外需要进行系统维护时，真正达到分钟级的业务全面切换、甚至是“一键切换”，实现业务的高可用、高可靠。

湖北省消费金融通过“湖北省消费金融灾备咨询项目”，引入具有同行业丰富咨询、规划、实施经验的咨询单位，在充分调研IT基础架构的基础上，进行科学的需求分析，并结合业内较为先进的咨询规划、实施案例、佳实践，制定可落地并适用于湖北省消费金融两地三中心运行模式下的IT基础架构、灾难恢复体系、同城应用双活业务及技术规划，并据此规划架构给出湖北省消费金融两地三中心建设所需的各类项目群建设细化方案，以及应用系统迁移、IT设备搬迁方案相关建议。

2.项目目标

①启动同城容灾

启动同城容灾建设，根据RTO/RPO容灾目标完成真实业务切换；

完成监管评级整改清零任务。

②完善异地备份

升级异地容灾设备，优化异地管理策略，提升运维效率；

补充异地容灾资源池，保障数据级容灾能够覆盖更多的业务系统。

③测试本地化

利旧当前服务器资源，启动本地测试资源池建设工作；

逐步将测试环境下迁至本地，节省科技投入成本。

④应用同城双活部署

依托同城双活的基础底座建设，完成应用同城双活的部署，进一步完善业务连续性的目标。

二、创新点

1.相应监管号召，积极靠拢信创

我司在两地三中心同城双活建设中，积极相应监管号召，向信创靠拢，采购对应用系统影响非常小的存储和网络信创设备，快速分步骤的对接整个信创生态，为后期的全面信创化，奠定了相关的技术基础。

2.创新方案，建设高效

虽然我司双活基础架构采用的是同业成熟的技术，但整个方案根据我司的特点进行了优化，常规银行类系统的灾备中心建设一般为3年左右的建设周期，我司根据自身的特点，由常态的化的三年建成，改为一年见效，整个建设周期为仅仅不到2个月，迅速的搭建好了我司两地三中心的基础容灾架构，同时为未来分步骤健全容灾体系奠定了坚实的基础。真正做到基础支持应用，应用赋能业务。

3.平滑过渡，减少生产活动影响

从单中心到灾备中心甚至同城双活数据中心建设的平滑过渡是非常重要的过程，因为这涉及到业务系统的稳定性、可靠性和性能稳定，因此整个过程需要考虑业务系统影响小，快速上线的特点，我司采取以下两种方式进行逐步迁移过渡。

①逐步迁移

我司根据应用的分级分类，逐步按照时间规划进行有序的迁移，保障应用影响是单一的可控的。

②灰度发布

单一应用系统转换成同城容灾或则双活的方式采取灰度发布的方式，及应用采取克隆，新部署或则数据库主从的方式逐步建立备用应用和备用数据库，整个转换的过程仅需要少量的时间进行切换。保障了应用系统切换容灾方式的影响性小。

4.低碳环保

我们倡导低碳环保理念，通过引入绿色存储技术和节能减排措施，降低能源消耗和碳排放，提高存储效率，实现可持续发展。

5.优化数据存储管理

以分布式存储技术为基础，建立横向扩展、容量线性增长的集中式存储管理系统，同时通过存储灾备功能实现数据的复制和恢复，并引入数据压缩、重复数据删除等技术，提高存储效率和管理水平。

关于存储远程复制采用以下技术：

基于日志的镜像：例如，在Ceph存储系统中，RBD mirroring通过排他锁以及journaling特性来记录对镜像所有的改动，实现集群间的crash-consistent的镜像复制。这种方式可以确保在故障发生时，辅助系统能够获得一个一致的数据状态。 

与快照结合：可以对主系统进行周期性快照，并将其连同复制的数据发送到辅助系统。这些快照提供了数据的时间点视图，可用于从数据损坏或其他问题中进行恢复。 

6.强化数据安全管理

坚持以数据安全为核心，严格落实数据安全制度和措施，加强数据的加密、访问控制、安全审计等手段，确保数据在存储和迁移过程中不被非法访问和篡改。

四、项目技术方案

1.总体架构描述    

在技术架构选择上，参考同业实践，计划采用业界成熟的“同城双活+异地备份两地三中心”灾备架构进行规划建设。按照湖北消费金融对于容灾体系的整体规划，整个项目的建设拟按照三个阶段进行实施：

（1）“同城双活+异地备份两地三中心”建设，搭建存储复制+应用级容灾体系底座，实现试点系统的真实业务切换。已与2024年2月完成；

（2）利用新建重要系统契机，基于*****阶段容灾底座，完善同城双活容灾机制，提升重要系统同城双活的容灾能力，持续扩大容灾保障范围。计划2024年底完成；

（3）数据中心虚拟化底座升级，为未来金融云数据中心建设奠定基础；终完成新一代数据中心及容灾能力建设满足金融行业监管要求，同时实现湖北消费金融科技能力建设和数字化转型的目标。计划2025-2026年完成

具体两地三中心的总体规划架构图如下：

2.*****阶段：利用成熟技术，快速构建容灾底层机制，实现重要系统容灾要求

*****阶段同城数据中心建设，在底层物理硬件方面，将多台物理服务器统一纳入资源池管理，其他配套交换机、负载均衡设备也采用多节点冗余架构，可保障业务系统的稳定运行。同时，采用基于集群的集中化管理，底层的多节点资源可提高设备的高可用性，当服务器发生故障的时候，受影响的虚拟机可以自动漂移到集群中的其它服务器，达到不间断业务的目的。本次所使用的虚拟化技术，能够使不同服务器之间的计算，存储、网络资源进行动态的平滑迁移，大幅提高系统可用性。

此阶段的容灾方法将采用存储复制+虚拟机手工恢复的容灾技术: 在主数据中心与备数据中心分别部署一套虚拟化环境，同时业务网络二层打通，通过手工分配静态IP地址保证网络不冲突；虚拟机数据通过存储异步复制的能力，实现数据的同步；当主数据中心发生故障时，在灾备数据中心手工恢复业务虚拟机，提供业务访问。在*****阶段，选取2套重要业务系统（总账系统和征信查询系统）进行灾备切换演练试点。实现总账系统、征信查询系统同城容灾并完成灾切演练，确保2套试点业务系统满足监管要求。

另外，同步完善异地备份能力，在上海异地灾备中心新增容灾设备，补充异地容灾资源池，将原有备份的能力提升到容灾接管的能力，优化异地管理策略，全面提升异地数据级容灾能力，实现两地三中心容灾架构。

3.第二阶段：完善同城双活容灾机制，提升重要系统同城双活容灾能力，持续扩大容灾保障范围

依托*****阶段总账系统和征信查询系统灾备切换演练的经验，持续扩大应用容灾规模，加快A类和B类业务系统的容灾等级建设，加入容灾自动切换、监控等工具，拟将今年科技规划中新增的业务中台、智能客服、催收等系统部署在同城灾备中心，实现同城双活机制；同时考虑到A类业务系统应用级容灾的RPO和RTO要求，以及国产化产品的试点应用，依托*****阶段灾备建设基础，计划在现有虚拟化平台上扩容计算和存储资源，拟采用GSLB+存储双活的技术升级现有的灾备能力，构建真正的同城双活能力，保障两个中心的应用容灾拥有更低的切换时延，两中心之间实现无缝切换，确保更好的业务连续性：在业务访问层，新采购GSLB全局负载均衡设备，通过DNS+GSLB实现跨数据中心负载均衡访问和实现自动切换，实现访问接入层双活；在处理业务逻辑的应用层，两个数据中心分别建设SLB和WEB/APP应用集群，实现业务处理的应用层双活，同时数据库数据通过数据库自身的主从特性，实现数据的异步同步，保障数据的一致性，确保数据不丢失，实现RPO约等于0。当主数据中心发生故障时，通过GSLB自动将业务访问的流量从主数据中心切换至同城灾备数据中心，业务自动倒换，上层无感知。

另外，同步加强灾备数据中心网络安全能力，新增网络和安全设备，在同城灾备中心新建互联网接入区，外联接入区和广域网区，实现外网接入和生产业务的隔离，并通过防火墙设置严格的安全规则和访问策略，打造以数据驱动为基础、以安全运营为手段、以安全防护设施为抓手、以态势感知为支撑、以安全人员为核心，以协同联动为特征的安全管理中心，有效地将全公司的安全风险控制在合理的区间内，掌控全局信息安全态势，为湖北消费金融的业务发展保驾护航。

4.第三阶段：云化改造，虚拟化平台升级

金融科技发展迅速，以大数据、人工智能、云计算、物联网、区块链为代表的新一代信息技术在金融业加速突破应用，全面渗透至诸多金融领域。基于行业发展趋势和湖北消费金融业务特点，聚焦“一线一带”、“互联网+”、“智能科技”三大战略，加速数字化转型进程，计划在2025年对现有虚拟化底座平台进行云化升级，采用轻量化云的架构构筑湖北消费金融数字化底座，在*****阶段建设的虚拟化底座上，叠加数据中心虚拟化管理平台，提供不同地域下的多个站点的计算、存储、网络资源统一管理和运维；提供集中告警、统一监控、运维可视化、操作运维中心、日志中心等功能模块，支撑日常运维、系统变更、运营分析等运维业务场景；提供租户管理，配额管理，流程审批，以及普通租户的资源的自助申请和管理，实现多个数据中心，多类型资源池，多类型云服务的集中运营管理；并对已有异构虚拟化资源池实现纳管，通过统一管理、统一资源调度，完成一朵云的统一运营和运维。

五、项目过程管理

1.前期准备工作：首先需要收集和整理消费金融现有的应用和业务情况，分析应用与应用之间的关联关系，分析各类应用所需要的各类资源，以及分析应用对于灾备等级的需求，明确项目的目标和实施范围。同时，还需要制定项目计划，包括时间表、资源分配和风险管理等方面。

2.设计与实施：根据前期准备工作，开始进行系统设计和实施。具体包括：架构设计、技术选型、产品选择、数据迁移计划、系统集成测试等环节。

3.项目管理：在项目实施过程中，需要进行严格的项目管理，包括进度控制、质量控制、风险管理等方面。同时还需要协调消费金融内部各个部门和外部供应商之间的关系，确保项目顺利进行。

4.迁移与演练：原有系统的业务数据迁移到新存储中，同时进行容灾切换演练和验收，确保在允许的时间内，完成灾备切换。

5.后期维护与优化：系统上线后，还需要进行后期维护和优化，包括系统监控、故障排除、性能优化等方面。同时还需要及时跟进新技术发展，不断对系统进行升级和改进，以满足消费金融不断发展的业务需求。

六、运营情况

通过湖北消费中心双活数据中心的建设实践，我们充分展现了湖北消费金融在技术领域的深厚实力。目前公司已成功部署了两套业务系统，且在预定的灾备时间指标内，顺利完成了灾备切换演练，从而有效确保了应用系统的高度可靠性和可用性。

在此次项目建设中，我们对数据中心的各项关键指标进行了全面优化，包括但不限于机柜配置、上架率、电源使用效率（PUE）、软硬件国产化率以及电力成本等。这些优化措施不仅促进了公司数据中心的稳定运营，同时也为未来三到五年的数据中心建设规划奠定了坚实基础。

确保数据中心拥有完备的机房建设和网络设备，以保障数据中心的稳定运行。 提供高性能的计算服务器以满足客户对计算资源的需求，并配备高效的存储设备以保障数据的安全存储和快速访问。

遵守相关法律法规，对数据进行合规存储和管理，以确保数据的合法性和安全性。 

七、项目成效

当前我司已实施了两地三中心双活数据中心建设的1期建设，总账和二代征信查询系统已实现同城容灾，同时在1季度实现以上2套系统的同城容灾切换，整个切换过程顺利平滑，且RTO控制在20分钟以内，为我司2期建设打下了坚实的基础。

我司二期正在建设中，年底建设完成后，应用将双中心部署，从而大程度保障业务连续性。

八、经验总结

同城双活数据中心基础建设是一个复杂而又充满挑战性性的工作，整个设计过程不仅要考虑基础环境的可用性，稳定性，高效性，安全性，同时也需要考虑应用设计的适配性，总结我司1,2期建设过程中以下几点经验，供同业参考。

1.技术方案的适配性

作为消费金融行业的企业，我们的应用架构随着业务的不断发展而不断变化。目前，我们主要采用微服务架构，因此我们同城数据中心的基础建设必须与业务发展需求相匹配。同时，我们也要考虑到应用技术架构的变化。因此，我们的同城数据中心建设必须能够有效地适应应用架构的变化，并且要快速实施，以提高我们整体动态建设的效率和性价比。

2.逐步信创靠拢，后期全面对接信创生态

作为金融行业，信创是一个不可避免的问题，也是增强数据中心的自主可控能力，降低对外部供应商的依赖程度的有效途径，我司从采购对应用系统影响较小的存储和网络基础架构产品着手，快速接入信创，再逐步的向操作系统，数据库，中间件等信创软硬件靠拢，分批次的逐步的全面融入信创生态。

3.建设高效，提前规划，严格控制管理

我司整个同城双活数据中心的容灾建设，从采购到实施上线耗时不到两月，建设如此高效离不开前期的合理咨询规划，同时离不开我司有效的控制管理，我司采用敏捷开发的管理方法，将建设过程以敏捷项目形式管理，分解各个任务，责任到人，实现快速上线，快速迭代，从而保障整个项目的快速落地。

4.网络延迟和流量控制

同城双活环境中，不同数据中心之间的网络延迟和流量控制是一个重要的问题，需要考虑如何降低延迟、优化网络结构，以及如何有效地控制流量，此外双中心之间的连接必须考虑高可用性，否则由于意外中断可能导致无法估计的问题。

5.监控和调优

对于双活基础环境，需要建立完善的监控系统，实时监测系统运行状态，及时发现并解决问题。同时，还需要不断进行调优，以提高系统的性能和稳定性。