一、项目背景

2018年11月，湖南农信新一代生产系统由星沙数据中心整体迁移到洋湖数据中心，并将星沙数据中心改造为同城应用级灾备中心，与北京农信银异地灾备形成“两地三中心”灾备体系，业务和数据安全有了基本保障。近年，随着金融业务数字化、线上化水平的提升，客户和业务部门对于业务中断容忍度不断降低，监管对于业务连续性要求日益提高。但是，我社在面临灾难场景进行灾备切换时仍面临较大困难，主要体现在灾备体系架构不够完善，切换流程手册不清晰，大量的操作步骤需要手工执行，切换时间长且风险大。为了解决上述问题，切实提高信息系统灾难恢复能力和业务连续性水平，2020年7月湖南农信启动了容灾切换管理平台建设项目。该项目主要是通过进一步规划与完善现有“两地三中心”灾备体系，搭建“标准化、流程化、自动化”的容灾切换管理平台来管理和控制灾备切换演练，实现灾备切换由手工切换向自动化切换转变，减少切换风险，满足监管合规要求。

1.项目方案

1.1.产品简介

本容灾切换管理平台是集切换演练管理、容灾切换、多维展示等多种功能于一体的综合性容灾切换管理软件。平台可以实现省市县三级应急组织架构的管理，统一的指挥调度功能，灵活角色设置和安全的权限管控，预案的集中管控与分发，业务系统分类评级、知识库管理等功能；它可对生产和灾备资源、基础软件、业务系统状态等进行实时监控与管理；它可实现灵活切换演练管理，支持任务步骤串行、并行、合并等复杂依赖关系的配置，支持步骤的暂停、跳过、恢复、停止等各种执行动作，可通过拖拉拽方式将容灾切步骤进行流程化配置，实现单系统、系统群“一键式”容灾切换；平台配置了多种大屏展示方式，实现容灾切换过程可视化，让人对切换过程一目了然。

1.2.逻辑架构简介

湖南农信容灾切换管理平台采用B/S架构设计模式进行研发，该模式将系统功能实现的核心部分集中到服务器上完成，客户端只需安装浏览器即可。该模式设计成本低、维护方便、开发简单，可以无需安装任何专用软件即可实现操作，客户端零维护，系统的扩展简单容易。

采用B/S架构设计的容灾切换管理平台按逻辑架构可分为三层（如下表所示，从上到下划分）：

*****层为容灾切换管理平台，主要是与第二层以及外部系统对接，实现流程的编排、展示、管控、执行等动作。

第二层为Veritas InfoScale Operation Manager服务端，接收*****层的调度任务，选择客户端并转发调度请求。

第三层为Veritas InfoScale Operation Manager代理客户端，主要负责接收服务端调度命令，通过调度命令执行本地的应用程序启/停脚本，用来启动或停止应用程序。

1.3.物理架构简介

传统高可用物理架构是在本地进行双机部署或本地多节点部署，此架构存在一定局限性，当本地节点或基础设施全部中断后，系统将会停止服务。我社容灾切换管理平台的物理架构在部署进行了创新，将本地高可用变成同城高可用部署。即生产中心与同城灾备中心均部署服务节点，同城灾备中心运行主服务节点，生产中心运行备用服务节点，应用程序与数据库进行异步同步（如下图所示）。

二、创新点

1.灵活性

容灾切换管理平台高灵活性主要体现如下几方面：

1.1支持多系统组合切换

容灾切换管理平台一个流程是指一次完整的容灾切换过程。该平台同**程不仅支持对单个业务系统进行容灾切换，还可支持将多个关联性较强的业务系统组合在一起进行系统群统切换（如下图所示）。

1.2支持多流程并行执行

一般来说，一套切换流程都是针对特定的切换场景进行设计，而灾难场景千变万化，因此很难为每个变化的场景设计一套固定的切换流程。为此，我们要求平台支持多流程并行，增强系统、系统群切换的灵活性、可编排性，实现多系统、多系统群的同步切换，增加切换选择和决策空间，满足发生极端灾难的场景需求。

1.3支持流程灵活编排和执行

容灾切换管理平台支持在流程编辑器中通过拖拉文件的方式编排流程内容，可快速地生成容灾切换流程。支持任务步骤串行、并行、合并等复杂依赖关系的配置，支持步骤的暂停、跳过、恢复、停止等各种执行动作，以应对切换过程中的突发状况和便于灵活控制。

1.4支持多种演练模式

容灾切换管理平台不仅支持真实的容灾切换演练操作，也可支持模拟容灾切换演练操作。可将真实切换演练的流程复用一个流程用于桌面演练，实现按照真实切换流程1:1开展模拟演练，便于应急组织架构相关人员熟悉组织过程和切换流程。也可将桌面演练的流程经过简单配置用于真实切换演练。

2.自动化

灾备切换过程原本是一系列繁杂的操作过程，通过容灾切换管理平台进行流程化后，容灾切换过程便能可见即可得地按序自动执行（如下图所示）。

比如使用shell脚本语言实现数据库、应用软件、存储等的自动启停和切换，使用expect编程语言与DNS硬件设备对接，容灾切换平台自动化操作DNS进行切换操作，这与手工切换相比极大地提高了切换效率与准确率，缩短了切换时间，降低了人工操作风险。与此同时，平台也支持保留必要的人工检查确认操作，以及将自动步骤人工降级为手工操作步骤，以应对切换过程中重要步骤节点把关、突发事件应急处置和复杂切换场景的需要。

3.可视化

3.1切换过程可视化

在信息系统灾备切换过程中，容灾切换管理平台支持通过手机短信方式实时提前提醒参演人员进行相关操作或留意操作进度，还支持通过大屏多维度展示切换过程。

下图演练流程执行图，该图大屏展示当时处于不同状态的切换操作步骤，各切换操作步骤呈不同颜色显示，应急组织人员对切换过程与切换状态一目了然，实时掌握新进展。

下图为领导大屏，系统会动态地展示灾备切换的概要过程、切换耗时、切换起止时间等信息，使领导者对容灾切换过程精准掌握。

3.2交易数据可视化

在系统的来回切换期间，容灾切换管理平台与业务监控系统实时对接，精准地获取关联系统的交易数据量，并实时动态的展示。如下图所示，

4.自主性

容灾切换管理平台使用java语言进行自主开发，代码安全可控、版权自有、跨平台兼容。它对硬件资源需求较低,对硬件也无特殊要求，采用通用设备承载运行即可。它去除了纯商业化产品功能不足、功能大众化、界面不友好的多种缺点，融入了个性化业务需求，更加紧密贴合日常生产需要。

5.容灾评级模型

业务影响分析和灾备系统定级是灾备建设的基础性工作，许多行对业务分类和系统评级可能以主观判断为主，缺乏量化的数据支撑。为此，我社设计了业务系统分类评级模型，通过多维度的业务指标打分评测业务系统分类，再结合系统的技术指标打分综合确定系统容灾等级。通过量化的系统容灾等级评定，为后续系统灾备建设、灾难恢复优先级的确定提供参考。

如下图所示，在容灾切换管理平台中，各部门可根据业务系统实际情况进行评级标准定义、评级流程定义、评级问卷定义等。容灾切换管理平台会根据评定结果与数据，使用多种评定模型客观化的计分与评级，为容灾建设提供依据。

三、技术实现特点及优势

1.采用成熟的底层软件

我社容灾切换管理平台底层以Veritas InfoScale Operation Manager软件为支撑，该商用软件成熟、稳定，可靠性强，平台采用成熟的HTML协议与Veritas InfoScale Operation Manager进行通信，该方式属于业界成熟可靠、安全通用的通信方式，从根本保证了系统间稳定运行。此外，底层调度软件选择一次性授权、终生免费升级软件，此种考量因素消除了未来软件升级授权的困扰，也可将项目效益大化。

2.使用通用的设计架构

容灾切换通过Veritas InfoScale Operation Manager代理客户端软件执行具体切换脚本或启停脚本，即服务端通过代理软件在客户端服务器上执行具体切换脚本或启停脚本，采用C/S模式与客户端进行通信。实现原理是：当Veritas InfoScale Operation Manager服务端处理引擎收到请求后，将请求发送给对应代理客户端软件，代理客户端软件直接执行预定的脚本或命令即完成一个动作。

四、项目过程管理

项目于2020年7月初启动，集成商与软件商人员入场；2020年11月底完成容灾切换管理平台*****版开发、测试、部署等工作；2020年12月4日完成财务管理系统计划性容灾切换演练；截止到2022年9月1日，已通过该平台完成11次同城容灾真实切换演练,涵盖行内所有重要信息系统在内的21个业务系统，另外还完成单边演练和桌面演练若干次。

五、运营情况

自平台投入使用后，系统稳定运行，截止到2022年9月1日，已完成湖南农信所有重要信息系统以及若干配套系统的真实容灾切换演练工作,使用容灾切换管理平台进行真实容灾切换演练工作，极大地提高了切换效率、简化了切换动作、降低了切换风险，所有切换演练均成功完成。

六、项目成效

1.优化了灾备体系架构

在项目建设之前，我社生产和同城灾备体系架构并不完善，系统跨中心访问困难，部分灾备硬件与线路资源缺失，开展一次切换演练面临诸多困难。通过本项目进行灾备资源补充、灾备架构优化、全局域名改造、应用改造、切换脚本编写等大量的前期准备工作，为后续系统的切换实施打下了坚实的基础。

2.实现了灾备快速切换

项目实施前，容灾切换的整个过程全部由人工手动执行完成，各种检查确认、命令输入、系统登录、窗口切换等非执行类的操作用时占整体切换时间的50%以上，因此切换效率极低、操作风险极高、且风险不可控。项目实施后，通过容灾切换管理平台代替人工操作，将各种非执行类的操作交给平台来完成，且将大部分手动切换操作变成自动化切换操作，极大地缩短了RTO时间。例如我社柜面业务系统，两个数据中心应用服务节点超过100台，如果人工操作工作量大，操作时间长，使用平台对所有服务节点同时进行自动化的启停操作切换时间平均节省70%以上。

3.完善了灾备制度文档

通过本项目进行前期信息调研、业务影响分析、应用关联分析、防火墙策略梳理等工作，我们制定了各系统的切换方案、切换手册，编制了容灾建设相关的制度规范、应急预案，并将之固化到容灾切换管理平台。此外，通过历次的单边演练、桌面演练、真实切换演练，使应急组织架构人员掌握了灾备切换流程和方法，提高了全员的容灾意识。

七、经验总结

总地来说，容灾切换管理平台建成后使湖南农信从传统手工切换模式提升到“一键式、自动化”集中切换模式，极大地简化了我社灾备系统切换工作，缩短了RTO时间，降低了风险，使我社灾难恢复能力水平上了一个新台阶。在项目建设过程中，我们也体会到灾备建设对外联络、协调的重要性，要想取得项目成功必须取得行内领导的支持、其他部门协同、监管及外联单位的协助，多汇报、多沟通。同时，风险无处不在，要时刻保持敬畏之心，可以依靠灾备环境多测试，再在生产环境实施，降低演练风险。后续，我们将继续完善容灾切换管理平台功能，利用该平台进一步扩大我社灾备系统演练范围，不断提高我社灾难恢复能力和业务连续性水平。