案例背景及面临挑战

随着福建省农村信用社联合社（下称 “福建农信”）规模不断扩大、业务不断增加，应用系统、设备、数据中心空间能耗都不断增加，IT运维各方面都面临种种挑战：

1. 每个业务系统都需要独立的设备，硬件设备众多，资源利用率低下，造成比较大的浪费。

2. 众多设备，占用了大量机房空间，用电、制冷等能耗高，不能做到绿色节能。

3. 竖井式的系统建设，IT资源形成孤岛，无法灵活调配。在“双十一”、春节等业务突发高峰期，部分系统已经资源耗尽，而其他系统确还有大量的空闲资源，无法利用。

4. 项目上线，从资源规划、采购、安装、调试、上线，往往要2-3个月甚至更长时间，极大影响了新业务开发上线的进度。

5. 高可用性架构、灾备架构不适应新的要求，建设及改造也比较困难。

6. 运维人员压力大，众多的设备维护、可用性问题、环境分配工作等，存在大量的重复劳动，运维工作压力大，生产安全保障任务艰巨。

因此，通过长期的技术学习、交流、考察等，与2013年起，福建农信启动“福建农信云”项目建设，解决运维工作中遇到的以上问题。项目组主要成员如下：

实施时间

“福建农信云”项目分为以下四个阶段实施：

1. 2013年：进行高可用性架构梳理、虚拟化建设项目启动

这一阶段主要梳理已有系统架构，优化高可用性，解放运维人员双手。另外，启动虚拟化建设项目，进行技术、架构的学习考察调研，设计符合福建农信需求的IT基础架构，并进行了小范围的建设实施，对架构、可用性、可靠性、灵活性等进行试验验证。

2. 2014年：进行虚拟化建设

这一阶段开始进行大规模的X86服务器虚拟化及Power小型机虚拟化建设，并逐步实施应用的虚拟化改造，并进一步利用虚拟化技术提高系统的高可用性架构。

3. 2015年：构建基于云计算的两地三中心架构

基于云计算虚拟化技术，规划实施福建农信新的“两地三中心”架构，进一步提高业务连续性。期间还完成福建农信生产数据中心从厦门到福州的搬迁切换工作。

4. 2016年至今：云管理平台建设

云管理平台是对IT资源、虚拟化平台进行统一管理，对IT资源、系统软件、工具、流程等进行统一编排，为用户提供服务目录，实现IT资源按需、灵活获取，实现自服务。

应用技术／实施

(一) 虚拟化资源池建设

福建农信根据自身需求，通过多方学习、调研、交流，设计制定福建农信的新一代数据中心架构，实现网络虚拟化、存储虚拟化、X86服务器虚拟化、Power小型机虚拟化的全面实施。因篇幅原因，这里做一个简单介绍：

1. 福建农信对新一代数据中心的理解

新一代数据中心建设是一个系统工程，应满足：

*****，机房建设方面，应以环境合格，重视安全，具备高可用性、高可靠性，节能环保，可扩展，以人为本、安全舒适为建设标准。

第二，绿色环保，达到空间节约、能源节约、资源高效利用。

第三，完成服务器、存储、网络等IT基础架构虚拟化建设，降低系统与硬件之间的耦合。

第四，建设全面、体系、高度智能化的监控系统，并建设相应的报警告知系统。

第五，全面建设系统高可用性。

第六，实过程现资源云管理，人员管理扁平化，实现高效有序。

2. 网络虚拟化

图3- 1福建农信网络虚拟化架构

如图3-1所示，福建农信网络采用Fabric path的大二层技术，网络逻辑上虚拟成为一台交换机，实现网关全面集中。

这一架构，一是实现虚拟服务器任意迁移；二是实现网络整体性能提升；三是实现了资源集中部署；四是增强网络扩展性。

3. 服务器虚拟化

服务器虚拟化能降低运营成本、加速应用部署、提高服务可用性、提升资源利用率、动态调度资源、实现系统与设备间的低耦合。

X86服务器虚拟化采用VMware虚拟化技术，主要承载WEB、中间件、应用等计算资源需求。VMware服务器虚拟化能将不同品牌、不同型号的异构X86架构服务器资源管理起来，消除硬件差异，向应用按需提供计算资源。

图3- 2福建农信X86服务器虚拟化架构

Power小型机虚拟化采用的PowerVM虚拟化技术，主要承载数据库应用的计算资源需求。

图3- 3福建农信Power小型机服务器虚拟化架构

服务器虚拟化按照业务分类建成管理、互联网业务、生产业务3个资源池。为保证应用高可用性，3个资源池内部分为若干小资源池，每个应用集群的虚拟机分散于不同的小资源池内，降低设备集中风险。

通过服务器虚拟化节约机房空间，利用虚拟化技术实现单机系统高可用性，简化升级维护工作，资源统一管理等。

4. 存储虚拟化

当前福建农信使用存储系统分为SAN（光纤局域网）存储和NAS（网络到达存储）存储。

SAN存储主要分为承载虚拟机系统空间需求的系统存储资源池，及承载数据库空间需求的数据库存储资源池。

图3- 4基于IBM SVC实现存储虚拟化架构

系统存储资源池采用IBM SVC存储虚拟化网关加上存储设备的方式实现存储虚拟化。存储虚拟化网关本身并不提供存储空间，通过接管不同品牌、不同型号的存储设备，消除存储设备的硬件差异，向应用按需提供存储空间。

数据库存储资源池采用HDS VSP G1000存储设备提供的存储虚拟化技术。HDS VSP G1000提供的存储虚拟化，也被称为存储联盟，该存储本身提供存储空间，也能管理不同品牌、不同型号的存储设备按需提供存储空间。同时，HDS VSP G1000利用虚拟化技术特性，消除存储在空间上（100公里内）的差异，可用于构建数据库的双活数据中心。

5. 全面的虚拟化架构

网络、服务器、存储虚拟化构成的是一个整体的新一代数据中心整体虚拟化架构，该架构拓扑图如下：

图3- 5虚拟化数据中心拓扑图

6. 应用虚拟化改造

应用虚拟化改造是指将运行与物理设备上的应用系统，改造并迁移到虚拟化资源池上去。为了保证生产安全稳定，福建农信采用了拆半迁移方式。

1) 通过虚拟化平台提供的技术将物理服务器的操作系统等克隆到虚拟机上去（称为P2V）。

2) 将应用物理服务器集群服务停止一半，此时高可用性集群可以保证自动恢复服务。

3) 启用克隆出来的一半虚拟机，和仍在服务的物理设备构成应用集群，接管停止的服务。

4) 观察一定时间（通常为1周）确定集群稳定运行后，再停止另一半物理服务器，由剩下克隆的虚拟机接管，并形成完整的虚拟机应用集群，虚拟化改造完成。

(二) 高可用性建设

高可用性是信息系统实现故障状态下自动恢复对外服务的能力。

1. 从数据中心层面全局考虑高可用性架构设计

设计方法：我们提出高可用性建设需应对的故障情景，通过对情景的分析，提出对应的数据中心高可用性架构。

五点故障情景：

一、单服务器节点故障情景；

二、物理机硬件故障停机及维护等的计划内停机情景；

三、存储设备故障情景；

四、网络断开情景；

五、应对单个机房水、火问题、及大面积电源、制冷系统故障。

根据对以上五点故障情景的分析，我们提出以下框架：

图3- 6“福建农信云”高可用性架构图

“福建农信云”高可用性架构包含下面几点基本要素：

1) 资源池分布于防水、防火、供电、制冷系统相隔离的，具有高可用性的不同机房。

2) 资源池由统一的虚拟化管理平台管理，实现自动发布功能。

3) 应用系统主机均匀分布于不同机房的资源池，用传统高可用性技术与虚拟化高可用性新技术相结合方式保障高可用性。资源池设计30%冗余保障故障迁移需求。

4) 存储资源池和SAN光纤交换网络同样均匀分布于不同机房，存储实现本地双活。SAN光纤交换网络实现高可用性冗余互备，并在实现高可用性同时实现吞吐量的倍增。

5) IP网络采用安全分区和分模块的设计方式，所有网络节点双机运行，运营商线路双回路接入主数据中心与同城灾备机房，两中心之间利用高带宽线路互联，保障数据中心及灾备中心网络的高可用性。

2. 服务器虚拟化架构

同时，服务器虚拟化平台建设时也在以下方面考虑高可用性架构（参考图3-2、图3-3）：

1) 网络，流量隔离；物理网卡硬件级别的冗余性；尽量减少使用板载网口；采用分布式虚拟交换机；采用不同的网卡负载均衡策略。

2) 存储，采用交叉冗余方式接入；减少主机等待SCSI锁的情况；充分考虑I/O性能。

3. 应用系统高可用性设计

应用科技系统高可用性建设以“安全稳定”为基本要求，以“架构简单, 层次分明, 技术成熟, 价值大”为原则，设计应用系统高可用性，根据系统情况通过负载均衡（F5设备）、双机热备（PowerHA等）、数据库集群（Oracle RAC等）、虚拟化高可用性技术（VMware HA等）等实现系统高可用性架构。

(三) 两地三中心建设

福建农信选择“同城双活，异地应用级灾备”的两地三中心战略目标。实现在生产数据中心灾难情况下异地恢复生产对外服务的能力。整体架构如下：

1. 网络容灾架构

图3- 7福建农信网络容灾架构示意图

如图3-7，链路一、二为主中心生产主备线路，链路三为异地灾备线路。线路路由优先级分别从高到低，数据中心之间通过OSPF动态路由协议实现互联，数据中心与地市通过BGP动态路由协议互联，这样发生链路故障时，网络可以快速智能切换，福厦两地通过核心区交换机的互联专线进行通信。外联单位通过主备线路分别接入福州与厦门数据中心，通过静态浮动路由实现灾备，当主线路故障时，网络自动会切换到备用线路，此时福州主数据中心将通过福厦核心互联专线以及厦门数据中心外联区建立与外联单位的通信通道。

2. 存储容灾架构

HDS VSP G1000存储通过存储虚拟化技术消除存储在空间上（100公里内）的差异，构建了同城双活的架构。并通过HDS VSP G1000的UR异步容灾技术，将数据异步复制到异地灾备中心。其三点闭环容灾架构图如下：

图3- 8福建农信两地三中心存储容灾架构

3. 服务器容灾架构

服务器容灾主要依赖在上线变更时，两地三中心同步上线实现。

4. 应用容灾架构

应用程序容灾有三种途径：一是通过linux系统的rsync实现多数据中心的同步，二是通过存储底层同步，三是通过灾备同步上线变更实现。

5. 应用级容灾运维思路

*****，在组织架构上，异地灾备中心保持与生产数据中心同样的建制，但人员编制减少，统一领导统一管理。

第二，两地运维人员采用异地值班制度，并每半年到一年进行一次预案的演练。保证两地运维人员对异地的环境及预案熟悉。

第三，数据通过存储底层容灾技术进行异地同步，信息科技系统上线、更新须两地三中心同步进行。并定期进行灾备环境可用性验证。

第四，对开发及运维行为进行规范，要求在开发过程就考虑灾备建设，并提供灾备环境的上线、维护、灾备切换等方案手册，并实现应用于配置分离、应用与数据分离等。

第五，统一运维管理平台进行变更审批及流程控制。

第六，统一智能感知及告警系统，展示并进行自动告知。

(四) 云管理平台建设

在福建农信全面虚拟化建设基础上，云管理平台搭建一套统一管理计算和存储等资源的云管理平台，实现计算和存储等资源的统一编排管理，通过服务目录形式以按需、自动、自服务式、高效交付用户。

为保障云管理平台建设的全面、标准，福建农信云管理平台建设主要参考了Gartner新对云管理平台（Cloud Management Platform，CMP）的定义。云管理平台主要包含以下能力：

图3- 9 Gartner对CMP云管理平台的功能定义

1. 提供开放的接口来整合其他外围系统。用户针对云上业务的监控、部署、配置管理系统，针对基础设施的用户、权限管理系统都需要能够和云管理平台对接，实现信息共享和交互。

2. 提供多租户、多层次的资源访问管理能力。满足企业多层次、多应用资源隔离管理需求，适配企业内部的组织结构和管理方式，提供多租户多层级资源管理方式。

3. 提供以服务目录为主要载体的服务管理能力。具有“跨多资源池”、“集群级别自动创建”、“内置的应用视角计量计费”等多种运营服务能力。

4. 提供跨平台的编排能力。提供云平台与云管理平台上的流程编排服务，实现灵活、高效地在不同云平台使用云资源。

5. 提供多基础设施的整合能力。提供基础架构资源异构納管，实现多类型平台资源整合。

6. 运维管理能力。福建农信根据运维需要，提出了配置管理、容量管理、报表功能、机房可视化功能、日志管理等能力。

应用效果

至今，“福建农信云”已安全稳定运行了超过2年，期间承受住了2016年、2017年春节突发每日超过400万笔业务高峰的考验。我社数据中心实现全面云化，系统虚拟化率98.48%，资源使用率提高了6倍，带来以下变革。

1. IT资源提供周期从原来的2-3个月缩短至2个小时内；

2. 生产服务器数量从546台减少到89台，减少85%，节省投资；

3. 机房服务器空间占用减少了5倍；

4. 机房能耗减少，每年可节省电费100多万。

5. 福建农信重要信息系统连续3年达到可用性99.99%。

6. 实现IT资源的按需获取。

7. 在福州到厦门的生产数据中心搬迁过程中，不到3个月时间实现福州新数据中心从无到有的建设，同时实现容灾架构的建设，并基于容灾架构，在5次审慎不同层面验证的前提下不到8小时实现数据中心整体一次性搬迁切换，搬迁切换过程安全、快速、有序、数据零丢失，系统切换100%无差错。

单位介绍

福建省农村信用社联合社于2005年7月29日开业，是由福建省内各家农村信用合作联社、农商银行联合组成，具有独立企业法人资格的省级金融机构，是省政府管理农信社系统的专门机构，承担对全省农村信用社、农商银行的管理、指导、协调和服务职能。

全省共有67家农村信用合作联社、农商银行，其中农信社47家，农商银行20家。全省农信社、农商银行拥有营业网点1900多个，占全省金融机构网点三分之一强，从业人员近2万人，金融服务实现全省乡镇全覆盖，并基本实现了基础金融服务“村村全覆盖”。2017年9末，全省农信系统资产总额达8191亿元，各项存款余额达5786亿元，各项贷款达3374亿元，其中，存款增量连续5年位居全省银行业*****，存款市场份额增幅自2011年起连续4年位居全省银行业*****，全省56个县、市农信社、农商银行的存款市场份额均位居*****。

全省农信社、农商银行秉承“信用为本、合作共赢”的核心价值观，始终坚持“服务三农、造福民生、奉献社会”的办社宗旨，始终坚持贷款重点投向“三农”，重点投向农村广大农户和中小微企业。每年发放了全省的70%以上的农户贷款、全省40%以上的小企业贷款，被誉为根植大地的银行、遍布城乡的银行、服务三农的银行、造福民生的银行。在新的历史时期，全省农信社、农商银行将立足“三农”、建设海西，为服务福建跨越发展作出新的更大的贡献！

本文由2017年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。