案例背景及面临挑战

随着浙江农信近年来各项金融业务不断增长，营业网点大幅增加，业务系统规模也随之大幅增长。为了适应系统规模的快速扩大，我行对IT系统运维模式进行了完善，优化了运行结构，包括建立起科学的IT运行监视系统；建设了批量调度自动化系统；完善了运维审批流程；创建了运维操作标准化体系等。提高信息系统管理能力和水平，提高信息系统工作效率，提高信息系统的可用性和连续性，提高信息系统的风险管控，提高IT服务的业务满意度等方面，运维管理体系标准化、规范化、精细化、一体化建设已经成为当前及未来浙江农信信息科技建设的重点目标和方向。

与此同时，省县两级之前运维文化、运维水平、管理手段不均衡,以及资源无法共享、运营成本不断攀升等问题,成为数据中心面临的新挑战。浙江农信省联社在运维管理过程中也遇到了新的问题和情况。

首先，IT系统的规模增大，系统间关联关系日益复杂，局部问题可能影响全行运行。然而目前我行众多系统仍沿用传统独立运行模式，缺乏总体管理和协调，导致运维孤岛出现，管理风险大量集聚。

其次, 系统运维管理人员和人员素质分布不均。系统的大量增加，直接导致工作人员的数量的相对不足；尽管增加了工作人员，人员的培训和技能的增加，不是一蹴而就的，人员素质参差不齐，直接影响了IT运维工作的质量。

第三，系统运维管理制度的完善和规范。工作量增大，导致相关制度流程明确和落实，成为重中之重；强制管理流程和规范操作规程，才可以避免实际工作产生的隐含风险和错误。

针对以上问题，浙江农信省联社亟需建立一套一体化的的运维平台，以自动化为手段，规范运维流程，使日常运维工作在平台中统一、规范地管理，同时整合现有系统和运维知识，逐步建立一套以自动化为基础的统一监、管、控的先进运维体系，从而实现智能化运维的管理目标,减少运维成本并提升运维效率。

实施时间

2017年1月-2017年8月

应用技术／实施过程

一体化运维平台的总体构架包括资产管理、自动化运维模块、任务管理、系统管理、单点登录等核心模块。浙江农信一体化运维平台的构架设计如下图所示：

SA自动化调度引擎：负责服务器运维自动化的具体功能实现，管理数据中心里的服务器设备。

OO流程调度引擎：负责自动化流程的定制，调度和与外部系统的集成。作为强大的集成工具和自动化工作流程的运行引擎，起到了沟通各方的桥梁作用，可以很方便的与各组件进行通讯。

Portal为用户提供统一操作界面，通过各产品提供的接口，集成了自动化调度引擎和流程调度引擎。可尽量减少用户在各产品管理界面之间来回切换，进行割裂的操作，方便用户完成各类运维操作。

一体化运维平台通过四层体系构架实现，由下而上分别是系统层、系统服务层、控制层和表示层，具体实现技术如下图所示：

图2 一体化运维管理平台系统构架实现

系统层，采用DB2数据库来存储数据，采用tomcat应用服务器来部署应用程序，在Linux系统上部署tomcat。以后，还可以采用memcache来实现缓存，使用Kafuka来抓取日志。

系统服务层，通过Druid来管理数据库连接，通过Mybatis框架来实现实体表单对象和数据库表的映射，通过log4和logback来记录日志信息，通过CAS认证来实现单点登录，通过web服务来实现外部系统之间的交互。

控制层，通过springMVC来控制业务的流转。

表示层：通过bootstrap、easyui以及第三方插件来实现前后端的交互。

一体化运维平台主要实现了单点登录、自动化运维、资产管理、工作计划管理、系统设置等功能，具体的功能架构见下图。

图3 一体化运维平台功能构架

单点登录：即用户只登录一次，在其随后访问所有的授权的资源时，都不需要再次登录。统一用户管理平台提供了功能完备的单点登录支持，应用系统无需自己实现登录，直接使用统一用户管理平台提供的访问接口，取得用户登录信息，根据登录信息判断用户的能否进行相关操作。根据总体设计，访问控制和SSO，使用CAS产品为基础来实现。SSO服务器收到用户提交的请求信息后进行必要的格式检查，检查不通过，进行错误提示，格式检查通过后，登录服务模块向认证模块发出认证请求，认证模块接收到认证请求消息后到目录服务器进行验证，认证服务模块向登录服务模块返回认证结果。在一体化运维平台接入其它应用程序入口，包括运维流程平台、运维热线、堡垒机、值班管理系统、应用性能监控、批量调度系统等，实现了监、管、控一体化的用户管理和授权。

自动化运维：采用自动化调度引擎和流程调度引擎通过二次开发实施来实现自动化运维的目的。自动化运维管理平台能够实现IT运维整个生命期的自动化，涵盖了从初的设备发现及拓扑生成，到安装、配置、升级、安全管理、审计及扩展的全过程。主要模块有健康巡检、合规检查、软件安装、代理安装、配置收集、系统安装等功能，并支持自定义脚本在定制任务。

健康巡检：根据浙江农信日常巡检需求来定制化开发脚本内容，每个检查项形成一个独立的脚本，脚本按照类型分类。然后将自动化维护脚本作为软件导入自动化调度引擎的库，以方便各类脚本的集中管理维护。自动化维护脚本可以由系统维护人员开发，也可以由应用维护人员开发。在自动化调度引擎的库中，自动化脚本可以根据脚本使用者的不同, 分操作系统维护脚本和应用维护脚本等。运维人员可根据实际需要，手动或设定计划任务执行健康巡检策略，并将巡检结果生成报表。

合规检查：通过自动化调度引擎的“审核”功能实现在服务器自动合规检查功能。在自动化调度引擎中导入SOX合规包，并用审核功能创建合规检查策略。运维人员可按实际需求，手动或设定计划任务执行合规检查，并将检查结果生成报表。

软件安装：采用文件夹方式管理软件介质，软件介质库是一个多重目录的树形结构，每个目录下可以存放一个或者多个软件介质。每项软件以一个ZIP包的方式保存在自动化调度引擎服务器中。介质管理主要包含三个步骤：导入介质到自动化调度引擎库(即打包)、制定分发策略、以及介质的下发（执行分发策略）。

代理安装：通过流程调度引擎实现。输入参数，包括目标服务器的IP地址，然后启动流程。首先会自动检测安装介质是否存在，若没有，则从源端开始下载介质。下载完成后执行安装，安装完成后作通讯测试。

配置收集：通过自动化调度引擎的“快照规范”功能实现在服务器自动配置收集功能。配置收集的对象分为文件和命令执行结果。在定义策略的时，对目标服务器的文件创建文件快照，对目标服务器的命令执行结果，使用导入脚本实现。

系统安装：通过流程调度引擎实现。在无DHCP的环境下，使用自动化工具实现以无人值守的方式进行操作系统的安装。基本步骤如下：1. 定义应答文件。2. 封装ISO。3. 远程挂载ISO至服务器。4. 引导服务器以光驱启动。5. 服务器按照应答文件中定义的参数进行无人值守的方式安装。6. 服务器安装完毕并进行通讯验证。7. 纳入自动化管理（安装SA代理）

资产管理：包括实体资产管理和虚拟资产管理，虚拟资产管理是建立在实体资产管理的基础之上。

任务管理：对工作计划的管理，包括年、月、周计划。

系统配置：对系统基础建设的管理，包括用户、参数、字典项等

项目实施过程

2017.1-2017.1项目启动，需求调研分析

2017.2-2017.3系统设计

2017.3-2017.5 系统开发和测试

2017.6-2017.8 系统试运行和迭代版本发布

应用效果

1、智能运维统一平台。通过梳理数据中心运维工作，将运维工作分解为两个层次，即运维流程与运维操作，以流程驱动操作完成运维工作。在此基础上归纳，形成流程模板并抽取出基础流程和基础操作，构成了自助智能运维平台，实现了流程和运维操作的统一融合。

2、“监、管、控”一体的IT服务管理。实现了配置信息（CI）从统一自动化运维平台向IT服务管理平台的同步，用于配置信息收集和比对；IT监控管理平台的报警信息向统一自动化运维平台的同步，用于验证报警的准确性，减少误报；工单信息从IT服务管理平台向统一自动化运维平台同步，用于加快工单的处理速度，减少故障修复时间，保障业务连续性。

3、通过全省统一授时系统，实现了省县两级服务器时钟同步一体化，防止因时间差异导致信息不一致。通过全省统一防病毒安全防护，实现省县两级防病毒规则库实时同步更新。通过全省联网安保监控部署，实现了对网点端到端的实时视频监控。通过省联社大数据平台数据分析，实现了县级联社智慧现金业务的应用。

4、省县两级管理体系架构的模式，省联充利用人才、技术和基础资源的优势，致力于打造标准的和个性结合，统一和分布式相融合的“大平台”的科技运维管理服务体系，以满足行社“小法人”的科技服务需求。

5、行社对运维管理的迫切需求，特别在全省各农信社科技技术能力参差不齐，人员不足的情况下，系统、网络及设备的快速增加给行社的敏捷管理带来困扰。需要省联社发挥引领和主导作用，在资产、计划、流程、自动化、监控、安全、网络以及应急方面帮助行社做好科技信息的服务工作，规范行社在科技建设方面的行为。

6、行社对科技运维能力的不足，各自的投入带来重复的建设和浪费，根据省联社扁平化集约化的建设思路，更有利于省联社对行社的各项资源进行整合和管理，加强全省农信社科技信息制度的执行和落地，方便行社充分利用省联社平台资源优势来加强自身科技信息的管理能力。

7、省联社统分结合的运维管理平台可以在充分挖掘全省运维大数据的前提下，为行社提供更为完整的业务数据趋势分析服务，结合浙江农信比学赶超活动，行社可通过对比不同行社分析运维数据和业务模式，导向自身业务的拓展。

单位介绍

浙江省农村信用社联合社是浙江省政府授权管理、指导、协调、服务全省81家农信系统金融机构(包括农村商业银行、农村合作银行、农村信用联社)的省级管理机构。浙江省农信联社始终坚持服务“三农”和小微企业的经营方向，以服务跨越发展、以造福民生、奉献社会为己任，抢抓机遇，开拓创新，持续推进农村信用体系建设，推出丰收小额贷款卡、丰收创业卡等重大创新型金融产品，建立科技服务中心、电子银行中心、资金运营中心、清算中心、教育培训中心等五大服务中心，不断优化管理手段，推动全省农信系统积极转变发展方式，实现了大跨越、大发展。到2016年末，浙江农信系统各项存款余额16429.8亿元，各项贷款余额10954.3亿元，存贷款总量居全省银行业第1；承担了浙江省二分之一的农户贷款和五分之一的小微企业贷款，支农支小贷款存量、历年增量、服务覆盖面均居全省银行业*****，拥有4100多个营业网点，5万多名员工，已发展成为全省网点人员多、服务范围广、资金规模大的地方性金融机构。