项目背景及目标

随着福建农信业务、科技的快速发展，应用系统、数据量、IT基础设施数量和规模越来越大，系统间关联关系越来越复杂，操作风险、运维成本、应急能力等诸多问题已经成为数据中心面临的挑战，因此建设自动化运维系统，实现运维操作自动化，提升运维效率，提高运维管理水平，降低操作风险，已成为当前数据中心重要的工作内容。

福建农信通过前期充分的调研与可行性分析，于2018年至2019年开展了自动化运维项目的建设工作，实现以下目标：

1)实现各类作业的统一管理和监控，确保应急操作、

日常巡检、灾备切换的追溯性，提高运维管理的精细化水平，满足安全管理、合规、审计要求；

2)提升运维工作标准化、规范化水平，促进运维知识的有效积累和传承。加强作业间的关联控制，提高系统健康巡检频率，提前发现风险隐患，降低运行风险；

3)减轻操作压力，减少因人员的失误、遗忘所造成的事故隐患，降低操作风险，完善应急处置及灾备切换流程和脚本，提高应急处置能力。

项目方案

为提升运维服务水平，福建农信逐步推进了自动化运维系统的项目建设。项目由福建农信运维团队为主导，研发团队及合作公司配合按照福建农信CMMI3级项目过程管理规范进行研发和实施。

自动化运维系统是以流程管理为核心，以保障安全和提升效率为理念，系统包括作业调度、应急操作、健康巡检、灾备切换、脚本服务、文件同步等功能模块。从逻辑架构角度分析，系统可分为三个部分：服务端、代理端、流程开发工具。

1)服务端

集成了作业调度、健康巡检、日常操作、灾备切换、脚本服务、系统管理、数据交换、失效备援、心跳检测等功能于一体，依赖于流程调度引擎以及对外接口，实现各类自动化场景的应用；

2)代理端

为远程代理模块，需独立部署在受管理服务器上，负责对服务端发来的指定进行解析并执行。为了保证通讯安全，系统在各个组件或系统之间仅提供端口访问机制，开放***合法端口通道，同时端口所在的侍候服务程序，仅接受合法的指令；

3)流程开发工具

为工作流定制模块，需在PC服务器上独立安装，可以对流程进行可视化的开发,流程设计人员通过该模块进行流程设计，并通过C/S方式将流程发布至到服务端上运行。

从物理部署架构的角度分析，自动化运维系统由五个部分组成：服务端集群、数据库集群、用户客户端、版本服务器、代理端(Agent)，并通过外部接口与应用监控进行对接。福州生产和厦门灾备两中心分别部署2套系统互为主备，可对两中心所有资源（例如：服务器、自动化任务等）进行统一管理和联动调用。

自动化运维系统主要基于J2EE技术实现可跨平台部署，采用MVC（模型层－表现层－控制层）模式组织设计应用，主要技术如下：

显示层：以HTML5+CSS3+JS为技术框架；

业务逻辑层：采用主流开源框架SpringMVC来控制事务和业务逻辑；

客户端执行脚本：通过shell脚本和python程序实现。

项目按照福建农信CMMI3级项目过程规范进行实施，确保项目各个阶段流程合规、文档清晰。测试阶段，项目进行了系统性能测试，SQL审核分析、代码漏洞分析，结合功能性测试，确保项目投产后的软件质量。

创新点

福建农信自动化运维系统项目建设立足于解决IT运维中的痛点，着力实现运维操作标准化、管理精细化，提升运维服务水平，主要有以下几个创新点：

1)实现作业可视化、集中管理

通过对各类定时作业、批量作业进行梳理，经过流程化改造接入自动化运维系统将分散在各个应用系统的服务器的批量作业集中管控；实现作业开发配置可视化，运行结果监控可视化；异常处理处置流程规范化；关联作业可设置依赖关系；作业支持集群调用，规避作业单点风险；

2)实现自动化灾备切换

通过自动化运维系统实现灾备切换的自动化，解决手工操作，切换时间长，切换效率低的问题，有效降低RTO；实现灾备切换过程可视化，切换风险可控；实现灾备切换流程可固化，切换执行步骤、脚本可集中管控，使得切换的知识、经验可传承；

3)实现环境一致性

福建农信福州生产中心是否可以被厦门灾备中心所接管，除了自动化的切换流程、切换脚本提高切换效率外，更重要的是需要解决两中心环境一致性的问题；通过文件同步模块实现可视化界面进行环境同步配置和同步状态实时展示与监控，有效确保灾备环境的可用性。

技术实现特点

福建农信自动化运维系统根据业务需求和非功能性需求标准进行建设，系统包含以下特点：

1)模块化

系统遵循模块化、组件化、参数化设计原则，根据高内聚低耦合的原则实现插件式的管理模型。各模块可配置不同的数据源，基础数据共享，运行数据单独存储，兼顾功能和性能要求，便于后期模块扩展；

2)高可用性

通过负载均衡算法，自动计算服务端压力，作业任务均衡分摊到每台服务器；同时，服务端基于高效的集群运行模式，实现7*24小时不间断服务，可以快速进行横向集群扩展。系统通过失效备援机制确保服务器故障情况下作业状态不会出现错乱；

3)高性能

作为全行级的自动化运维系统，具备高效运行特点，单个批量自动化系统服务器大并发用户数100户；单个批量自动化系统服务器大并发流程数3000个；单个批量自动化系统服务器根据目前统计的业务情况，少可同时管理20000个以上的批量作业任务；作业调度延迟不超过1秒；可根据实际需要进行集群扩展；

4)多兼容性

系统的代理程序可以在Windows、UNIX、Solaris、HP-UX、Linux、AS400等主流操作系统平台上安装和运行，支持主流版本；服务端支持部署在UNIX、LINUX、WINDOWS操作系统上运行，支持MYSQL、ORACLE等数据库；

5)可视化

系统实现了作业开发可视化、运行可视化，灾备切换可视化等可视化操作及监控，提高用户体验。

项目过程管理

项目按照福建农信CMMI3级项目过程管理规范进行实施，确保项目各个阶段流程合规、文档清晰。测试阶段，项目进行了系统性能测试，SQL审核分析、代码漏洞分析，结合功能性测试，确保项目投产后的软件质量。项目分五阶段实施：

1)2018.2-2018.7，完成覆盖作业调度、日常操作、应急操作、健康巡检等功能模块的自动化运维系统的落地；

2)2018.2-2018.7，完成4套应用系统459个作业，以及133个健康巡检指标项的投产；

3)2018.8-2019.3，完成灾备切换功能模块，以及21套重要应用系统自动化切换流程、切换脚本的投产，并通过2018年灾备模拟切换演练验证实施效果；

4)2019.3-2019.10，完成脚本服务、文件同步功能模块的投产，实现了灾备切换、文件同步与脚本服务等功能模块间的联动调用；完成了切换脚本、切换流程优化投产；完成5套应用系统180个作业投产，仍有16套应用系统100余个作业正在开发；

5)2019.11-2020，计划新增文件比对功能；强化脚本服务与其他功能模块和第三方系统的联动调用功能；完善系统内容错和高可用机制；开发日常操作流程模型，适配日常运维中涉及数据库记录修改、补丁升级、信息采集等自动化场景的使用需要；满足其他应用系统作业接入的需要，满足新增应用系统灾备切换接入的需要。

运营情况

自动化运维系统，自2018年7月*****次投产以来，后续分别于2018年10月、2019年3月、2019年10月进行升级，现已按照福州生产和厦门灾备两中心架构进行部署，覆盖了作业调度、灾备切换、脚本服务、文件同步等主要功能模块，满足日常自动化运维的使用需要。同时，推广方面已完成了作业接入792个，巡检指标项133个，以及涉及23套重要应用系统文件同步策略83条、切换脚本163个、切换流程153个。

系统至上线以来，日均自动化任务量1.6万笔，日峰值自动化任务量1.7万笔，系统资源使用率低，总体运行情况保持稳定。

项目成效

福建农信坚持“统筹、集约”的系统建设原则，坚持自动化运维的研究和应用。通过自动化运维系统的建设，福建农信在自动化运维方面迈出了重要、坚实的一步，模式上实现了创新，技术上实现了突破，为提升运维管理精细化管理水平，提高运维效率，提高应急处置能力，传承运维经验，以及运维一体化建设奠定了坚实的基础，积累了宝贵的实践经验，建设成效具体体现在以下方面：

1)实现覆盖多个自动化模块的自动化运维系统以及制度规范的落地，为后续场景应用和自动化的推广提供了技术和制度支撑；

2)实现792个定时作业、133个巡检指标项的集中、自动化管控，以及400余台服务器统一纳管，依托于流程开发工具（STUDIO）在自动化运维模型和运维场景方面不断创新；

3)实现23套重要信息系统在切换流程、切换脚本、文件同步脚本服务等方面的优化改造，实现应用系统、操作系统、数据库、存储、网络等自动化切换，依托自动化运维系统2018年灾备模拟切换演练在参与人员更少的情况下切换时间由2017年的107分钟降低至17分钟，切换效率提升了6倍，有效降低RTO，提升灾备环境可用性确保业务连续性。

4)通过文件同步实现了生产与灾备环境一致性管理，确保灾备环境操作系统、应用系统版本与生产环境一致，从而保障灾备环境可用性。

经验总结

自动化运维的建设不能一蹴而就，更不能完全遵照“拿来主义”。

因此，福建农信以“合作开发”的方式进行项目建设，采购较为成熟的自动化软件，结合本地化需求实现自动化场景的应用落地和技术创新。建设过程中，福建农信也注重关键技术的学习和实践经验的积累、延续，加强对自动化运维领域的探索与研究， 不断深化理解，拓展建设思路。

项目建设路径以作业调度为切入点，从规范化、自动化、一体化的角度出发，结合自身实际情况和痛点，按照“整体规划、分阶段实施”的原则，逐步实现自动化运维，即优先解决各类作业的集中管控；其次在作业调度建设的基础上，实现在健康巡检、日常操作、灾备切换、脚本服务、文件同步等自动化方面延伸应用，从而终建立起统一自动化运维系统。

目前项目建设已初见成效，未来将努力做好两个方面：一是持续优化、完善系统功能，包括开放脚本服务接口，实现与监控系统、流程管理系统实现一体化运维；二是依托流程开发工具（STUDIO），结合脚本服务研发各类运维操作流程模型，以满足未来运维场景自动化的使用需要；三是应用过程中不断完善各类制度规范，为后续系统推广，以及建设成为全行级的自动化运维系统目标更上一层楼。