项目背景及目标

项目背景：

我行“两地三中心”全面投入运营对现有IT运维管理模式提出了巨大挑战，现有单中心的管理模式难以满足“两地三中心”的一体化、标准化、精细化的要求；同时近年来随着金融信息化的快速发展，信息科技在业务运营和业务创新中的作用越来越凸显，银行业务发展对生产运维能力的要求越来越高，上级监管机构对银行IT运维的监管越来越严格，为此亟需引入成熟的运维管理经验和标准，完善现有运维管理体系，配套建设先进的运维服务管理工具，以实现更好地管理“两地三中心”，充分发挥其保障作用，进一步提高生产运维能力，为全行业务提供更有力的IT运维服务的目标。

项目目标：

1、以ISO20000服务管理体系标准为蓝本，对行内现有运维制度流程进行梳理，并结合监管要求，构建我行“两地三中心”一体化运维管理体系；

2、通过ISO20000服务管理体系认证，实现信息科技运维标准化、体系化管理；

3、建成符合ISO20000标准和满足实际运维工作需要的运维服务管理系统，实现外部告警统一接入，建立统一、完善的运维管理流程，全面提高运维工作效率和水平。

项目方案

本项目建设采用了咨询+工具开发方式，咨询和开发统一由合作方建信金融科技有限责任公司负责，避免了咨询和工具出现脱节情况。

1、应用架构设计

系统采用分层的平台化设计，提供采控平台层、运维PaaS层以及微服务模式，这样分层设计既满足业界的发展趋势，同时易拓展和易维护。

2、技术架构设计

系统支持物理机、虚拟化及公有云部署，采用分层架构，通过分层设计使数据分离，防止数据泄密，且产品性能、容量可横向扩展，随着代理/用户的数量增加，无需调整系统架构，仅增加相应的硬件设备就能满足相应的管理需求。提供通过IE、火狐、Chrome等浏览器访问Web页面方式访问系统。

3、数据架构设计

对数据进行分类存储，修改频次低、数据量少的静数据（如：用户信息、组织机构、系统配置数据）采用关系型数据库MySQL进行存储，查询方便、高效。对访问频次高的热数据（如：用户信息、常用的查询结果等）会读取到内存中进行存储，通过Redis进行管理。对访问频次不高，但数据量庞大的数据，采用文件存储，支持大数据架构进行存储和数据读取，对大量数据进行统一管理。

4、部署架构设计

系统通过集群方式的部署满足高可用的要求。集群访问通过负载均衡F5实现，运维管理软件分别在业务应用层、基础平台层、数据存储服务层分别进行集群部署，保障系统的高可用。系统支持在模块安装或升级时会分析服务间依赖，生成需要部署的服务清单，提示用户输入各服务的部署位置与参数，并启动部署作业。通过管理控制端对需要部署的模块实现上传、安装、卸载，主动识别所有模块的部署主机、模块名称、所属产品、模块版本，通过规划好的服务器信息进行集群部署。

运维服务管理系统部署情况，基础平台层集群部署在江夏数据中心部署2台，武经开数据中心部署1台，业务应用层分别在江夏数据中心部署2台，武经开数据中心部署1台，对于数据存储服务层集中3台服务器在江夏数据中心进行集群部署作为主节点，在武经开数据中心部署的3台服务器通过虚拟机复制技术实现数据灾备，系统运行时通过定期进行数据同步（或挂接存储，将相关服务或大数据业务迁移）保障两边的数据一致性。

5、高可用设计

系统采用集群服务架构，通过部署2个以上的服务节点集群，保障基础平台、业务应用服务的不间断运行，避免因节点故障导致运维服务不可用，从而实现应用层的高可用。其中数据存储服务层分别在江夏数据中心（3台集群-主节点）、武经开数据中心（3台集群-备份节点）部署数据服务集群并形成主备模式，从而实现数据存储服务的高可用。

运维服务管理系统使用两种典型数据库：关系型数据库和非关系型数据库，关系型数据库使用主备模式，非关系型数据库使用无中心模式，通过对应的技术实现数据服务的集群部署，可避免数据库节点故障导致服务停用以及数据丢失。

创新点

本项目的建设为我行当前的运维模式带来巨大变革，使运维工作更加体系化、标准化。主要创新点主要体现在如下方面：

1、运维服务管理系统在两个中心双活部署，提升了系统运行稳定性和设备利用率；

2、运维服务管理系统提供运维管理门户和运维服务门户，由传统的面向运维技术人员推广到面向全行用户，提高了运维服务效能；

3、通过梳理服务目录、建立服务水平指标、分析和挖掘运维数据，全面推进精细化运维管理；

4、通过集成运维监控系统、应用监控系统、网络流量监控系统等各类监控工具的告警信息，提供告警多维度热图、告警时序分析、告警关联根因分析等功能，提高应急响应和故障恢复效率。

5、通过建设与流程、告警处置等场景融合化的知识库更好的推进知识的积累和消费，使个人知识留存并上升为组织知识；

6、平台支持丰富且标准的接口，可以较为方便的接入周边系统，将分散的运维工具串联起来形成一个整体向用户提供完整的运维视图。

技术实现特点

整体框架采用先进的互联网技术架构，具有前瞻性和新颖性，能支持今后业务产品的创新，以及为武汉农村商业银行的管理决策提供足够的信息支持。

1、采用平台化设计，符合金融界的发展趋势，易拓展，易维护。运维服务管理系统能够适应业务发展需要，可横向扩展，增加服务器的方式，随业务规模扩大系统能平滑升级。

2、运维流程管理（ITSM）基于ITIL/DevOps运维过程管理, 支持ITIL V3 / DevOps理念相关运维流程；支持通过服务目录梳理运维业务，以服务目录驱动流程；支持表单、流程的拖拽式灵活设计；采用社交化、敏捷的流程交互模式，支持工单的评论、动态等；支持对知识库的全文检索与主动推荐。

3、面向消费场景驱动的服务型配置管理库，提供面向业务视角数据模型，支持可视化动态建模；支持IT资源配置数据自动发现，降低人工维护工作量；支持定期探测配置数据的变化，及时向订阅者推送信息；配置数据维护包产到户，通过资源维护组实现自主维护；支持评论、点赞、站内信等动态社交化协作方式；支持根据管理需求选择相关指定配置数据自由创建消费圈，并支持API方式对外提供数据；支持大1000万个配置项管理能力，配置项查询速度响应少于1秒。

4、集中告警管理（ALERT）: 告警多维度热图；告警时序分析；告警关联根因分析；告警故障自愈与应急响应。

5、可视化展示设计平台(SHOW): 内置展示视图模板支持按需可视化设计、拖拽式设计，组件库丰富、数据类型丰富、动态效果丰富。

项目过程管理

本项目在项目启动时成立了包括项目领导组、项目管理组、项目架构组、运维体系咨询组、系统实施及交付组、商务支持保障组在内的项目组，项目领导组成员包括信息科技部总经理和建信金科武汉事业群副总裁。在项目前期制订了详细的项目实施计划，包括项目阶段、交付物、负责人员和起止日期，同时制定了项目人员培训计划，内容包括培训日期、培训主题、培训内容和培训对象。建立了明确的项目沟通机制，包括阶段性开始会议、阶段性结束会议、每周例会和小组会等。整个项目过程通过项目管理系统进行管理，项目文档通过SVN工具进行管理。定期项目风险进行评估并制订相应应对策略实施改进，项目实施过程中严格按照项目实施计划和人员投入计划执行，确保了项目建设完全满足了预先设定的进度和质量要求。

运营情况

运维服务管理系统已在全部门推广应用，系统提供服务流程管理、配置管理库、集中告警管理、服务目录管理、值班管理、服务台、知识库、报表管理等各项完备功能。系统上线以来运行稳定，平台资源充沛。行方人员具备独立运维，独立开发配置流程、表单和报表的能力。目前系统用户150人， 累计处理工单1533条，收集告警信息1025条，登记配置信息6978条。下一步将启动业务部门、分支行、网点推广和试运行工作，系统用户数量将达到6000人，为全行用户提供服务请求、服务保障、知识库查询等功能。

项目成效

1、通过对行领导和信息科技部的深入调研，形成了现状评估和差距分析报告，并起草了运维服务管理体系建设和未来三年发展规划，明确了现阶段和今后一段时间内的建设思路和重点。

2、对现有信息科技运维管理制度和流程进行了全面梳理，在现有制度的基础上研讨制定了1份一级制度，20份二级制度，143份三级制度，形成一套符合标准要求和实际需要的完整体系。

3、在部门内正式发布运维服务管理体系，组织实施运维服务体系培训、推广工作，确保所有相关人员理解、熟悉运维服务管理体系的标准、流程和要求，自觉按照新的体系要求执行。

4、配套建成了成熟、先进的运维服务管理系统，新系统固化了运维服务管理体系的具体要求，并且可以根据工作需要灵活扩展和调整，各项功能完备，完全满足现阶段运维工作需要。

5、运维服务管理体系和运维服务管理系统的建设为ISO20000标准体系认证奠定了坚实的基础。

6、充分发挥了“两地三中心”保障作用，进一步提高生产运维能力，为全行业务提供更有力的IT运维服务支撑。

经验总结

1、运维服务管理体系建设需要领导高度重视和深度参与。体系建设对现有组织是一个重大变革，要求改变现有流程和人员职责，打破传统思维定式，项目全程需要得到领导的大力支持。

2、运维服务管理体系的规划和建设既要符合标准又要符合实际。要根据本行信息科技发展现状，具体包括规模、人力等方面的情况量体裁衣建设满足本行实际运维要求的服务管理体系。

3、运维服务体系咨询与工具平台建设要紧密结合。在运维服务管理体系咨询时要充分考虑运维工具的支持能力，在运维工具建设时要严格遵循运维服务管理体系的咨询成果，避免出现规划和实施脱节的情况。

4、运维服务体系建设需要突出重点、分阶段实施。运维服务体系的范畴比较大，如果不同领域要一起同步建设需要行方投入大量人力、物力，根据当前管理要求、人员物力投入情况分步实施。

5、 CMDB建设需要成熟的方法和工具支持。CMDB配置库是信息科技的关键基础信息，配置信息的更新和同步是重难点，要规划好配置模型和基础架构，同时要采用配置自动发现工具引入和共享数据的集成对接能力。