项目背景及目标

贵州省农村信用社联合社（以下简称“贵州农信”）观山湖数据中心于2019年7月15日正式投产运营，目前已建立“两地三中心”IT架构体系。随着贵州农信信息科技建设的不断深入，IT规模越来越庞大，整体IT架构越来越复杂，传统的运维模式已远远不能满足日常的IT运维工作需要。同时，内外部监管部门对IT运维的要求日趋严格、规范，对我社的IT运维管理水平也提出了更高的要求。为切实满足业务连续性及监管部门要求，确保IT系统安全、高效、稳定运行，我社在观山湖数据中心建设过程中同步启动了IT可视化运维管理体系建设。

一年多来，依托先进的运维监控工具、资源管理工具及集中管理平台的建设及融合，贵州农信初步形成了可视化的IT运维管理体系。实现了IT运维管理可视化、可量化的建设目标，提升了IT运维管理水平和风险管控能力。通过在一个平台上对所有监控数据、资源数据的集中展示和管理，实现直观的展现IT系统整体运行情况的目的，推动人力集中型运维模式向集中可视化运维模式的转变。通过对运维资源的有效整合，改变落后的运维管理状况，提高运维工作效率，减轻运维工作压力，保障信息系统安全、高效、稳定运行。

项目方案

项目架构：

IT可视化运维管理体系建设方案充分考虑贵州农信当前IT运维管理现状，着眼于未来迈向智能化运维方向设计，项目整体架构分为基础数据采集层、数据管理分析层、态势集中展现层。

基础数据采集层将采集到的数据汇聚到数据管理分析层，由数据管理分析层进行统计、分析、处理，提供给态势集中展现层进行统一展示，从而实现我社运维从基础数据采集到顶层可视化的关联展示，实现归集化统一管理。基础数据采集层提供动环、安防、主机、操作系统、中间件、应用系统、数据库配置、告警信息及运行日志，主要模块包括：运维监控管理平台、应用软件性能监测系统、听云监控平台、云趣数据库监控系统、日志分析管理系统、solarwinds网络监控、科来网络回朔分析系统、云管理平台、安防监控、动环监控等。

数据管理分析层提供集中身份验证、数据建模分析、配置管理、资产管理、流程管理、单点登录等功能，主要模块包括：监控数据中台、网间数据摆渡系统、IT服务管理平台、IT资源管理平台、堡垒机系统、运维自动化管理平台、移动APP办公、运维安全管理系统等。

态势集中展现层提供数据可视化展示、流程可视化展示、运营可视化展示，主要模块包括：地理信息可视化、数据中心可视化、架构管理可视化、集中大屏可视化。

业务设计：

将数据中心各监控管理系统（如：动环监控、Tivoli监控、应用性能监控、听云监控、数据库监控等）的集成整合，由集中监控系统进行统一管理和实时关联分析，实现从系统、应用到业务的端到端运行状态的全面管控，实现跨技术领域的运维数据处理，快速有效地定位故障告警根源，提高故障诊断效率，同时构建不同层级、不同部门间协同解决问题的平台，成为应对突发事件，支持领导决策的一种重要手段。以IT资源管理平台为核心构建配置管理数据库，IT可视化运维管理平台与IT服务管理平台根据不同应用及消费场景与IT资源管理平台实现互联互通，如集中监控事件读取IT资源配置丰富事件、集中监控派发工单到IT服务管理平台。

技术、实施设计：

IT可视化运维管理体系中各系统采用Linux平台部署，数据存储使用主流数据库，各系统均集群化设计，数据处理及存储资源可水平扩展，系统间相互调用均采用业界广泛应用的Restful或Webservice接口方式。各系统间实现单点登录，由IT服务管理平台提供入口进行一键跳转。IT资源管理平台提供数据服务，各系统间实现数据共享与数据复用。监控数据中台以界面化开发与配置的方式对外提供各类事件、性能、配置数据集成服务，以被动接收及主动抓取两种方式实现与各系统数据实时同步。

创新点

1.制定运维监控数据标准，提升数据治理水平。

监控数据标准是集中运维监控平台的基础，贵州农信以银保监会发布的《数据标准化规范》为基础，结合我社实际，制订了《贵州农信标准化监控指标体系》。

2.构建监控数据中台，增强运维数据服务能力。

监控数据中台是集中运维监控平台的核心，对外提供灵活的数据服务，对内提供业务场景的展示分析，建立运维数据可视化，提升运维数据服务能力。

3.创新场景化运维模式，提高告警事件解决效率。

场景化运维是IT可视化运维管理体系实现精细化管理的有效手段。场景化运维模式依托数据中台的整合优势，为不同管理角色提供一站式IT服务，如关联影响分析，当某系统告警触发时，便可知道哪些系统与该系统存在关联关系，同时可链接到相应的系统架构图，从而进一步了解深层次的影响范围。

4.知识共享，提升团队技术能力。

知识共享能够提升团队协作和分享能力，发挥团队成员主动性和创造性。在IT运维工作及故障定位时，可视化的展示可有效提升沟通效率，使整个组织形成知识积累、统一认知、快速分享和实时更新的机制。

5.探索智能化运维模式，逐步向IT运营模式转变。

智能化运维是IT可视化运维管理体系的发展方向，运用自动化、数据挖掘等技术，通过建立系统可用性主动探测机制，以及标准化指标体系建立的性能预测，使用“动态阈值”与“故障分析”技术帮助运维人员发现潜在的运维风险，提高性能阈值的合理性，从而提高告警的准确性及有效性。

技术实现特点

1.IT可视化运维管理体系均采用B/S架构，易于后续维护升级。用户端除浏览器插件，无需下载任何应用，且支持IE浏览器、Chrome浏览器进行访问。

2.各系统均采用分布式部署，具备负载均衡能力。支持冷备、双活和多活集群部署模式，以保障系统本身的高可用性。

3.IT可视化运维管理体系中各系统间实现单点登录、数据共享、数据复用。

4.IT可视化运维管理体系中各系统具备较好的扩展性，均采用业界标准且广泛应用的API，易于集成。

5.数据安全: 系统总体设计时同步进行安全保密设计，利用成熟的安全技术确保数据的保密性、完整性、可用性和可控性，包括数据传送安全、数据存储安全、数据操作安全等。

6.系统安全：从主机系统、数据库系统、应用系统等多个层次考虑安全性，具有动态加载、卸载功能，具有实现系统不停机维护的能力，能够保证持续性地工作。

7.系统审计：对用户信息特别是关键信息的修改有日志记录，对敏感数据的查询和使用严格授权。8.IT可视化运维管理体系各系统提供组织机构管理、用户管理和权限管理等功能，实现内外部用户的统一管理。

项目过程管理

IT可视化运维管理体系项目建设整体分为5个阶段，分别为项目启动阶段、项目计划阶段、项目执行阶段、项目监督与控制阶段、项目收尾阶段。

2018年10至11月完成项目启动，主要包括同行业建设成果调研与咨询、项目章程制定、项目负责人明确、识别相关部门干系人等项目准备工作。

2018年12月至2019年1月项目计划制定，主要包括目标细化、行动路线规划、需求收集、可行性评估、风险识别、质量规划、制定进度计划、制定人力资源计划、估算成本、采购规划、整体计划制定等工作。

2019年2月至10月为项目执行阶段，整合人力和其他资源，在项目的生命期或某个阶段执行项目管理计划。主要包括科技统筹管理、实施采购、质量保证、管理干系人参与、组建项目团队、沟通管理等工作。

项目监督与控制贯穿于整个项目体系建设过程中，我社根据项目建设整体目标要求，定期测量和监控项目绩效情况，识别与项目管理计划的偏差，以便在必要时采取纠正措施，确保项目或阶段目标达成。主要包括范围控制、进度控制、成本控制、质量控制、管理项目团队、沟通控制、风险控制等工作。

2019年12月为项目收尾阶段，正式验收产品、服务或工作成果。主要包括上线试运行前的功能测试、压力测试、组织相关技术培训、文档类资料收集等工作。

运营情况

截止2019年10月，IT可视化运维管理体系中所包含各系统均已完成初步建设，并已于生产环境投产试运行，其中集中监控系统已完成涵盖业务、应用、系统、网络、基础设施的11套监控工具与6套重要金融业务监控数据的有效整合，统一短信通知及事件工单派发入口，集中监控汇聚处理后的事件通过自动派发工单方式记录事件整个生命周期。除此之外，为一线运维提供更加聚焦的集中监控大屏，为二线提供信息更加丰富、关联分析更加精准的故障排查平台。IT资源管理平台已初步完成知识转移，按照ITIL标准分配配置管理岗管理，并按照规范与标准下沉至各条线进行有效的数据维护以及数据质量把控。IT服务管理平台已完成相应规范制定，并逐步全面推广。底层各监控工具已完成监控指标标准与规范制定、阈值调整流程制定、监控覆盖度评估等系列工作。上层IT可视化管理平台已完成上线投产，地理信息可视化管理范围已扩展至行社，从省联社可直接查看行社系统运行状况及实时业务信息。架构管理可视化已集中在线管理100余套应用系统架构图，作为日常事件影响分析及故障定位有效、直接的有力支撑。

项目成效

1.监控数据中台将贵州农信“两地三中心”的监控数据进行了有效整合及共享，打通了数据孤岛，实现了监控系统告警、性能和配置数据的统一管理，提升了贵州农信监控数据管理能力。

2.全面标准和规范贵州农信监控数据。通过对各类监控数据的标准化和规范化处理，实现了在一个平台上对所有监控数据的有效管理和综合呈现，从而减少排障时间，提高事件解决效率，提升贵州农信IT运维管理水平和风险管控能力。

3.实时监控系统运行情况，及时预警和发现应用系统运行异常。提高运维人员效率，保障系统稳定运行。

4.提高IT资源使用效率，降低企业运维成本。通过监控数据中台的可视展现及架构图的关联分析，减少对人力和经验的依赖。

5.为行社提供标准高效的IT服务，提高用户满意度。通过IT可视化运维管理体系的建设，使贵州农信的IT服务能够共享统一的平台，实现对行社提供直接、透明、高效的IT服务，为行社和IT运维团队之间提供有效沟通平台，改善IT服务品质，提高用户满意度。

6.有效整合贵州农信现有监控工具的多维监控数据，形成了标准化、多维度、多类型的监控数据中台，使IT运维管理可视化。一方面满足了“IT可视化运维管理”管理工作要求，实现多数据中心的集中监控展示，另一方面为IT可视化运维管理模式向智能化运营模式发展奠定了坚实的数据基础。

经验总结

1.以监控数据中台为主线制定接口标准与规范，其它各系统须遵循并沿用此标准，并且接口类型以Syslog、Restful、Webservice为主，降低后期接口运营与维护成本。

2.监控数据中台被动接收各监控工具推送的实时告警数据，充分保证告警时效性，避免告警漏报，并且监控数据中台针对类似Trap产生的无法自动恢复告警，实现告警反向关闭，形成流程闭环。

3.IT资源管理平台作为***数据管理及供给方，其它各系统统一消费一套数据，确保相互之间调用消费后提供前台的数据一致。

4.集中办公，建立高效沟通机制，行方人员应深度参与项目建设过程和各环节，降低知识转移成本，提高运营能力。

5.推广过程中，需要充分重视使用人员的要求及建议，并尽量站在使用人员的角度考虑问题。项目组作为一个桥梁，需要尽量以专业的方式，将使用人员的需求及建议，提供给公司方，并根据实际情况评估需求可行性。

6.加强培训，并及时关注培训效果。培训是推广中的重要环节，使用人员的层次各不相同，需要项目组耐心对待，及时关注使用人员的使用情况及使用体验。