项目背景及目标

四川农信信息科技中心IT运维工作经过多年实践和积累，在运维管理流程和运维工具建设方面有一定的项目建设成果，包括：

1、建设了基于ITIL的运维管理流程工具并广泛使用。

2、建设了CMDB、集中监控系统、基于网络抓包的应用监控系统、日志收集分析系统等运维工具，为运维工作提供有效的技术支撑。

3、在运维管理流程上对监控、变更、发布和CMDB均建立映射关系，尽量使CMDB数据实时有效。

虽然有流程制度保障和较多的工具支撑，在实际工作中仍然暴露出一些问题：

1、我们的运维工具比较多，运维人员往往需要熟悉使用各种运维工具并在合理的场景中使用。然而在发生生产事件和问题分析时，运维人员需要凭借经验，切换使用各种运维工具，实现故障定位、影响分析等工作。

2、我们的监控系统都是针对某类应用场景的，比如系统维护人员有zabbix工具监控服务器指标，网络维护人员有自己的网络监控工具监控网络指标，应用维护人员有自己的工具或脚本监控应用的健康度。各自配置监控视图、报警阈值。

3、一旦出现问题大家在群里沟通，或者电话沟通，或现场讨论，理清存储、网络、系统、应用等之间的依赖关系，定位问题点。同时领导也无法了解整体情况。上下游沟通成本高，问题分析能力依赖于开发和运维人员的技术能力。

针对以上问题，我们急需做一件事，就是“收敛、统一”。所以我们的目标是：

1、整合运维工具以及运维数据，提高运维数据的消费效率，拓宽运维数据的消费场景。

2、信息系统高可用依赖关系全景图从业务角度展现系统全景，为领导、各运维角色提供个性化视图。

3、信息系统高可用依赖关系全景图依据从存储、网络到应用、业务各层次的依赖关系而成，整合数据，实现数据统一展现、故障精确定位。

项目方案

信息系统高可用依赖关系全景图从业务的视角出发，监控整个业务流程的健康状况，无需多个系统切换，直观看到全局和上下游，方便快速发现、定位问题。

我们的实施路线图是以CMDB为基础，制定数据标准，整合现有运维工具，形成统一视图。

1、CMDB以及标准指标数据库

整个平台的底层是数据，包括元数据和指标数据。元数据是CMDB库中定义的所有服务器以及其承载的应用系统信息和业务信息，是依赖关系全景图的依据。指标数据是把各类运维工具的数据格式化后存储到标准数据库中，是依赖关系全景图的动态数据。

我们的*****件事情是把数据全部标准化，所有监控指标都落到这里统一管理。

CMDB库的元数据是各类运维工具的***基础数据来源，我们还做了变更发布引起的元数据变更实时同步CMDB，保证CMDB库的实时有效。

2、应用原子链路梳理

从业务角度出发，梳理完整的应用原子链路模型，建立起一个从“宏观”到“微观”的业务角度的依赖关系全景图。

应用原子链路梳理从上往下主要有以下方面：

业务场景：指用户的一个业务活动，如用户登录、修改密码、行内转账等。业务场景都有标准的指标来反应健康状况。

服务接口：指业务场景调用的一些服务接口，如行内转账要依次调用2次账户查询服务、1次转账服务、1次余额查询服务。每个服务接口会有消费方、服务方、服务码等基础参数，也定义了标准的指标来反应服务的健康状况。

应用系统：指提供服务接口的各类应用系统或子系统。 如ABS柜面系统、蜀信e-能力中心子系统、企业服务总线系统等。应用系统有标准的指标来反应健康状况。

再往下是中间件、数据库，中间层软件。底层是系统、网络、存储等基础资源。我们都定义了标准的指标库来反应其健康状况。

以业务全链路作为一个入口，层层下钻，把所有的业务指标以及后面的应用监控、系统监控串联起来。

3、快速拓扑展现

采用成熟的软件产品系统，根据CMDB以及应用原子链路模型，自动生成业务场景的依赖关系全景图。每个业务场景都自动生成业务量、交易耗时、成功率等标准指标，同时每个业务场景都可以通过下钻查看详细的监控数据，包括：服务接口调用情况、应用系统、中间件、数据库的健康状况、基础环境以及机房、机架的监控数据。

每个业务场景都自动生成交易链路，也可以通过可视化编辑页面对链路进行调整。

4、数据填充

以CMDB等数据为基础自动生成了依赖关系全景图后，我们制定了标准的数据接口，收集现有的集中监控系统、网络抓包工具、日志收集分析系统等告警数据、流量数据，填充到依赖关系全景图中，让图活起来。

针对这部分动态数据我们制定了标准指标库，是依赖关系全景图各层对象必须有的指标。如业务场景的指标一定有交易量、耗时、响应率、成功率、错误码。

还可以根据各自不同特点，定义其他辅助指标，比如：按用户手机品牌统计，用于个性化分析和定位问题。

5、数据消费

我们配置了业务场景、服务接口、应用系统等层级，每个层级的依赖关系已经建立，每个层级也都有标准指标数据来描述其健康状况。这就构建了一个从细小颗粒度监控、灵敏度较高的监控系统。

系统检测业务场景指标是否正常，在业务场景指标出现异常以后，会快速检测它下面的依赖的服务接口是否正常，依次向下排查，缩小排查范围，指明排查方向，减少人工排查的工作量。

创新点

此次项目是对现有运维工具和数据的整合，形成统一视图。

技术实现特点

项目的技术实现主要包括

1、外部数据：主要是现有的各类运维工具生成的数据，此次项目的目标是整合这部分数据，形成统一视图。

2、数据定义层：CMDB和标准指标数据库，以及应用原子链路模型，这是运维工作长期的成果积累，也是整个项目的基础。

3、展现层：成熟的自动化工具，可根据配置数据自动生成多层次的架构图。

项目过程管理

项目总共历时5个月，项目阶段分为需求分析、设计、

实施、上线。

运营情况

1、系统持续正常运行的基础是CMDB以及标准指标数据库，我们持续改进，定期完善更新、检验数据，确保系统持续有效运行。

2、通过业务全链路监控，实现了对业务的监控标准化和全覆盖，避免了自定义监控覆盖不全面、不标准、配置工作量大的问题。

项目成效

1、依赖关系全景图监控到每个业务场景各自的依赖关系，实现小粒度的精细化监控。而不是以往的对应用系统的交易总量进行监控，因为系统交易总量没有异常并不代表业务正常。

2、实现了准确而敏感的故障定位。业务场景出现问题可下钻定位到具体的软件和硬件，任何故障也都可反映出影响的业务范围。

3、依赖关系全景图是基于配置数据和指标数据的架构图，实际是知识积累的直观展现。是对新员工培训或与运维人员学习的好的教材。同时可有效的提升沟通效率。

4、在日常的变更管理工作中，分析变更影响，进行变更过程评审是变更管理工作的重点。通过依赖关系全景图可以使变更影响分析的工作得到了改善，只需要搜索变更项，便可知道哪些系统与该变更项存在关联关系。

经验总结

此次项目对于整个运维体系的数据规范化梳理，一方面在IT治理层面保障了运维管理工作可持续的优化；另一方面随着架构可视化建设的深入，以依赖关系全景图作为运维工作的沟通基础，提升沟通效率。

本文由2018年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。