项目背景及目标

近几年来行业内由于运维管理不当造成金融机构信息科技风险事件时有发生。监管部门始终对信息科技风险管理十分重视，在其发布《中国银行业信息科技“十三五”发展规划监管指导意见》、《商业银行信息科技风险管理指引》等文件都多有提及，对信息科技风险管理工作提出了高要求。同时近年客户需求的快速变化，电子渠道和互联网金融等业务的快速发展，银行业务对信息科技的依赖逐年加深，信息科技对银行业的支撑作用日益明显。信息科技风险的有效控制和管理成为工作重点。

为加强我社科技风险防范能力，提升运维管理水平，结合自身运维体系的建设情况，以客户体验为中心，利用模拟仿真、自动化技术，建立业务拨测系统。对运维管理体系进行补充和进一步提升。

目标：

1．构建基于用户感知的业务拨测系统，对业务进行监控，避免业务故障发现、处理不及时，影响客户满意度进而造成客户流失。

2．实现及时、有效获取系统可靠性指标（可用率、MTBF、MTTR、MTTF等重要指标）。

3．增加主动监控维度，驱动现有监控体系形成良性、自优化闭环体系。

4．形成应用系统级别的故障定位，及构建业务故障影响范围快速判定方法。

5．弥补现有运维体系存在短板，解决交易监控系统夜间无交易情况下的盲区。

项目方案

业务拨测系统的架构设计是根据我社目前的运维体系建设情况，基于模拟仿真、自动化技术的应用实践。架构设计在满足稳定性、灵活性、安全性、可扩展性和整体连通性等要求的原则基础上，保持体系架构的先进性。系统内部主要包括模拟仿真定义模块、指标计算模块以及场景分析模块。对外业务拨测系统与集中监控系统、自动化系统、服务流程系统以及统一展示系统进行了科学对接，使业务拨测系统合理融入我社现有运维体系。

1.模拟仿真定义模块，具体实现了纳管业务系统模拟用户交易的定义、自动化任务的定义以及串联应用系统、业务链路、人员等基础信息关系形成业务系统逻辑图谱，具体包含操作任务管理、仿真录制管理、模拟报文管理、应用系统管理、业务链路管理、业务系统管理、协议类型管理、动态参数管理、交易类型管理等管理功能点。

2.指标计算模块，模块主要实现了业务可用率、 MTTF (Mean Time To Failure，平均无故障时间)、MTTR (Mean Time To Repair，平均修复时间)、MTBF (Mean Time Between Failure，平均失效间隔)等系统可靠性指标的计算，并生成日报、月报、年报等报表。具体包括系统可用率指标、告警分类、响应时长、MTTR指标计算、MTBF指标计算、MTTF指标计算、返回码统计等功能点。

3.场景分析模块，该模块是具体运维管理场景实现，科技人员可以通过全局业务拓扑图实现业务级别直观根源定位；通过集群下应用性能比对功能查找出多应用集群场景下问题应用；通过回溯业务拨测历史数据实现周期性故障的分析，为发现、解决周期性用户体验差故障提供方法；通过拓扑图告警颜色变化，来判定已发生故障的影响范围。

4．与外部系统对接，满足外部系统运维需求，遵照我社一体化运维架构思想，实现运维数据互联互通。其中：

1）与集中监控系统对接，实现告警上送达到故障告警的集中管理，完成故障告警级别的统一定义， 告警发生时统一上大屏、声音提示、短信通知等。为集中监控系统提供用户体验维度数据，利于运维大数据分析。

2）与服务流程系统对接，为服务流程系统提供业务系统可用性SLA指标数据。便于我社应用系统运维质量评定管理、外包商服务水平管理进行科学的评定。

3）与自动化系统对接，为自动化系统提供业务可用性维度的接口调用，终实现系统变更后、切换演练过程中的自动化业务验证工作，降低人力参与成本和人工验证可能造成的遗漏风险。

4）与统一展示系统对接，完成系统可用率、系统无故障时间等关键指标的供给，为统一展示系统提供有价值的展示元素。

创新点

业务拨测系统在建设过程中针对技术应用、算法进行了诸多尝试性工作，涉及创新点大概有如下几个方面：

1．创新性的从用户体验测试方式来计算系统可靠性。以往在统计系统可用率等系统可靠性指标上都是通过查找日志或查找交易监控系统数据来进行计算，耗时且容易疏漏造成指标结果计算的不准确。通过用户体验拨测的方式合理的解决了统计耗时、数据容易疏漏的问题，符合行业属性和统计学方法(下面为跨时段系统可靠性统计图)。

2．形成业务维度的拓扑根源定位模型。充分研究应用系统SOA架构属性，结合业务系统交易链路拆分，采用有向图结构算法形成准确、高效的拓扑业务故障定位模型。

3．构建运维监控体系基于用户体验驱动、自优化良性闭环模型。当业务拨测发现故障高警时，反查其它监控手段（业务交易监控系统、基础监控系统、应用监控系统等）是否有“通顺合理”告警产生，如果其它监控手段没有符合情况的告警产生或者产生的告警不精细、完全，则需要对其它告警手段做进一步优化，做到从用户体验维度反向推动其它监控手段的完善。

技术实现特点

业务拨测系统内部主要包括模拟仿真定义模块、指标计算模块以及场景分析模块。涉及模拟仿真技术、自动化技术、多种分析算法以及动态界面展示技术。具体包含如下特点：

1．模拟仿真定义模块内涵多种仿真模拟程序，以用于模拟多种类型的用户交易，目前通过持续开发和丰富，协议支持类型已经涵盖我社多种业务系统，协议类型丰富。（TCP、 HTTP、WMQ 、WTC、CICS、TUXIDO、JDBC、ISO8583、XML、JSON等）

2．指标计算模块通过模拟用户拨测结果，根据MTBF、MTTF、MTTR、系统可用率指标来计算、评定系统可靠性：

 MTTF (Mean Time To Failure，平均无故障时间)，指系统无故障运行的平均时间，取所有从系统开始正常运行到发生故障之间的时间段的平均值。 MTTF =∑T1 / N；       

MTTR (Mean Time To Repair，平均修复时间)，指系统从发生故障到维修结束之间的时间段的平均值。MTTR =∑(T2+T3) / N；

 MTBF (Mean Time Between Failure，平均失效间隔)，指系统两次故障发生时间之间的时间段的平均值。 MTBF =∑(T2+T3+T1) / N。

项目过程管理

该项目为我社2017年立项建设项目，具体建设情况如下：

1．2017年7月至2017年8月，立项阶段。该阶段完成项目立项前的可行性分析和项目立项。

2．2017年8月至2017年9月，准备阶段。该阶段进行平台的技术研究、调研及分析工作，并对平台的功能进行规划。

3．2017年9月至2017年10月，需求分析阶段。该阶段具体分析平台需要实现的管理流程和功能，形成需求规格说明书。

4．2017年10月至2018年2月，设计开发阶段。该阶段进行平台的概要设计、详细设计和编码开发及功能测试。

5． 2018年2月至2018年3月，验收测试阶段。该阶段与设计开发的功能测试阶段部分并行，对系统功能进行功能测试和非功能测试。

6．2018年4月至2018年6月，平台投产和试运行阶段。

7．2018年7月至2019年6月，进行业务拨测系统上线一年运行维护工作，计划后续扩大业务拨测系统的覆盖面。

运营情况

业务拨测系统自2018年4月投产以来，纳管了办公自动化系统、门户系统、信息发布系统、二代支付系统、柜面系统等系统，平台运行稳定，平均每天实现5000笔交易，系统未出现重大功能缺陷和性能瓶颈。

目前业务拨测系统已成为我社运维体系重要组成部分，科技管理人员借助业务拨测系统数据编写运行月报，把业务拨测监控结果数据作为应用运行质量的评定参考指标。科技运维人员把业务拨测系统告警作为故障是否影响用户正常使用的判定依据。后续计划在重保系统和对客业务系统基础上将我社所有一类系统全部纳入到业务拨测系统中来。进一步增强运维监控管理水平。

项目成效

截止目前业务拨测系统将我社的大部分对客业务系统、重保系统纳入到主动监控维度，实现用户体验维度的监控，以及业务可靠性相关指标的计算。经过一段时间的运营成效明显，具体体现在如下方面：

 1. 实现了基于用户感知的业务拨测系统，形成运维监控体系后一道防线，避免业务故障发现不及时，影响客户满意度进而造成客户流失。

2．实现了实时计算、获取系统可用率、MTBF、MTTR、MTTF等指标，便于满足《商业银行信息科技风险动态监测指标》关于系统可靠性指标上报要求。

3．促进了运维监控体系持续优化。通过建设业务拨测监控系统，结合目前我社已建立的基础监控系统、交易监控系统、应用性能监控系统等监控手段形成完整的监控网络。从用户感知角度反向推动其它监控手段的完善建设，倒逼优化基础监控体系的促进作用。经过业务拨测系统推动基础监控系统及其它监控系统完善监控指标50多个。

4．使得我行科技人员在故障发生时清楚问题的严重性，避免故障发生后不能及时断定业务是否已经受影响。科技人员可以通过是否接收到业务不可用告警，来判断故障是否对用户体验已经产生影响。

5．弥补了在无交易、少交易情况下，流量镜像交易监控方式无法继续进行业务监控的漏洞。

经验总结

业务拨测系统比起其他运维管理系统的建设过程中个性化的内容相对多一些、难度大一些，在模拟用户交易的选定、验证、交易链路联调过程中需要项目成员同时和业务人员、科技研发人员、厂商等多角色进行沟通。特别是ATM、网上银行等对客业务系统，在实现用户行为模拟过程中，需要了解卡片加密机制、用户验证机制等诸多复杂技术问题。故此在系统建设过程中做好前期调研工作是关键。

我社在业务拨测系统建设规划阶段，进行了全面的调研、分析工作，调研后首先制定了分批建设计划，按照纳管难易程度和优先级将计划纳管业务系统分成多批次，项目建设过程中采用迭代管理方式进行项目建设管理工作。保证快速、有序的完成各个批次的建设工作。建设周期中严格遵照我社质量管理办法，确保各个阶段的评审工作。规避技术风险和管理风险。

在完成充分调研、合理规划的前提下，再进行系统建设工作，保障业务拨测系统建设的进度和质量，使系统能够达到预期的建设目标，发挥应有的作用。