案例背景及面临挑战

内蒙古农村信用社自2005年成立以来，在信息化建设的支撑下，业务规模持续增长，满足各业务的信息系统种类多样，数量庞大。尽管实现了各业务系统软硬件方面的全网监控，也实现了统一运维管理，但还是处于被动运维管理模式，对信息系统的健康程度了解不够深入；不能快速排查应用系统处理交易变慢的原因；不能从业务交易的角度上综合分析关联系统之间的运行情况。只能通过加强应急响应服务来备不时之需。

因此，根据现有的IT系统资源运行管理状况，我们希望建立一种能高效、规范的面向业务系统运行中针对系统交易性能的应用视图的一体化监控管理体系。用其协助进行面向业务系统的智能化运维创新尝试，以保证业务系统在生产运行中的可靠性，预防系统运行性能下降造成突发事件的发生，查找应用系统运行中的异常点，以及定位系统性能瓶颈，梳理应用系统之间的关联关系，用于提高业务系统运行效率、质量监测和IT 运维服务水平，确保数据中心及时监测和掌控IT系统的稳定、安全运行情况。

通过建设交易应用性能监控管理平台，使运维管理人员能够方便、直观地自动发现交易路径、学习交易路径、快速梳理构建业务IT架构、自动生成服务应用系统服务路径图、快速发现并定位异常告警、查询、分析、统计应用系统性能数据和关联交易相关信息。从而进一步提高银行系统运维能力，实现对系统故障的提前主动发现，完成故障及时发现与问题准确定位，有效防控和降低生产系统IT运维难度，提升反应速度与服务质量，保障业务的连续性与稳定性，真正实现银行IT系统零风险管理，为银行信息系统安全稳定运行奠定基础。

实施时间

项目于2016年4月正式启动，2016年6月完成需求分析，2016年7月完成设计评审工作，2016年8月完成开发工作，2016年9月完成了项目整体测试工作， 2016年10月成功上线试运行。

应用技术／实施过程

（一）平台整体架构

1.系统架构

交易应用性能监控管理平台是一套独立于被监测应用系统之外的监控平台，它是基于网络的非耦合监听解析技术实现对应用交易数据的监听和还原，终通过软件的自有功能，实现全交易的端到端的可视化、交易故障定位、以及对交易数据的统计分析，实时动态获取各业务应用系统运行中的相关运维工作所需的关键数据，让运维管理人员直观方便的掌握业务系统的性能和健康度，终实现IT可视化运维管理的目的。平台总体设计如下图所示。

图3.1 平台总体设计图

内蒙古农村信用社交易应用性能监控管理平台架构分为三层，各个层次的组件可以根据要求灵活配置和部署，为未来应用的扩展、交易监控以及运维管理提供了可扩展的空间。交易应用性能监控管理平台采用被称为“MVC设计架构”的技术是一种三层系统设计框架，分层设计可以保障系统的高可靠性、平台灵活可扩展，各层之间耦合性较低。

内蒙古农村信用社交易应用性能监控管理平台三层体系包括：数据采集层，主要是由多路数据汇聚器对银行应用流量进行镜像与汇聚，然后由分布式采集器进行报文过滤和处理，并对交易报文进行解析，形成动态海量交易元数据；逻辑处理层（系统应用层），主要是由服务架构学习引擎、性能分析引擎、异常定位与告警引擎负责对应用交易逻辑进行快速处理，形成规格化文件数据与逻辑关系数据；功能视图层（系统表现层），负责为多种角色（如：业务部门、风险部门、应用运维、开发部门、架构管理等部门）提供基于B/S方式的综合分析、业务视图、交易跟踪、性能中心、事件中心、服务架构、配置与系统管理等交互式界面。

2. 应用架构

交易应用性能监控管理平台由数据获取、应用功能交互展示两部分组成，数据获取从实现上又分为数据采集和数据分析处理。为了保证网络数据采集的实时性及数据完整性，数据采集功能采用专用综合网络数据接入服务平台和采集器（专用硬件设备）实现。为了保证数据分析处理的高效性，数据分析处理采用C语言开发的C/S模式。应用功能交互展示则使用基于WEB的B/S模式实现。因此，数据分析及分析处理又称为C/S分析服务后台，相应的应用功能交互展示称为B/S应用服务前台。C/S分析服务后台和B/S应用服务前台通过数据库服务器进行数据共享。平台应用架构如下图：

图3.2 系统应用架构

专用综合网络数据接入服务平台通过单向监听方式从网络设备采集被监测的业务系统的网络数据并交由分析处理模块处理，分析处理完成的数据被发送到数据库服务，B/S应用服务前台从数据库服务中读取数据，然后基于展示交互需要处理数据后在浏览器展示。

3. 物理架构

平台的部署物理架构如图所示：

 图3.3 平台部署物理架构图

(二) 平台设计

1. 后台设计

交易应用性能监控管理平台的后台设计包括中心硬件环境和后台应用程序两部分。

核心、外联、综合前置交换机通过端口镜像将数据包送至多路数据汇集器；多路数据汇集器通过QOS重定向，剔除掉无用的数据包，将有用的数据包均衡的送至网络数据采集器群，网络数据采集器完成数据包的预处理、网络层的重组；将数据提交至交易性能监测分析服务器，分析服务器完成网络层的报文重组，会话层报文的重组，根据核心业务数据格式提供的交易域完成在应用层的交易报文解析。具体硬件环境结构图如下图所示。

图3.4 硬件环境结构图

交易应用性能监控管理平台后台按照功能，分为多个关联的模块进行设计，每个模块处理本模型关注的问题，对各个模块间采用共享内存等方式进行数据传递，降低了系统开发复杂性，同时加快了系统开发的效率。交易应用性能监控管理平台后台技术设计流程图如下：

图3.5 技术设计流程图

2. 前台设计

交易应用性能监控管理平台使用Portal门户技术架构实现了前端的设计。Portal是一种Web应用，用来提供个性化、单点登录和聚集各个信息源的内容，并作为信息系统表现层的宿主，具有稳定运行灵活定制、方便展现、易于定义用户、角色和组织机构，并为每个不同角色提供不同的功能模块，实现集中应用运维管理。聚集是指将来自各个信息源的内容集成到一个Web页面里的活动。系统采用B/S架构，Web方式进行访问。具体的Portal技术架构如图所示。

图3.6 Portal技术架构

交易应用性能监控管理平台采用动态全中文界面，具有操作简单直观的特点。系统采用大量的图形、表格、曲线等多种形式显示。系统为了提供更加友好的展现，Web前端采用JQuery Ajax技术，使用户能更方便地处理HTML（标准通用标记语言下的一个应用）、events、实现动画效果，并且方便地为网站提供AJAX交互。

(三) 系统功能

交易应用性能监控管理平台目前主要包括五大功能模块：

交易性能监测中心，利用性能分析功能，按照小时、每周、每日及自定义时间段分析任意业务节点、任意业务路径和任意交易流程的各项性能指标；

交易跟踪功能，根据交易渠道、交易类型、交易结果、交易返回码、响应时间、卡号、账号等条件查询业务系统的交易历史，能够对特定的交易信息进行追溯，直观的反映所跟踪交易的整个业务流程，以及该笔交易在整个业务流程中流转所经的各设备及响应的间隔时间；

服务架构自学习功能，系统可以根据应用网络数据，自动生成IP连接关系图。再通过交易要素合并、分析设备功能、合并设备等步骤，生成服务架构图，并在服务架构图的基础上，分析出所有的交易流程；

综合视图展现功能，系统支持各应用系统运行状态的总览，能够呈现所有应用系统的近24小时的运行状态，并支持点击时间片直接关联至服务路径视图。系统的图形化的配置接口，可以快速定义业务应用的服务路径图。通过配置服务路径图，能够体现业务应用的访问和依赖关系和业务应用组件服务的网络属性；

告警设置功能，系统支持告警收集、过滤、分级、通知、查询和统计等功能。交易应用性能监控管理平台主要是通过在网络上部署采集器，获取各业务系统的报文、通过报文解析和重组等技术，来监测业务系统运行状态，系统完全独立于被监测系统，不需在被监测的业务系统中安装任何软件，就能实现业务交易层面甚至系统性能方面的监控。

应用效果

交易应用性能监控管理平台自投产运行以来对我社已上线对外营运的33套业务系统进行了监控，其中内部服务渠道类有16个系统，支付渠道类有6个系统，第三方渠道类有11个系统，全面实现了多渠道交易的监控预警。通过对自定义时间段内分析查看交易量、成功数、失败数、响应时间、成功耗时、失败耗时、成功率、失败率、超时率、流量、上行流量（请求）、下行流量（返回）等指标的实时监测，以及分级告警机制，对不同严重程度的系统异常情况进行不同的告警，实现了对各应用系统性能监测及运行健康性评估。以2017年10月份为例：监测到可回溯交易2.2亿笔，其中超时交易2761笔（占比约十万分之一），触发一般异常告警1笔，轻微异常告警243笔（多为响应时间过长告警）。

随着内蒙古农村信用社业务的不断发展，新的业务种类和业务系统的不断增加，交易应用性能监控管理平台将不断扩大检测预警对象和范围，将会得到更广泛的应用，为内蒙古农村信用社的业务发展保驾护航，希望内蒙古农村信用社此次创新与实践通过提升系统运行风险预警能力为行业内运维管理方面提供借鉴和成功的案例。

单位介绍

内蒙古农村信用社创建于1951年，是由辖内农牧民、个体工商户、企业法人和其他经济组织入股组成的地方性金融机构。截至2016年12月末，全区共有93家旗县级法人机构，其中农商银行23家、农合行3家、统一法人社67家。

全区农村信用社营业网点2341个，员工总数30333人；资产总额5584亿元，存款总量4037亿元，贷款总量2536亿元，在全区银行业中分别率先突破5500亿元、4000亿元和2500亿元大关，分别是自治区联社成立之初2005年的8.8倍、10.3倍和10.3倍；建成助农金融服务点10859个，覆盖全区99%的行政嘎查村；发行金牛卡3074万张，其中“惠农一卡通”（673万张）代理发放各类惠农财政补贴资金314亿元。以上七项指标均居全区银行业*****位。

内蒙古农村信用社已经发展成内蒙古自治区资产规模大、人员网点多、服务范围广的地方性金融机构，是农村牧区金融服务主力军、党和政府联系农牧民的金融纽带和桥梁。

本文由2017年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。