项目背景及目标

随着互联网金融在创新中普及，银行业务电子化程度和连续性要求将进一步提高，进而对IT系统的运维带来深刻影响： 一方面进行系统运维的时间窗口将越来越小，甚至要求“无感知运维”；另一方面，关键业务将对重大故障呈现“零容忍”。面对新的挑战，原有基于监控的运维体系(基于监控数据结合经验判断)，在事前排除故障和事后故障恢复方面仍有很多改进空间。

国内银行业对大数据分析技术的应用更多集中在对业务发展的研究与探索，在系统运维方面应用较少。借助大数据分析技术打造智能化运维体系，形成智能感知、智能预警、智能处理的智能运维服务体系，以求能够实现事前预测、事后快速处理，逐渐成为新的探索方向。

虽然国内外金融机构已经将大数据技术应用在风险控制、运营管理、销售支持及商业模式创新等领域，但大数据分析在系统运维方面应用较少。借助大数据分析技术实现打造智能化运维体系，形成智能感知、智能预警、智能处理的智能运维服务体系，以求能够实现事前预测、事后快速处理，逐渐成为新的发展方向。

目标是借助大数据分析技术对辽宁省农村信用社联合社运维数据进行算法研究并建立风险预测模型，形成智能感知、智能预警、智能处理的智能运维服务体系，以求能够实现事前预测、事后快速处理的快速智能运维方式。

项目方案

本系统采用BS架构，具有操作简易，安全可靠，简化运维复杂性，提示运维水平的特点。

项目物理框架为：三台探针服务器、五台应用服务器、一台数据库服务器。系统总体逻辑架构由数据资源平台、数据应用平台、智能分析模块及可视化模块4部分组成。

一、数据资源平台：通过旁路方式采集流量数据、日志数据以及其他监控系统的数据。利用分布式协议解码、流式计算技术，实现对网络全流量的采集管理，作为整个监控方案的数据入口。

二、统一数据平台：通过构建统一的数据集成平台将不同运维系统的数据进行统一整合和管理，并提供数据规范化和封装好的相关技术模块，从而为智能分析模型提供丰富的运维数据源和标准的运维状态信息。以Hadoop和Spark作为基础，构建了一个统一的框架。通过使用标准的统一框架来定义和执行业务需求，简化大数据技术的复杂性和挑战，帮助企业快速积累数据资产，实现数据驱动智能运维。

三、智能业务分析平台：通过内置的AIOps智能分析引擎，建立以业务为导向的运维监控体系，帮助用户解决诸如故障发现、故障止损、故障修复以及故障规避等方面的问题。

四、可视化平台：将智能业务性能管理平台的相关数据通过web页面、大屏、移动APP、报表、邮件短信告警等形式进行可视化的实时呈现和通知，使用户能快速高效的访问这些数据。

物理布署结构采用“分布部署、集中监控”的原则，采用集中部署的流量汇聚设备进行网络流量的汇聚、过滤和分发；通过独立集群的专用解码设备组成交易解码平台，进行数据包解码和分析；通过独立集群的大数据平台进行关联分析和展现。

监控工具网络流量分析系统主要由网络探针、大数据平台和展现平台三部分共同组成。应用监控指标体系将定义业务系统关键服务的键康状况和系统运行状态，其中包含交易性能、应用性能、网络性能、标准协议、基础资源等类型的性能指标以及日志信息。其中以明确定义的交易性能指标为基准来衡量系统服务质量和真实用户体验，其他层面的性能指标用来衡量各组件的运行状态和内部服务状态，主要用来进行故障定位、性能优化分析等。

项目创新点

智能运维算法是智能运维解决方案的核心要素。

利用机器学习方法，智能运维算法能够协助运维人员更加准确有效地执行运维任务。这既包括了利用大数据平台去处理简单重复的工作，根据设计好的机器学习算法框架去自动高效地解决问题，也包括了对于开放性问题给出合理建议和可视化辅助展示，帮助运维人员作出决策。

目前，运维领域数据采集体量巨大且高度格式化，而智能运维算法设计显然没有很好地跟上数据采集的发展，很多传统领域依然依赖人工或者其他低效的方式对这些数据进行消化。同时，大量计算资源处于闲置状态，没有得到充分利用。

智能运维算法正是为了填补从丰裕的数据来源和计算资源到运维报告之间的空缺应运而生的。开发创新性的智能运维算法也是当前具有高边际收益的重点发展方向。

技术实现特点

技术架构分为五层：分别是智能数据源、分布式解码引擎、分布式存储、分布式计算处理平台和产品展现层。

项目组通过调研、研究、实践测试，初步建立了能够反映系统运行状况的一整套运维指标体系，并创新性的搭建了运维大数据统一管理平台。

一个统一的大数据集成平台应该减少系统的设计用途以外的恶意或意外的行为机会，防止信息的泄露或丢失。EDAP提供一个完整的安全和可治理的标准框架，将安全协议嵌入在框架中，极大地减少了开发过程中追求安全的琐碎工作，对大数据集群中所有关键操作类型的日志进行审计，同时还管理元数据的流入、流出等，对外围操作进行安全授权。

单一的设计原则使企业能在满足安全需求下治理数据。在处理或访问底层系统的数据时，EDAP增加或只增加很少的负载。它还允许系统只需简单地通过扩展底层基础结构而无需优化平台即可从TB扩展到PB。同样该平台按其分布的节点数量来衡量底层系统的规模。以Hadoop和Spark作为基础，提供了一个统一的devops框架，其标准化和预构建的集成简化了数据存储、业务逻辑和计算的组合。它设计合理，提供强大的、自服务的、灵活的、安全的、受治理的和不会过时的方法在本地、云或混合环境中来管理数据和数据应用程序。

运维数据有很多不同的形式，来源也各不相同，EDAP可以从多个来源收集并处理数据，其中包括网络流量数据、各种日志数据、实时输出的数据等。即便数据看上去很复杂，也可以借助EDAP轻松的实时收集、转换。

项目过程管理

项目建设周期为7个月，项目于2018年4月完成前期调研和业务需求论证，2018年5月启动系统开发，2018年11月完成测试及上线。

运营情况

运维团队在测试试运行过程中已经感受到了明显的效率提升，运维人员反馈解决了之前的系统运维的多项难点：问题发现滞后、故障排查方向不明确、运维完全依赖日志、代码等，导致故障场景复现困难，应急效率低下等问题。

主动监控业务系统服务质量，从系统用户的角度监测系统，感知故障，提高监控准确度，提高用户体验。

实现了单KPI异常检测和多KPI异常定位算法，能够自动发现故障、分析问题原因、定位故障节点，提高系统可用率。

基于AIOps算法模型，发现故障异常指标模型，在系统风险发生前做出预警，减少系统风险的发生。

以大数据平台为基础，将运维信息与银行业务紧密结合，有效提升了监控数据的使用价值，为建立科学的决策机制奠定了坚实的基础。

项目成效

通过AIOps算法模型和数据集成平台，能够快速从运维数据中萃取各种数据。

全面规范化治理运维的各种数据；

通过智能的手段对监控的各项指标监控，及时发现异常；

通过智能的手段进行故障诊断，提高运维效率，节省运维工程师的时间;

在故障发生之前进行故障预测，减少损失，提高系统可用性;

降低企业运维成本，减少对人力和经验的依赖。

经验总结

在项目研发过程中，通过参与专项技术的研发工作，培养了一批具备开发能力的应用运维人员，大幅提升了运维团队在工具自主方面的能力，提升运维工作的效率。

通过各类文献调研、同业调研，使得我们的运维团队视野得到了开拓，同时可以借鉴同业经验，提升自身的管理水平。

通过对大数据、内存数据库、流计算、消息总线等各类新技术的学习和实践，使得团队在技术能力上也有了大幅提升，运维团队可以站在技术的前沿，不仅对运维本身有很大的推动，也对应用管理团队更好地理解各类基于新技术的新业务应用，从而使得运维与开发之间的沟通更加有效。

传统的运维工作，以重复性和日常性的工作为主，很难体现运维工作的价值。通过该项目的落地，可以在用户体验、应用优化等方面为开发和业务带来更多、更直接的帮助，因此运维团队取得了更多来自各方面的认可，从而大幅提升了运维工作的成就感。

同时我们深刻认识到目前辽宁省联社运维水平还有待提高，优化现有流程，加强人员的培养，提升运维能力和自动化水平，充分利用现有监控平台和数据，有效整合现有智能分析平台与其它监控平台，深入挖掘平台功能是提升运维能力的下一步重点目标，同时也是本项目后续发展的主要方向。

本文由2018年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。