一、项目背景及目标

随着公司业务的发展，从面向客户的服务平台，到面向代理渠道的投保系统，再到内部业务运营支撑性系统,系统的稳定性及性能都对业务的正常开展有着重要影响。

为了协助IT管理人员快速定位并解决用户在使用系统中出现的系统错误、卡顿、APP崩溃与闪退、后端服务及数据处理响应慢等系统问题，以及提高系统稳定性、用户粘性与服务质量，提升用户体验，降低长期运维成本，经过对当前需求系统地分析整理，制定全方位追踪定位系统问题的解决方案，先于用户发现并解决系统的故障，为业务保驾护航。

二、项目方案

本项目开发构建的智能业务运维平台，包含应用性能分析、用户体验分析、可视化分析数据展示、统一运维门户等功能。支持监控系统底层代码、系统内部及系统间接口的调用链，实现端对端的数据链路分析，从而形成完整系统拓扑图，实现系统性能分析及系统定位故障。本平台主要实现以下关键目标：

1.应用性能分析

通过分析实现对移动互联网服务系统、业务支撑系统的运行性能与故障状况进行实时的监控与定位，并能对问题进行提前预警与实时告警，协助迅速判断问题影响范围并对问题进行快速诊断与解决，从而可以以更加高效的方式对系统进行主动式的运维管理。

2.用户体验分析

在征得用户同意的前提下，通过采集、统计与分析每位用户使用系统的性能状态，主动掌握用户在使用系统过程中出现的异常问题。对于问题的收集与处理，不再被动的依赖用户反馈和投诉，先于用户发现并解决问题，提高服务质量与提升用户体验。

3.业务健康度分析

通过对关键业务的业务量、业务健康情况进行分析，为业务部门进行业务流程优化、制定营销策略等提供决策依据。

4.可视化数据展示

通过可视化技术展示监控对象的关键运行数据，如系统拓扑图、业务健康度数据、系统故障数据、基础资源使用情况数据等。

分析管理

三、创新点

1.准确、快速定位问题，端到端全链路分析

智能业务运维平台通过采用Agent探针等监测技术方式对现有数据中心业务系统进行监控管理，实现从真实用户发起的前端请求，到后台应用系统接收并处理请求，再到数据处理与存储等全链路进行全方位的感知和分析。

2.统一运维服务监控入口，打造智能业务数字化平台

打通业务系统与运维平台的数据通道，构建一体化、平台化、智能化的IT运维与服务平台，规范运维处理流程，为运维人员进行系统监控、故障定位、故障诊断和解决等运维工作提供准确的信息来源，实现对问题事件的集中管理、分派处置、意见反馈等闭环管理。

3.业务数据可视化，IT运维指标体系化

通过对业务系统数据流转和关键运维指标的多维度监控，全面主动反映业务系统的运行健康情况，真实呈现目前业务系统所存在的问题，并通过多种分析手段合理有效进行运维调度，为制定设备升级、硬件扩容方案提供决策支持。

四、技术实现特点

1.应用性能与故障分析

通过收集应用系统错误日志、请求来源、请求执行时间、请求执行次数、APP白屏时间、慢加载发生频次、脚本错误次数和错误类型、服务异常等数据，从网络传输、应用节点调用、代码运行、脚本运行、外部接口调用、数据处理等多维度、端对端进行数据分析，并通过代码堆栈定位轨迹信息，帮助用户快速定位并解决问题，以及制定性能优化方案。

2.业务分析

在征得用户同意的前提下，通过采集用户行为习惯、来源分布、网络环境、活跃用户、新增用户等数据，再结合业务数据，进行数据融合分析，为业务部门优化业务流程、制定客户服务与营销方案提供数据支撑及决策依据。

3.系统告警

对系统基础资源、核心业务健康指标等被监控对象提供告警功能，可根据不同的对象类型进行告警阈值配置，对产生的告警可按严重级别、优先级别等多维度进行归并处理，同时可提供邮件、短信、接口消息等不同形式发送告警通知。

五、项目过程管理

1.需求调研和设计阶段

在2019年3月，分别完成了需求的调研分析、平台环境的资源准备、可视化数字运维大屏的设计蓝图，提供了平台需求说明书和系统方案设计说明书。

2.平台开发、测试阶段

此阶段时间为2019年3月至2019年5月中旬，完成了针对应用性能分析的平台搭建，可视化数字运维大屏的功能开发与测试，统一运维服务平台的集成与上线。

3.平台运行上线阶段

在2019年5月下旬，通过将服务平台、投保系统等业务运营系统分批纳入平台监控范围，实现对业务系统的实时监控，并通过可视化数字大屏，直观展示系统运行情况。

六、运营情况

1.运维中台化

运维平台是以数据为基础、以算法为支撑、以场景为导向，应用实时大数据处理技术，通过轻量级、低入侵、松耦合的立体化监控与管理工具集，打通后台IT支撑系统与前台业务应用之间的信息断层和管理断层，向上提供数据与能力支撑，在快速响应前台的变化和创新需求的同时，向下保障系统稳定可靠运行，进而对应用系统实现互联网级的数字化运维以及高效的管控，全面掌握系统的健康度信息。

2.大数据融合分析

以成熟的智能分析算法，将结构复杂、零散的系统运行数据与业务数据进行有效关联分析，帮助管理人员清晰直观地掌握业务运营与IT运维中的有效信息，实现可视化管理、有效管理与有效决策，提升资产管理与监控管理的效率。有效解决监控数据孤岛问题，实现监控工具、监控数据的价值大化。

3.用户体验分析

在浏览器端及移动端集成探针，能够追踪到浏览器端用户、移动端用户的行为动作，区分用户所使用的网络接入方式、网络所属运营商、移动端APP版本以及用户所属地区，对系统的响应时间、网络失败率、活跃用户、新增用户等指标进行分类统计以及趋势分析，为优化用户体验提供依据。

4.业务流程分析

在征得用户同意的前提下，能实时记录用户行为数据、体验数据及相关IT性能指标数据，形成业务地图，帮助业务人员以可视化的方式分析及定位各种用户业务问题，快速发现影响业务的关键环节。

5.自动生成端到端全局应用拓扑图

运维平台能够自动发现应用系统的所有技术栈，实现应用端到端关联监控、分析与告警。基于应用拓扑图，技术人员能够迅速响应突发事件、快速定位影响业务系统运转的问题所在。

6.深入代码层性能诊断

针对系统运行时代码、SQL执行、API调用过程的性能数据进行采集与分析，深入到代码层面定位性能瓶颈，分析性能下降的原因。通过该诊断功能，可帮助开发者从大量的业务请求中抓取及分析真实用户进行业务操作时系统背后的代码执行逻辑关系，找出并优化耗时的方法、慢查询等。

七、项目成效

1.提升业务运营效果

在用户遇到业务系统性能问题前，锁定关键业务环节，分析系统性能对业务影响，同时通过优化业务流程，确保业务服务质量。

2.深入定位运维问题

通过端到端的全技术栈监控，快递定位网络、硬软件问题，确保运维SLA与服务质量。

3.切实解决技术难题

协助精准定位系统代码瓶颈，在系统发布前能进行性能预测评估，并可在系统上线前发现并解决大部分问题问题。

4.提高协同工作效率

通过一体化运维平台，多方共同协作，提高了问题处理效率。另外，对于常见的问题亦可进行收集、归类，构建知识库，做到知识的积累重用。

八、经验总结

通过构建合理有效的运维服务平台，规范运维处理流程，从系统运维上看，不仅有助于提高IT研发与运维人员的生产与运维效率、提高系统的稳定性与安全性，同时可减少系统的运维人力；从公司业务运营上看，通过借助平台对业绩数据、用户数据的分析与应用，持续优化业务流程，不断进行业务创新，可加快新业务的开发，提升用户粘性与服务质量。