一、项目背景及目标

政策背景

人民银行、银保监会等监管部门近年陆续发布了《金融科技发展规划（2022年-2025 年）》和《关于银行业保险业数字化转型的指导意见》等规划指导文件，文件中明确提出“加大数据中心基础设施弹性供给”、 “加强故障自愈，不断提高运维智能化水平”等要求。

立项背景

近年来，我行持续响应国家号召并顺应行业发展趋势，积极开展数字化转型工作。随着我行数字化转型的不断深入以及业务的不断发展，也对我行IT架构提出了更高的要求，业务系统和应用数量呈现指数级的增长。随着新型应用也不断涌现，传统的监控平台遭遇了严峻挑战，面临着监控对象的推陈出新、监控指标数量增长、个性化、精细化等更多的需求出现。

项目目标

本次项目中旨在整合行内第三方监控工具，对全行控告警事件进行统一管理监。平台通过提取监控对象、监控指标等关键信息，结合CMDB对相关联的告警信息进行合并压缩，实现告警压缩降噪；通过推行告警等级分类和告警事件处置流程实现告警事件全生命周期管理；同时加强与运维中台、自动化发布平台、CMDB等系统的联动，进一步提升我行运维能力。

二、创新点

告警压缩：

基于规则和智能算法对海量的、持续的冗余消息进行告警压缩和告警合并，抑制告警消息的数量，减少告警消息的频率，降低冗余告警消息对运维工作的干扰，提升运维工作的效率。

告警压缩：将告警消息按照压缩字段压缩为警报的过程叫做告警压缩。

告警合并：将警报按照合并字段合并为事件的过程叫做告警合并。

告警订阅：

摆脱传统运维监控用户被动接手告警的方式，用户可通过指定监控要素，主动订阅或屏蔽相关告警信息。

事件标签：

变更标签：联合自动化发布平台，在应用系统发生变更和完成变更时主动推送变更标识给智能告警平台，平台根据应用系统变更状态，将在变更时间段内对应应用系统的告警添加“变更”变签。

周期标签：告警周期时长统计范围为1-31天，并根据周期时长设置不同的buff，当有告警生成时由平台计算过去70天内的告警，给满足周期条件的告警事件添加“周期”标签，同时将该周期内的告警进行关联展示。

移动端运维：

平台提供适配移动端的H5页面，通过单点登录技术将其集成在我行内部沟通协作平台（蓝信），用户利用该功能快速进行告警分析和告警处置。

告警时间线：

当告警事件的合并规则为告警压缩/合并时，在事件详情页显示时间线页签。告警事件的时间线展示了事件内警报生命周期内的状态变化情况，可以用来初步判断告警的根因情况。

事件的时间线展示以下信息：

警报列表展示每个警报在生命周期内的状态变化情况。不同的颜色分别表示不同的告警等级。

时间线上的点代表告警级别发生变化的点，当告警消息的状态变化时，时间线上展示状态发生变化的点（如果时间线上的告警消息状态相同，则仅会显示一个点）。

单击警报时间线上的点，展示该时间点对应的告警消息的内容。

三、项目技术方案

系统架构

智能告警平台系统整体部署在VMware虚拟平台上，平台基于微服务架构设计，通过应用服务集群化、数据库集群化、中间件集群化，实现平台整体高可用。

技术架构

原始告警接入：支持API、syslog、SNMP等接入方式。

事件丰富：结合CMDB，通过IP地址映射应用系统名、统一告警等级、智能告警标签等。

事件生成：通过应用系统名对告警进行合并，通过告警对象、检查项对告警进行压缩。

事件推送：推送规则分为告警开启、告警升级、告警关闭、告警静默，通知分为邮件、蓝信、短信和电话。

告警处置：收到告警通知的用户可以进行告警接手、转发、转派、解决等操作。

四、项目过程管理

项目各阶段的实施周期

1. 需求分析阶段：2023-10-07 ~ 2023-10-22

在需求收集过程中一方面在科技部内部发起调研，了解一线运维同事对监控告警方面的需求和痛点，另一方面结合行内智能运维发展战略，全面了解不同用户需求、确定产品功能和性能要求。

2.设计阶段：2023-10-22 ~ 2023-11-05

结合需求文件，合理进行系统架构设计，通过模块划分确保系统具备良好的扩展性、维护性和高可用性；注重用户体验，在用户界面和交互设计时注重直观性和易用性，同时提供一些个性化设置。

3.开发阶段：2023-11-06 ~ 2023-12-17

得益于前期良好的需求分析和架构设计，在项目开发过程中未出现需求偏离情况。通过合理分配开发资源、沟通协作版本控制等方式，有效保证了开发进度和质量。

4.测试阶段：2023-11-13 ~ 2023-12-24

在测试过程中我们通过单元测试和集成测试组合的方式：在前期先进行功能模块单元测试，确保各个模块功能正常；在中期根据实际情况进行功能模块集成测试，对于告警解析、告警处置等关键接口，在集成测试后再次进行单元测试，防止因集成而引入新问题；在后期对单元测试和集中测试过程发现的问题，在问题修复后组织回归测试。

5.部署阶段：2023-12-25 ~ 2024-01-07

部署阶段主要工作集中在智能告警平台部署后的第三方监控平台告警对接和调试。

6.试运行阶段：2024-01-08 ~ 2023-02-26

试运行阶段工作主要分为两方面：1、持续观察智能告警平台运行状态，检查各个功能模块性能和稳定性，确保告警事件接收、处置、关闭等环节正常工作；2、为用户提供平台使用培训，收集用户反馈意见，了解他们在使用过程中遇见的问题和建议，积极对平台进行必要的调整和优化。

7.项目验收：2024-02-26 ~ 2024-03-31

发起项目结项会议，组织相关人员进行项目验收，确保系统满足需求和质量标准。

8.维护阶段：2024-04-01 ~ 长期

长期进行，以确保系统的稳定性和可靠性。

五、运营情况

智能告警平台目前已完成BPC、APM、zabbix、数据库、网络等40多个第三方监控平台对接工作，近30天日均处置194启监控告警事件。

六、项目成效

经济效益：

1. 成本节约：通过实时监控和告警，能够及时发现和解决问题，避免设备故障或系统故障导致的生产中断，降低维修成本和停机损失。

2. 提高效率：帮助运维人员快速定位和解决问题，减少故障处理时间，提高工作效率，从而增加整体产出。

3. 资源优化：基于平台提供的数据分析和洞察，可以合理分配资源，避免资源浪费和不必要的投入。

4. 降低风险：及时发现安全威胁和潜在风险，采取措施进行防范和应对，减少可能的经济损失。

5. 决策支持：为行内决策提供实时数据和关键指标，帮助管理层做出更明智的决策，提高经济效益。

社会效益：

1. 提高服务质量：确保系统的稳定性和可靠性，提升服务质量，增强用户满意度，提升企业在市场中的竞争力。

2. 促进信息化发展：推动企业和组织的信息化建设，提高整体运营水平。

3. 推动行业发展：为行业提供示范和借鉴，促进相关行业的技术进步和发展。

七、经验总结

在过去的半年里，我们完成了监控告警管理平台初期建设工作。在项目实施过程中，我们充分认识到团队协作、沟通协调的重要性：团队成员之间密切配合，充分发挥各自的专业优势；与相关干系人保持良好的沟通，及时解决问题。未来，我们将继续完善和优化监控告警管理平台，提供更好的监控运维服务和支持。