一、解决方案简介

根据银监会《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》要求，银行业需积极推动自助设备跨平台系统自主可控进程。通过自助渠道设备端主机、操作系统、应用软件等使用自主可控的国产化软硬件系统替换现有自助渠道软硬件系统，完成银行内部设备的自主可控国产化改造，并逐步完成服务器、数据库、操作系统、应用软件的国产化替换改造。通过对设备硬件、软件等各个环节的重构，建立自主可控的 IT 产业标准和生态，逐步实现各环节的国产化进程，从而响应加强国产化政策、实现自主可控的国家政策号召，实现金融科技核心技术安全自主可控。

数据中心资源监控系统通过对两地三中心的数据中心的硬件、软件及动环系统进行全方位监控管理，采用先进的分布式集群架构方案，结合微服务框架技术、大数据分析技术、人工智能技术、云计算、虚拟现实技术为整体技术方案，使用Docker、K8s、Ansible、Shell脚本等自动化部署技术方案，支持移动化运维，大化提升运维的高效、灵活、便捷，综合打造互联网时代的智能化、自动化运维监控系统。

数据中心资源监控系统适配国产软硬件清单：

功能总览：

数据中心资源监控系统采集部分分为采集服务端及采集客户端，对入网设备信息存储CMDB系统，通过统一的负载均衡进入到监控系统，监控系统的服务端使用多分布式集群架构方案，结合多种前卫的智能技术及展示技术对数据中心内的机柜、服务器、网络、存储、数据库、中间件、应用及动环系统进行统一的监控管理，通过大数据及智能算法对获取的监控数据进行分析对比，从而做到智能预警和巡检功能，使用Docker、K8s、Ansible进行高效部署。在采集客户端使用代理采集技术，大化利用代理采集设备性能采集大化的设备数量，使用Asible、K8s、Docker、Shell脚本自动化部署技术进行快速部署。支持移动端，运维人员及管理人员根据角色属性查看所关心的内容，实现智能运维的随时随地、高效灵活、快速响应的现代化运维。

二、应用场景痛点简介

详细痛点如下：

1.传统监控系统性能低扩展难：传统资源监控系统普遍架构老旧，随着数据中心的规模逐渐扩大，在监控和采集数据的性能上越来越低，也无法做到自由按需水平扩展。

2.监控不够全面兼容性差：传统资源监控系统受技术限制，不能全面监控数据中心的所有资源如小型机、存储、MQ等，无法向下兼容老旧设备，并且随着数据中心的资源升级，在新设备的兼容上也变得愈发吃力。

3.告警功能不够完善：传统资源监控系统告警方式以被动式为主，告警存在过多的重复性和复杂性，无法将告警信息以快，时间告知运维人员，同时给运维人员排查故障带来巨大的难度，在告警通知方式上也仅支持短信及邮件，短信成本较高。

4.存储和查询速度缓慢：传统资源监控系统采用关系型数据库，再加上本身性能老旧，导致采集数据存储较慢，运维人员在查询相关数据时的速度也缓慢。

5.无法自动发现设备并建立网络拓扑：传统资源监控系统均不支持入网设备自动发现，依赖人工手动进行设备管理和建立网络拓扑，给运维人员带来巨大的工作量及较高的信息录入错误率。

6.管理系统的用户体验不友好：随着科技的发展进步，用户对用户体验的求也变得越来越高，而较老的监控管理系统在易用性、可用性及美观性方面均存在很大的不足不友好，急需改进。

7.缺乏以业务视角的链路监控：随着互联网线上业务的发展，银行的业务系统承担的服务越来越大，随之而来也对业务系统的链路监控提出了较高的要求，而传统系统在这方面存在很大的不足。

8.仅支持PC端无移动运维方案：随着移动端的迅猛发展，传统监控系统仅支持PC端的管理已无法满足当下的高效率和移动化要求，导致管理人员和运维人员不能灵活随时随地了解数据中心的整体健康状况。

9.部署及运维依靠人力：在部署方式上依然采用传统的人工方式，给运维部署工作带来巨大的工作量和复杂度，并且因为部署架构的老旧，再升级某一个设备或服务时会更加繁琐，出现牵一发动全身的问题。

基于以上痛点，有如下解决方案：

1.分布式微服务架构：针对数据中心资源监控的业务特点，监控管理平台使用了先进的SpringCloud分布式前后端分离微服务架构，全面降低开发和维护的难度，提升服务的性能。同时由于微服务架构的特性，使得小范围的功能修改或升级不用在重新部署整个应用，而只需进行局部的服务部署即可。技术栈的选用方面是根据业务特性进行合理选择，另外根据服务需求可对性能进行细粒度的水平扩展，如对某个服务增加CPU、内存或增加集群节点。

2.九探针全面监控设备及服务：根据数据中心资源监控特性重新归纳定义九大探针，分别是通断探针、重启探针、性能探针、故障探针、配置探针、登录探针、流量探针、威胁探针、漏洞探针，全面监控数据中心的服务器、网络、虚拟化、数据库、中间件、存储、业务应用、日志及动环系统。使用先进的监控技术手段向下兼容老旧设备和向上兼容新的设备，极大的提高了监控采集的兼容性和稳定性。

3.智能告警：为了解决数据中心的设备或服务出现故障不能及时的通知到运维人员，系统使用了Prometheus的Alertmanager功能，告警方式从被动变为主动，一旦某个IT组件出现问题，能精准定位问题所在，并在短时间之内以快速度发送故障信息至运维人员，满足快速发现问题的需要。通过接收规则定义，管理人员可以过滤非重要设备的告警信息，也可以过滤被监控设备的非重要故障信息，帮助管理员在*****时间收到真正需要的管理信息。告警通知支持短信、电子邮件、微信等方式。

4.时序数据库：数据中心的采集数据异常庞大，需要高效的数据存储、查询处理，而目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理，但关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。因此数据中心资源监控系统采用时序数据库解决方案，通过使用特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，解决海量数据的高效存储、查询处理。时序大数据采用特殊数据存储方式，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高。

5.自动发现设备：手动保持网络拓扑映射新是一个困难的任务，随着网络扩大或接入新设备，将变得更加复杂。传统的数据中心监控对新入网的设备需要进行手动或半自动方式进行设备发现及网络拓扑建设，耗费大量人力及增加容错率，因此本系统针对这一点开发了自动发现设备功能，以减少运维人员的繁重工作量和梳理繁杂的拓扑关系，使设备信息及拓扑关系更为准确，并自动赋予相对应的监控配置进行监控采集。

6.全新的管理平台：数据中心资源监控管理平台通过对用户的业务需求梳理，重新设计操作流程和整体布局，从交互设计、视觉设计以优的用户体验设计方案进行重新设计，简化业务操作、简化统一交互操作、提高视觉美观度整体度，从易用性、可用性、美观性三个维度全面提高用户体验。

7.以业务视角的全链路监控：从业务视角切入，查看与之相关联的链路包括服务器、网络、中间件、数据库、存储等，产生告警时能快速进行故障排查定位。通过历史数据比对分析，进行业务性能满足性预测。技术方案：网络旁路抓包、TCP网络层监控、模拟监控、大数据分析等。

8.支持移动端：在新一代监控系统建设过程中，考虑到移动端运维的便携性、灵活性、及时性，所以设计了移动化运维功能，使管理人员和运维人员能随时随地、便携灵活的掌握数据中心监控状态，一旦出现异常情况，能*****时间进行故障处理，实现管理平台的告警、查看、处理功能。

9.服务端客户端自动化部署：在服务端的集群部署时，为了减少运维人员的工作量及技术难度，我们使用了k8s进行脚本编写，脚本中需要的镜像自动从本地镜像仓库中拉取，运维人员无需管理安装包即可轻松部署应用。通过K8s管理服务端，达到容器部署一键轻松搞定、负载均衡、资源高利用率效果，实现集群的自动化部署、自动扩缩容、维护等功能，解决了运维人员对大批量的集群服务端的部署维护升级困难问题。客户端的部署数量比起服务端更为庞大，因此在客户端的部署采用了Ansible + Docker/源码二进制进行部署，让繁琐的部署工作变得更为简单，在使用自动化部署方案后，每人天可完成40台左右的设备部署，轻松高效的完成此项工作。

三、解决方案亮点介绍

银行是实体经济发展的命脉，金融科技是银行发展的基石，数据中心是金融科技的心脏，自主可控则是数据中心的底牌。

1、分布式微服务架构

针对数据中心资源监控的业务特点，监控管理平台使用了先进的SpringCloud分布式前后端分离微服务架构，全面降低开发和维护的难度，提升服务的性能。同时由于微服务架构的特性，使得小范围的功能修改或升级不用在重新部署整个应用，而只需进行局部的服务部署即可。技术栈的选用方面是根据业务特性合理选择技术栈，另外根据服务需求可对性能进行细粒度的水平扩展，如对某个服务增加CPU、内存或增加集群节点。

数据中心资源空监控系统管理平采用的技术栈如下：

（1）前端使用VUE。

（2）后端使用Spring Boot、Spring Cloud。

（3）使用Nacos实现配置中心、服务注册&发现， Nacos Dashboard实现配置管理、服务管理、集群管理、权限控制、命名空间。

（4）使用Redis作为分布式缓存，实现高性能数据读取，结合Redis实现轻量级分布式定时任务，易扩展。

（5）流量控制框架选型Sentinel， Sentinel Dashboard查看实时监控和机器列表，配置簇点链路、流控规则、降级规则、热点规则、系统规则、授权规则和集群流控。

（6）RocketMQ作为消息队列，实现数据集成、系统解耦、异步处理、事件驱动和流量削峰。

（7）Seata作为高性能分布式事务，对业务代码零侵入。

（8）Spring Security + OAuth2实现认证授权和安全保护。

（9）EFK实现日志集中分析平台，Elasticsearch作为分布式大数据搜索分析引擎，Funentd作为分布式实时数据采集日志组件，Kibana作为分布式数据可视化日志组件。

（10）Swagger实现接口文档和协同开发。

（11）数据采集使用Promethues、Zabbix，实现对数据中心的基础数据采集，具体如下：

•操作系统监控，涵盖了银河麒麟、Windows、Liunx、HPUnix、IBMAIX系统，完成了对CPU、内存、磁盘、网卡、服务、日志，近百项指标的采集。

•数据库监控，涵盖了南大通用、TongRDS、Oracle、Mysql、Redis、Elasticsearch、Minio，完成了对运行状态、一般信息、Metric类型信息、参数信息和表空间信息、ASM空间信息，近百项指标的采集。

•中间件监控，涵盖了IBMMQ、Kafka、Tomcat、TongWeb、Nginx、Weblogic，完成了对状态指标、性能指标、日志、JVM信息、JMS连接数、JDBC连接池信息，近百项指标的采集。

•虚拟化监控，涵盖了Docker、VMware，完成了对CPU、内存、容器、磁盘信息，近百项指标的采集。

•存储监控，涵盖了IBM、戴尔、惠普、华为、中兴5个厂商共计15个型号，完成了对存储池、系统状态、控制器、磁盘、LUN、风扇、电源、备用电池、存储状态、集群、硬盘、CPU、内存、节点，近百项指标的采集。

•网络设备监控，涵盖了华为、中兴、H3C、IXIA、锐捷、深信服、juniper、天融信、启明星辰、网御星云、绿盟、F5、Citrix、迪普15个厂商共计40个型号，完成了对CPU、内存、风扇、电源、系统状态、故障转移状态、故障转移状态、IDsnmptrap、设备名称、设备运行时间、系统客户端连接数、系统服务连接数、snmp可用性，近百项指标采集。

2、时序数据库

考虑数据中心的采集数据异常庞大，需要高效的数据存储、查询处理，而目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理，但关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。因此数据中心资源监控系统采用时序数据库解决方案，通过使用特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，解决海量数据的高效存储、查询处理。时序大数据采用特殊数据存储方式，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高。每个采样数据仅仅占用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概占用约200G存储空间。同时时间序列函数优越的查询性能远超过关系型数据库。

3、自动发现设备和应用

手动保持网络拓扑映射新是一个困难的任务，随着网络扩大或接入新设备，将变得更加复杂。传统的数据中心监控对新入网的设备需要进行手动或半自动方式进行设备发现及网络拓扑建设，耗费大量人力及增加容错率，因此我们的系统针对这一点开发了自动发现设备及应用的功能，以减少运维人员的繁重工作量和梳理繁杂的拓扑关系，使设备信息及拓扑关系更为准确，并自动赋予相对应的监控配置进行监控采集。

自动发现应用使用的技术是端口扫描。可以使用某些端口扫描来检测主机的应用状态。在命令中提供端口号，如果主机启动，主机将在其中答复我们的请求。我们将扫描端口以检测远程主机和应用。基于网络拓扑关系自动生成应用拓扑，方便监控采集及故障的发现与定位。

4、主动式告警

为了解决数据中心的设备或服务出现故障不能及时的通知到运维人员，系统使用了Prometheus的Alertmanager功能，告警方式从被动变为主动，全面监控数据中心的设备和服务。一旦某个IT组件出现问题，可以在短时间之内以快速度发送故障信息至运维人员，满足快速发现问题的需要。

通过接收规则定义，管理人员可以过滤非重要设备的告警信息，也可以过滤被监控设备的非重要故障信息，帮助管理员在*****时间收到真正需要的管理信息。

警报的规则是在Prometheus server上进行定义的，这些规则可以触发时间，然后将其传到Alertmanager，Alertmanager随后决定如何处理各自的警报，处理复制之类的问题，并决定在发送警报时的发送方式，目前支持短信、电子邮件、微信等工具。

5、高并发数据采集

由于数据中心的设备数量庞大，设备数量达到6000多台且不断的增加中，对数据采集的性能提出了较高的要求，若不能进行理想的高并发高性能采集则会造成采集客户端的挂起及不能及时将监控数据进行分析告警，影响整体的运维效果，对此系统在设计分布式系统架构时将高并发（High Concurrency）作为重要的因素进行设计，保证系统能够同时并行处理很多请求。满足低响应时间、每秒的高吞吐量、每秒的响应请求数及高并发是的用户数需求。

系统使用的Prometheus方案处理高并发采集中的联邦集群方案：基本HA + 远程存储 + 联邦集群

当单台Promthues Server无法处理大量的采集任务时，用户可以考虑基于Prometheus联邦集群的方式将监控采集任务划分到不同的Promthues实例当中即在任务级别功能分区。这种部署方式解决了采集服务端的可用性低、不易扩展的痛点。

场景一：单数据中心 + 大量的采集任务

这种场景下Promthues的性能瓶颈主要在于大量的采集任务，因此用户需要利用Prometheus联邦集群的特性，将不同类型的采集任务划分到不同的Promthues子服务中，从而实现功能分区。例如一个Promthues Server负责采集基础设施相关的监控指标，另外一个Prometheus Server负责采集应用监控指标。再有上层Prometheus Server实现对数据的汇聚。

场景二：多数据中心

这种模式也适合与多数据中心的情况，当Promthues Server无法直接与数据中心中的Exporter进行通讯时，在每一个数据中部署一个单独的Promthues Server负责当前数据中心的采集任务是一个不错的方式。这样可以避免用户进行大量的网络配置，只需要确保主Promthues Server实例能够与当前数据中心的Prometheus Server通讯即可。 中心Promthues Server负责实现对多数据中心数据的聚合。

6、服务端一键部署、管理

在服务端的集群部署时，为了减少运维人员的工作量及技术难度，我们使用了k8s进行脚本编写，脚本中需要的镜像自动从本地镜像仓库中拉取，运维人员无需管理安装包即可轻松部署应用。服务端部署我们采用了Jenkins用来自动编译应用、打包、发布功能，Jenkins通过脚本会自动从gitlab上拉取新代码，执行应用编译,在编译时会从本地Maven仓库拉取需要的jar包、编写脚本打包成Docker镜像发布到本地镜像仓库中、再通过K8S脚本发布应用。

通过K8s管理服务端，达到容器部署一键轻松搞定、负载均衡、资源高利用率效果，实现集群的自动化部署、自动扩缩容、维护等功能，解决了运维人员对大批量的集群服务端的部署维护升级困难问题。

7、客户端Ansible一键部署、管理

客户端的部署数量比起服务端更为庞大，因此在客户端的部署系统采用了Ansible + Docker/源码二进制进行部署，让繁琐的部署工作变得更为简单，在使用自动化部署方案后，每人天可完成40台左右的设备部署，轻松高效的完成此项工作。

可编写Ansible-playbook脚本进行对目标主机安装应用，首先找到主机清单中要 部署的组，通过shell命令创建文件夹、上传安装包及文件、解包、制作开启自己服务、删除过程文件及安装包、启动服务，完成部署工作，好处在于每台安装的应用统一目录、统一版本、统一结果、有序管理等优势。

8、降采样和压缩数据

因数据中心的数据采集量庞大，这就意味着在进行数据存储、数据查询时需要较高的储存空间及查询请求数量，因此得益于系统使用了Prometheus+Thanos的方案进行监控，其中Thanos六大组件中的Compact组件具有强大的降采样和压缩功能。Compact组件可以读取对象存储的数据，对其进行压缩以及降采样再上传到对象存储，这样在查询大时间范围数据时就可以只读取压缩和降采样后的数据，极大地减少了查询的数据量，从而加速查询得到想要的数据。经过90天稳定运行，已实现存储压缩数据6TB，系统性能提升20%，解决了在查询大时间范围或配置复杂的保留策略时的历史数据进行下采样加速、占用较大存储资源痛点。

9、大数据趋势预警分析

在经过数据采集、数据处理、数据存储之后需要对数据进行分析，主要用于异常数据告警，趋势分析预警使用，为运维人员提供智能可靠的预警分析，将风险隐患提前处理掉。系统借助机器学习算法，从数据中心采集到的指标数据中学习各指标数据的特征与规律，从而将其应用于检测新采集到的指标数据，识别出其中的异常信息。这一过程几乎无需人工干预，基本实现了自动化。当检测出异常信息时，系统并非直接发出预警通知相关人员，而是再次基于用户过去对不同指标的不同预警的反馈信息，及时调整监控规则，从而使得用户认为无意义的异常信息得以过滤，终实现减轻运维人员压力，降低误报率的目的。同时通过积累数据、尝试算法和搭建智能中台等方式，尽快为各层场景打下坚实的基础，进一步提高IT运维的智能化程度，提升IT运维质量，发挥IT运维价值。

10、移动化运维

在系统建设过程中，考虑到移动端运维的便携性、灵活性、及时性，所以设计了移动化运维功能，使运维人员能随时随地、便携灵活的掌握数据中心监控状态，一旦出现异常情况，能*****时间进行故障处理，实现管理平台的告警、查看、处理功能。

特点：

（1）移动互联

替代传统电话、邮件、跑腿通知的沟通模式，实现有机的快速信息交互；

（2）操作简便

界面简洁，互动性强，无需面对电脑端 繁杂的操作界面；

（3）运维过程可把控

简单明了的看到整个运维过程，实时获得现场信息和快速发布决策信息，直接将任务传递到每个运维人员手中，减少不可控因素的产生。

功能：

（1）移动告警：告警信息实时统计，及时提醒即使运维人员不在岗，也能实时接收到告警信息及时处理；

（2）移动巡检：通过移动端对数据中心进行无纸化巡检，根据提示输入需巡检的数据，系统后台自动比对巡检结果，校验人工现场采集数据与采集到的运行情况差异；

（3）交互式调度：单个运维人员与所携带的终端融为一体，事件处理过程ECC中心全程跟踪、沟通，运维人员可使用终端实时语音、文字、视频、图片回报信息，实现交互式快速调度，加速工作效率；

（4）灵活值班：支持终端值班，可分岗位、分权限在不同区域值班，灵活调配，不再将人固化在某个坐席；

（5）高层管理岗位专属终端：高职位管理岗位可配备专属终端，从全局角度把控数据中心可靠性和工作完成情况。

11、3D机房

数据中心机房物理设备种类繁多，设备之间的关联复杂，并且数据中心各单元之间的位置分散等问题，系统运用3D技术对数据中心机房及设备进行物理建模，真实展现设备的实景情况，该功能能提供机柜的资源管理、设备位置定位、设备故障报警等，达到数据中心的直观、可视化管理。

通过图形化和3D模拟技术对机房环境与机柜、主机、网络等资源的模拟展现，使管理人员在图形化界面即可实现所见即所得的体验，配合各种自动化的告警功能，实现了机房的可视化管理。

3D机房的建设使用物理定位设备加建模技术，首先使用厘米级的定位基站设备对机房的空间进行精准定位，在机柜上安装智能感应标签进行机柜位置计算，生成空间模型数据，之后使用主流的WebGL技术进行虚拟建模，生成真实的高性能3D机房视图，并且通过智能感应标签可对机柜及机柜内的设备获取监控信息动态实时展示，构建现代智能3D机房。

12、应用地图

由于数据中心的的应用业务关系复杂繁琐，应用关联应用，应用关联设备，为了更好的让运维人员梳理应用业务之间的关系及与设备之间的关系，方便运维人员在应用出现故障、维护升级及时定位发现及相关关联应用与服务，系统设计了应用地图功能，应用地图可展现一个应用所使用的设备基本信息、性能信息、安装的应用信息、关联应用及关联应用之间的数据流转关系等。

应用地图的依据来自于CMDB（配置管理数据库）系统，CMDB系统的数据完善度高低直接影响应用地图准确性。

四、客户评价

由大连九锁网络有限公司承建的辽宁省农村信用社（简称“辽宁农信”）数据中心资源监控系统在刚刚过去的11月斩获“2021第五届农村中小金融机构科技创新优秀案例：技术创新优秀案例”，并已基于自主可控软硬件平台投产使用。 

自系统上线之日起，监控设备数近千台，使用用户近百人，系统整体运行良好。已上线功能模块：监控大屏、网络拓扑、监控总览、告警管理、监控管理、自动发现设备、日志管理等。各功能模块在日常的工作中对设备做到了良好的监控采集及告警作用，极大的降低运维工作人员的工作繁杂度，保持数据中心的设备和服务状态健康良好。