一、项目背景及目标

在数字化转型日益加速的背景下，移动互联技术快速发展和迭代，业务创新与技术架构演进的同时，对数据库的运行稳定性和高性能的要求也急剧上升。随着吉林农信各项业务不断发展，信息系统不断增加，运维规模与体量的快速增长，需要管理的数据库数量和种类也日益增多，对预警准确性、监控精细化、运行分析智能化、操作自动化、高效应急处置等有了更高的要求。

为实现上述要求，吉林农信提出了智能化、自动化、服务化、可视化、高效率的创新设计理念，集中力量研发了数据库运行智能分析系统（以下简称“智能分析系统”），打造了吉林农信数据库“四化一率”的管理体系，同时解决了数据库监控指标覆盖面窄、疑难问题分析定位难、应急处置时效性低、运维人员技术水平参差不齐等突出问题，提高了整体运维效率和主动防范风险的能力，增强了数据库运行的安全性和稳定性，为吉林农信科技发展提供充足的科技动力，为业务发展提供了强大的运营支撑。

二、创新点

（一）运行分析智能化

智能分析系统基于机器学习算法和AI技术构造出数据库智能分析引擎，实现从宏观到微观的大规模数据库性能量化管理，提供了数据库总体性能评分及趋势，以图形化方式在线实时展现，能够自动分析快速定位数据库性能瓶颈并给出优化建议，提升性能分析工作效率。

（二）运维体系服务化

智能分析系统的适用群体将面向所有数据库使用者，不再局限于数据库运维团队，针对使用群体不同、需求多样化等问题，系统在规划设计时提出了标准化规范化的服务理念，提出将数据库运维体系服务化自助化的创新性设计，规划设计了数据库安装部署、配置参数变更、监控、巡检、容量扩容、数据导入导出、备份恢复等30多类服务目录，向使用者提供自助式的数据库服务，降低数据库技术门槛。

（三）运维管理自动化

智能分析系统规划设计了自主可控的自动化引擎，实现了数据库服务一键化、操作标准化规范化、可视化、自动化、流程化编排等，使用者可通过可视化页面一键式完成数据库启停、容量扩容、数据维护、性能分析等数据库服务，降低了人员操作风险，极大的提高工作效率，工作方式逐步从传统的手工模式转变为自助式自动化的标准规范模式。

（四）数据库管理可视化

智能分析系统提供数据库的集中可视化管理，实现了DB2、Oracle、Mysql、Redis等主流数据库可视化管理，提供图形化可视化数据分析、运行状态等多维度展现功能，支持投放大屏幕，通过大屏可实时展示运行趋势图、指标图和性能评分结果等，有助于数据库管理员全面掌握数据库运行状况，提高数据库管理员的掌控能力和管理效率。

（五）应急处置高效率

智能分析系统提供了7*24小时数据库运行数据自动采集、数据管理和运行分析等功能，实现了关键指标展现、性能容量分析、一键式应急处置等数据库监管维一体化能力，建立了完备的数据库运行基线、监控和问题预防体系，实现了数据库闭环管理机制，推动了数据库疑难问题解决率，提高数据库维护人员的主动防范风险能力和问题处理能力，提升故障响应和处理效率，达到日常问题10分钟定位和恢复的目标。

三、技术实现特点

（一）分层模块化设计

智能分析系统采用微服务架构模块化、层次化设计，整个系统自下而上分为数据层、采集执行层、功能层和展示层，各模块间独立运行、互不影响，支持横向扩展、分布式部署、模块的在线扩容与缩容以及负载均衡高可用部署方式，实现功能模块灵活可扩展性，通过横向扩展可同时支持数千个目标数据库，大大提高系统支撑能力。

图1 数据库运行智能分析系统总体架构图

（二）数据采集无入侵式设计

智能分析系统采用无侵入式设计，数据采集服务使用无agent代理模式，通过JDBC技术实现数据自动采集，使其具备海量数据指标状态采集能力，同时也采用了资源限流机制，数据计算处理的全部任务在本系统内部完成，不占用目标数据库资源，对目标数据库的平均性能影响低于1%，有效降低了对目标数据库的影响，实现了数据采集方式标准化、影响小、零压维护、权限小化。

（三）大数据AI算法智能分析设计

智能分析系统基于大数据、AI算法，通过对海量运行数据进行智能分析，计算性能基线，为不同种类数据库自动生成专用的性能评分模型，构建起全方位的数据库性能评价体系，覆盖数据库全部关键性能指标，开创数据库风险分析新思路。

（四）可视化运维设计

智能分析系统采用vue、echarts、antv、axios、ansible等多项技术，实现数据库管理可视化，基于运维体系服务化和运维管理自动化等模块，使数据库运维操作自动化执行、复杂操作流程化编排，通过对数据库操作进行可视化改造，将专业的数据库操作命令转变为可视化运行流程，提升运维操作跟踪审计和执行能力。

四、项目过程管理

（一）需求分析和设计阶段

本阶段项目时间为2020年9月，主要完成了需求分析、功能和技术架构的相关设计，提交了现状需求分析报告，架构设计文档和相关设计文档等。

（二）项目实施阶段

本阶段项目时间为2020年10月至2020年12月，主要完成了系统安装部署，定制开发需求编码上线，对接行内告警系统，并提交了相应的实施部署方案、运维操作手册等文档。

（三）上线试运行阶段

本阶段项目时间为2020年12月至2021年2月，实现了目标系统数据库的统一管理，先外围后核心依次完成非重要系统数据库，重要系统数据库的统一管理，完成与统一监控、统一备份系统的对接，根据实际运行情况，完成系统优化等工作。

（四）运行维护阶段

本阶段项目时间为2021年3月至今，主要完成数据库运行智能分析系统的培训，提交了系统运维手册以及系统用户操作手册，实现了自动生成数据库性能分析报告。

五、运营情况

智能分析系统上线至今运行稳定，已完成重要信息系统DB2、Oracle、Mysql等数据库的集中可视化管理，实现了近千个监控指标的7*24小时数据自动采集，每天采集的数据多达200万条，月均主动告警200余次，月均自动生成性能分析报告10多个，能够预先发现运行风险，提升主动防范风险的能力。

六、项目成效

（一）运维模式由事件驱动转变为主动防御

传统运维模式中数据库运行报告无法量化，实时监控与预警精细化不足，总是业务人员先发现运行故障，导致运维人员一直处于被动救火式局面，且故障恢复整体时间长。智能分析系统上线后，提供了300多个数据采集指标，900多个的监控指标，实现了7*24小时数据自动采集与分析、实时监控与预警，能够让数据库运维人员提前发现问题，推动了数据库问题解决率，问题解决率高达80%以上。同时基于系统的运维服务目录和自动化等功能，逐步实现了传统手工式运维转变为自动自助式的标准化运维，运维模式从事件驱动转变为主动防御。

（二）运维标准化、自动化

智能分析系统建立了统一的数据库访问渠道，实现全面管控数据库运维操作，收拢数据库访问权限，彻底杜绝非法操作的发生。系统规划设计了30多类运维服务，通过可视化管理页面可完成数据库一键式启停、自动巡检监控、智能分析、容量扩容、数据维护等自动化、自助化服务，实现了数据库运维标准化规范化，降低了人员70%以上登录目标数据库服务器的操作，极大的提高了工作效率，降低了人员操作风险。

（三）性能分析智能化、常态化

智能分析系统利用大数据的机器学习算法和智能化性能自动评分机制，能够自动分析数据库性能瓶颈并给出优化建议，如通过可视化页面可一目了然的快速定位到慢SQL及SQL瓶颈，实现了SQL性能全面分析和展现。另外，依托于系统建立的性能分析标准化机制，深度分析数据库各项指标，系统可自动生成性能和容量分析报告，原先一个人一个月只能完成一套数据库性能分析工作，现在一个人一个月可以完成5套数据库性能分析工作，且性能分析报告更全面、更专业、更准确，使数据库性能分析常态化。

七、经验总结

数据库运行智能分析系统的上线，加强了吉林农信数据库的智能化、自动化、服务化管理水平，显著提升了数据库管理效率，原先需要人工完成的数据库巡检、数据收集、性能分析、容量分析等工作，现在系统都能够自动完成，降低运维人员60%以上的重复性工作；原先数据库故障从发现到定位再到恢复运行，整个故障处置时间需30分钟，现在故障从发现到恢复，整个处置时间降低到10分钟以内，提升了风险应对能力。

当前数据库技术处于快速变革期间，分布式、云原生、开源化和自主可控成为下一阶段国内数据库技术的主要方向，架构也随之愈加复杂。吉林农信深度贯彻金融科技创新指导思想，将科技创新的思维有效运用在数据库运维领域，在业务创新与技术架构演进的同时，对底层基础软件平台的运行稳定性和高性能提供了保障。而数据库运行智能分析系统的上线，为后续向这些新技术路线发展建立起良好基础，是典型的数据库运维领域科技创新应用案例。