本文来源于:鑫智奖·2024第五届金融机构数智化转型优秀案例评选,作者:国任保险
国任保险:数据库运维管理平台
2024-07-02 关键词:运维管理,数据库,智能运维
4309
一、项目背景及目标
随着人工智能、数字经济的蓬勃发展,国任保险正以“数据+技术”双轮驱动的理念,推动数字化与业务、服务的全面融合。在推进数字化建设的过程中,敏捷高效的科技基础架构是重要支撑。数据库作为数字经济信息系统的底层支持,其高效运维和管理是转型制胜的关键因素之一。
一方面,国任保险数据库生产环境中运行着数百套节点,数据库种类从成熟的商业数据库逐步转向开源数据库、国产数据库,数据库运行环境和架构愈加丰富。国任保险逐步探索从传统的DBA纯人力、零散工具脚本沉淀到统一资源管理、自动化智能化的运维管理功能实践。
另一方面,由于持续增长的业务需求不断冲击着数据库安全管理体系壁垒,国任保险高度重视数据安全。加之,数据安全法对数据安全运维提出了更高要求,公司信息数据访问急需“知、管、控”多手段保障用户数据安全。
经过多方考察调研,国任保险决定遵循有效整合、自主可控的思路,与新数科技合作,快速搭建基础平台,后又根据现有运维工具体系对实现策略、具体功能进行了灵活调整,由此孕育了适用于当下数字化发展支撑业务运行的一站式DBPaaS平台——国任保险数据库运维管理平台。
二、创新点
随着国任保险数据库运维管理平台的逐步落地与推广,全生命周期数据库管理服务的闭环平台初见雏形,从数据库部署到数据库的设计开发、上线、运行分析、迭代优化,拆分拓展等所有与数据库相关的服务均可在平台上自动、智能地完成。平台在取得卓有成效的同时,为信息基础架构与数字化转型发展夯实了基础。
1.智能互联赋能高效运维和优化
在平台整体框架中,智能化发挥着承上启下的作用。在事件管理方面,平台借助智能化算法,实现问题诊断定位和故障处置的联动。当数据库连接数异常时会触发相关告警,感知告警后会将告警作为预案的输入,关联提前录入的处置SOP,并推荐给用户。最终实现快速响应和解决故障,减少故障发生率,缩小业务影响范围。
在数据库容量管理方面,平台具备数据库扩容的多种策略,包括垂直升级和水平升级。在此基础上,扩容策略与容量预测模块进行联动,实现不同场景下对数据库的快速扩容,避免出现因为容量不足导致影响业务系统的问题。
与此同时,平台还具备索引推荐和SQL审核、SQL变更功能,在实际业务场景中,平台将这三者进行功能结合,典型的使用场景是上线发布。平台可以实时收集数据库的慢SQL信息,统一储存,进而进行实时的慢SQL异常检查以及离线的慢SQL智能优化,最终将慢SQL的优化建议给到用户,实现数据库告警与SQL智能化分析的联动场景。
2.数据管控提供安全强劲支撑
安全管控模块基于业务全局视角实现了安全策略的精准配置和实施,在身份鉴别、用户及资源认证、数据操作一体化、访问来源精准审计等方面以更加平台化的姿态融入内部安全体系,在资源无缝对接的前提下构建了完整、平滑的数据库生态链条,为数据安全体系建设提供敏捷高效的支撑。
安全管控模块对所有数据操作进行管控,包含登录登出、权限、脱敏、审计、监控、过滤、回退等。在权限管控方面,通过“用户-角色-权限”,在快速授权的同时精准控制每个用户的访问及操作权限,规避了原先可能面临的越权访问、下载或篡改数据等违规操作行为。
在数据泄露方面,平台根据内部数据流向提供全链路的干涉跟踪保护机制,贯穿数据登录、使用、登出整个生命周期。1:1针对各数据源的终端,可实时对操作的SQL执行拦截、分析、审计、告警等操作,精确到人和应用。以“查导分离”作为数据防泄漏的最后一道防线,将导出动作单独形成一种权限类型,与查询动作分离开来。即使内部人员恶意获取数据也无法将数据落地至PC电脑。
另外,平台内置一系列流程库,可通过OpenAPI接口与运维管理系统实现联动,推动数据操作和数据授权在数据中心内部流转。从管理、技术、审计层面实现数据安全与业务联动。
三、项目技术方案
国任保险数据库运维管理平台基于微服务架构,对平台中的功能进行分层和分模块设计,明确功能边界,打通上层业务应用和下层数据库底座,实现了自主可控、开放和可扩展的总体架构。通过层次化设计,平台从架构上将服务分为基础服务,交互服务和集成服务三类,如下图所示:

基础服务是整个平台的基础,包括监控引擎、自动化运维引擎、CMDB服务、监控数据服务、分析引擎、SQL执行以及任务调度等后台服务。基础服务提供平台基础功能,通过公共API为前端功能提供访问接口;
平台提供用户直接使用和交互的功能性服务,包括监控告警、问题管理、性能容量、工具箱、报表、操作审计、配置管理以及用户管理等。功能性服务以管控模块和监控模块为核心,通过多种监控手段,引入异常检测算法、策略编排算法、流量调度算法等AI核心能力,实现系统问题智能预测、应用访问智能流控和管理预案智能调度来确保数据库系统的可见、可管和可计。
平台还提供集成功能服务,将数据库统一管理平台作为数据库运维的统一入口,并无缝对接现有的运维管理平台或工具,例如单点登录、流程系统、统一告警平台等。
运维工作的一大挑战就是需求的复杂多变,数据库运维管理平台必须具备敏捷迭代的能力才能满足需求的动态变化。国任保险数据库运维管理平台建设之初就采用了功能可配置设计,在不同场景下,无需修改代码通过配置就可以增加新的功能。平台支持用户自定义监控数据采集、自定义告警、自定义分析工具、录入和编排运维管理功能等。数据库专家可以通过平台在线设计和发布新功能,无需依赖开发人员。同时,平台在设计上充分考虑了性能可扩展,各服务模块均支持横向扩展、负载均衡,可以按需轻松扩容。
四、项目过程管理
国任保险于2023年6月启动数据库运维管理平台项目建设,目前已完成试点落地和赋能推广,在进行规模化应用阶段。该平台是国任保险与业内领先技术厂商合作建设基于数据库全生命周期实现全方位管理的系统,平台充分发挥了数据库管理产品的技术特性,提供了开发、测试和生产环境的平台化数据库服务,提高技术能力,优化运维资源,进一步提升了国任保险的信息系统建设效率和运行稳定性。
第一阶段:初步数据库统一管理能力
结合实际情况和建设需求,数据库运维管理平台采管多个数据库,实现数据库运行指标统一采集能力,7*24采集多个数据库指标。实现关键指标展现、性能容量分析、自动化巡检等基本的数据库统一管理能力。
第二阶段:极大提升易用性和推广力度
建成了完备的数据库监控和问题预防体系,提供元数据管理、一键巡检、基线分析更具针对性的功能,极大提升平台的易用性和实用性。通过提升易用性和推广能力,自助化服务减少60%以上登录服务器操作,极大提高运维效率并缩小应用部门的服务请求响应时间,实现数据库闭环管理机制,推动数据库问题解决率90%以上。
第三阶段:提升管理能力和移动运维能力
由看到管,实现完备的基于场景化的自动化运维能力,争取减少80%以上登录服务器操作,最终实现数据库统一管理平台的建设目标,并持续优化,提升平台的使用行和易用性;通过平台融合运维流程,实现标准化和规范化的数据库运维管理。
五、运营情况
目前,数据库运维管理平台已纳管几十套数据库。覆盖使用的主要数据库种类Db2、Oracle及MySQL,未来将通过横向扩展纳管更多的目标数据库。
数据库管理平台的使用受众在建设初期就做了明确定位,所有的功能不仅是面向数据库运维人员,还考虑了普通数据库使用者的需求。所以,在系统建成后,先运维团队内部进行了推广使用了一段时间,而后就将自助服务全面开放给开发、测试人员使用,目前,绝大多数平台访问量均来自于应用、开发人员,系统在内部得到了广泛使用。
六、项目成效
1.有效降低数据库故障率
系统上线后,数据库运维工作产生了极大转变。通过数据库智能预警和分析能力,在数据库故障前提前发现风险,提前介入、提前处理;而且,以前大量重复性运维操作全部转变由系统来自动执行,将运维操作标准化、自动化,既增强了数据库运维安全性、降低了运维技术门槛;并且,系统开创性的将运维操作服务化,并以订阅的方式开放给开发、测试人员使用,减少开发测试人员与运维人员之间的无效沟通,既提升了整体运维效率,数据库运行稳定性也逐渐好转,故障率得到有效降低。
2.提升故障分析效率
数据库运维管理平台的上线运行,为日常数据库性能分析带来了极大的帮助。借助平台提供的性能分析方法,能够深度挖掘数据库潜在风险;同时,往常的性能分析工作4个人需要2天才能完成的工作,借助数据库运行分析系统,提升效率超4倍。
3.稳步提升整体运维时效性
系统在功能设计上,对数据库运维进行了全生命周期的管理,提供数据库风险智能预警、自动化应急处置等能力,运维人员可以提前发现数据库风险,并借助自动化应急处置快速解除风险,在用户无感知的情况下,快速解决数据库风险。同时,开发测试人员通过订阅的方式自助完成基本数据库操作,以前需要2-3小时才能协调完成的运维动作,现在10分钟内就能自助完成,极大减少了沟通成本,整体运维时效性相较以前得到稳步提升。
七、经验总结
伴随着保险业数字化和架构转型,国任保险在引入云原生、分布式、智能化等创新技术后,对数据库运维管理的要求提升。数据库运维管理平台上线后,数据库运维工作产生了极大转变。通过数据库智能运行机制和安全管控机制的建设,以往重复性的运维操作全部转变由平台来自动执行,运维操作标准化、自动化,既增强了数据库运维安全性,又降低了运维技术门槛。通过沉淀积累,数据库管理运维平台为复杂高速业务的开展提供了有力的技术支撑。
未来,国任保险将把数据库运维管理平台以及数据库技术应用于更多关键业务场景,解决系统性能与扩展性的瓶颈,提升业务运营效率,为架构转型和数智化新发展保驾护航。
本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】。
推荐阅读
更多
福建农信:云平台“农信云”项目
随着福建省农村信用社联合社(下称 “福建农信”)规模不断扩大、业务不断增加,应用系统、设备、数据中心空间能耗都不断增加,IT运维各方面都面临种种挑战。
2017首届农村中小金融机构科技创新优秀案例评选
福建农信
2024-07-02
山东农信:集中运维监控平台项目
为保证日常运行维护工作的顺利开展,确保业务系统安全、稳定运行,山东省联社通过建设集中运维监控平台项目,完成了异构监控系统数据的集中,通过大数据技术对运维监控数据进行挖掘和分析,实现了对运维突发事件的监测、识别、评估与态势感知,有效提高了突发事件的处置能力,初步实现了由IT运维到主动运营服务的转变。
2018第二届农村中小金融机构科技创新优秀案例评选
山东农信
2024-07-02
贵州农信:IT可视化运维管理体系建设方案
为切实满足业务连续性及监管部门要求,确保IT系统安全、高效、稳定运行,我社在观山湖数据中心建设过程中同步启动了IT可视化运维管理体系建设。
2019第三届农村中小金融机构科技创新优秀案例评选
贵州农信
2024-07-02
浙江农信:运维一体化管理平台
一体化运维平台的总体构架包括资产管理、自动化运维模块、任务管理、系统管理、单点登录等核心模块
2017首届农村中小金融机构科技创新优秀案例评选
浙江农信
2024-07-02
光大证券:数智化数据中心多云管理平台
数智化数据中心多云管理平台实现多云的统一管理,跨云资源调度和编排,统一监控和统一运维,统一的成本分析和优化,实现统一交付。
网络整理
光大证券
2024-07-02
江西省农商银行:IT可视化统一运维监控平台
为满足“集中监控”管理工作要求,实现运维可视化的集中监控,江西农信将建立一套集中、规范、完整的可视化统一运维监控系统,依托IT可视化系统让一线人员清晰直观掌握IT系统的整体架构和各业务、网络和资源的运行状态。
2018第二届农村中小金融机构科技创新优秀案例评选
江西省农商银行
2024-07-02
微信
咨询
微信咨询
扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构