本文来源于:鑫智奖·2025第六届金融机构数智化转型优秀案例评选,作者:太保科技

太保科技:基于数据库创新的可扩展SQL治理

2025-06-10 关键词:数字化转型,金融服务,数据管理4023

一、项目背景及目标


截至2024年12月,中国太保已完成300+个应用系统的数据库自主可控改造,覆盖所有业务领域,包括产险、寿险、健康险、资管等领域的承保、理赔、资金交易等核心业务场景,数据库整体规模达数万核、6PB数据量,超过20TB的逻辑集中大库高达50多个。在大量复杂系统完成数据库自主可控改造后,替代产品的质效瓶颈开始显现,尤其是海量SQL迁移引发了诸多问题,导致系统运行风险增加,而目前业界主流技术对风险SQL的监控存在诸多不足,难以满足中国太保质量管理体系的要求,本项目的建设目标就是通过建设高水平的SQL治理平台实现对所有改造系统、所有运行环境中所有高风险SQL的提前预警、精准监控与有效治理,确保系统改造上线后稳定运行。


二、创新点


1.可扩展的高风险SQL智能化识别知识库


本项目业界首创全场景数据库创新实践知识库,内置25大类200多项识别规则,能够精准定位SQL潜在问题并提供优化建议,并且可结合生成式AI和RAG技术,进一步提升高危SQL识别精度。目前该知识库每天采集分析SQL语句超过1500万条,风险识别准确率接近100%,累计预识别数千条高风险SQL并有效处置,大幅提升生产系统稳定性。


2.多维度SQL语句性能影响量化模型


本项目突破主流监控技术仅关注SQL执行时长的局限,建立了多维度SQL语句性能影响量化模型,针对数据源头、链路、环境、数据量、硬件资源、数据库使用方式的不同制定了差异化的SQL风险识别标准,实现SQL治理全生命周期差异化监控,并将高风险SQL识别前置到功能测试环境和性能测试环境,通过提前处置风险SQL,减少了生产环境系统风险。


3.首创执行计划劣变识别方案


本项目业界首创执行计划劣变识别方案,实现SQL执行计划劣变主动识别,避免了由于SQL执行计划劣变导致的系统性能及稳定性大幅下降的风险,系统上线以来,主动识别执行计划劣变超过40个并提供相应建议,实现了精准识别、主动处置。


imageimage1_1749545388.07984.png


图1 SQL治理平台识别出执行计划劣变性能下降了1173倍



4.全模态数据采集


本项目采用分布式架构,通过适配多种数据库协议、引入增量采集机制、开展数据质量检测与预处理,大大提升了采集效率,解决了数据来源多样、数据量大、格式复杂、数据有时效性要求等诸多痛点问题,为后续分析提供了可靠的数据基础。


5.灵活的多模态数据处理与分析流程编排


本项目提供了可视化流程编排工具,通过组件化开发和参数化配置,实现了数据处理与分析功能的灵活组合和快速调整,降低了技术门槛,满足了业务需求多样化要求,提高了流程维护效率,也提升了跨部门协作效率。


三、项目技术方案


A.总体思路


本项目围绕金融行业数据库国产化替代的风险防控需求,分三阶段构建覆盖方法论研究、工具链开发、规模化落地的全周期解决方案。


第一阶段:规则沉淀阶段。聚焦知识库构建,通过整合300+信创项目历史数据,采用机器学习与专家评审结合的方式,提炼出覆盖运行负载、资源争用、事务异常、性能裂变、信创适配五大场景的识别规则,并基于大模型结合生成式AI和RAG技术实现可扩展的风险SQL知识库,构建高开销SQL语句CPU资源性能影响量化模型,为SQL优化效果预评估提供理论基础。


第二阶段:技术平台开发阶段。以规则库为输入,通过流批一体架构、执行计划对比引擎等关键技术,打造支持日均超1500万SQL实时分析的高性能治理平台,同时搭建可视化的多模态数据处理与分析流程编排平台,实现数据处理流程的快速构建和调整。


第三阶段:平台上线与智能运维阶段。采用分步部署策略,从核心系统灰度验证逐步扩展至全司300余个实例,构建“规则迭代-监控预警-优化闭环”的动态治理体系。


B.技术架构


本项目采用三层架构设计:


(1)平台管理层


作为整个平台的“大脑”,负责数据采集、处理、分析任务的配置。通过简洁直观的界面,用户可以轻松管理采集和分析脚本,灵活编排任务流程,满足多样化的业务需求。


(2)执行服务层


基于分布式设计,可灵活扩展,轻松应对海量任务的并发执行,无论是大规模数据采集还是复杂的数据处理,都能高效完成。


(3)可视化服务层


提供强大的配置查询接口,用户可以通过简单的操作,快速访问大数据平台中的数据。通过灵活的查询SQL,实现数据的精准查询和直观展示,助力用户快速洞察业务趋势。


imageimage2_1749545388.13228.png


图2 技术架构示意图


四、项目过程管理


A.项目实施重大事件表 (1)2024年1月,项目启动。 (2)2024年2月,提炼历史经验,构建覆盖全场景、多维度的高风险SQL识别规则库。 (3)2024年3月,技术平台方案设计完成。 (4)2024年4月,技术平台上线,完成系统试点。 (5)2024年6月,技术平台覆盖全部重点系统,完成系统推广。 (6)2024年8月,技术平台覆盖全部系统,进入全面运营。 B.项目的组织与实施


本项目由太保科技负责实施,采取“试点验证→分批推广→全面覆盖”策略,优先选取核心业务系统(如财务、交易系统)进行灰度发布,验证稳定性后按业务优先级分3批次推广,单批次间隔2周。


试点阶段,技术平台上线,以产险寿险处于信创阶段的系统做试点,验证平台有效性。


推广阶段,技术平台覆盖全司重点系统,迭代优化技术平台。


运营阶段,技术平台覆盖全司所有系统,投入全面使用。


五、运营情况


1)运营情况


本项目已完成全面推广。截止2024年12月,实现日均采集分析1500万SQL、25万活跃会话,累计识别出高负载SQL超1.5万,高风险裂变执行计划超40个,高风险长时间运行SQL超400个,高风险文本识别超500个,存在内存泄漏系统10余个,极大的降低了系统的风险。


2)系统运行情况


(1)稳定性‌:系统平均无故障运行时间(MTBF)≥500小时,故障恢复时间(MTTR)≤30分钟。


(2)资源占用‌:CPU占用率峰值控制在3%以内。


六、项目成效


1)经济效益


本项目建设的SQL治理平台目前为中国太保300+个系统提供安全运行保障,通过精准识别数千个高负载SQL并优化,实现CPU资源的大幅节降。截至2024年底,折合节约成本超过6000万元。


2)社会效益


目前金融行业已开始进入信创深水区,新技术新产品应用的伴生风险主要突出集中在SQL风险上。据统计,数据库实现自主可控改造后,超过90%以上的问题都由SQL引发,因此,SQL治理已成为金融行业数据库运行管理的突出共性需求。本项目首创了体系化、全生命周期、可扩展、多维量化模型,利用技术创新有效消除了数据库相关新技术新产品的伴生风险,实现从“被动救火”到“主动预警、精准识别、提前排雷”的SQL治理模式转变,为金融行业深化自主创新、确保系统稳定性探明了道路。


七、经验总结


1)项目建设经验


与现有技术比较本项目优势如下:

对比维度现有技术缺陷项目优势
风险识别缺乏体系化、多维度、全生命周期、可扩展的高风险SQL识别方案首创可扩展多维知识库包含25大类200+识别细则,覆盖SQL文本/CPU/内存/执行计划等多维度。并结合生成式AI和RAG动态优化规则,准确率近100%,缺陷覆盖率提升15倍,日处理1500万SQL
CPU资源性能评估按照SQL执行时长单一维度,存在局限,无法量化问题SQL对系统的性能影响程度首创全生命周期CPU资源量化模型,精准评估高开销SQL对系统整体性能的影响及优化后能产生的最大收益,通过不同环境差异化阈值策略提前发现问题从而减少生产环境系统风险
执行计划监控无法识别执行计划劣变情况首创8大执行计划劣变识别规则,实时捕获执行计划劣变行为,避免了由于SQL执行计划劣变导致的系统性能及稳定性大幅下降的风险。
数据采集方式数据源异构导致采集效率低,同时传统方式无法支撑实时性需求采用分布式架构,提升采集效率。适配多种数据库协议,支持多种数据源。增量采集机制,减少重复采集,提升实时性。数据质量检测与预处理,保证数据质量。
流程编排灵活性固定流程难以响应业务变化。开发周期长,维护成本高通过可视化流程编排工具实现组件化开发加参数化配置,降低了使用门槛,提高了流程维护效率,降低了维护成本。



2)‌推广经验


本项目通过“分阶段部署+基层试点+灵活架构”组合策略,形成高效可复制的数据库风险治理路径:以“试点验证→分批推广→全面覆盖”模式渐进落地,优先在核心业务系统灰度发布,沉淀经验,打磨产品。


在推广的过程中,制定了分工明确的工作流程,由集团科技管理部负责统筹协调,数据库团队和数智研究院专家实现规则迭代、问题识别,各试点子公司通过专人协调推进子公司项目组优化识别的问题隐患SQL。


本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】

推荐阅读

更多

胡震:构建数字金融服务生态,探索数字化转型新路径

为贯彻落实《国务院关于全面推进乡村振兴加快农业农村现代化的意见》总体部署,全面推进乡村振兴,进一步加大支农惠农力度,有效支持当地畜牧业发展,切实解决畜牧经营主体融资难、融资贵及担保难问题。

金融电子化 胡震 2025-06-10

中信建投证券:基于AI大模型的多智能体技术在投顾领域的应用案例

该案例以大语言模型为核心,融合 RAG、Agent技术,构建“主 Agent+子Agent”架构,覆盖投顾全场景,包含个股分析助手、策略分析助手、产品分析助手。亮点包括:技术上实现知识可溯源与复杂任务规划;业务上赋能B端投顾效率、C端个性化服务;实施上分阶段落地,配套三级评测与合规体系;商业模式探索C端增值服务与B端技术输出。重点打造可信可控的智能投顾平台,推动证券投顾AI智能化转型,该平台服务于总部投资顾问,为行业首批实现案例。

鑫智奖·2025第六届金融机构数智化转型优秀案例评选 中信建投证券 2025-06-10

贵阳银行:写好“数字金融”大文章,赋能高质量发展新活力——“超级APP”体系打造

在全国大力发展数字经济,中央对数字金融高质量发展提出新要求,银行业全力推动数字化转型的背景下,贵阳银行聚焦零售线上渠道服务能力的全面升级,围绕“方便、快捷、吸引、依赖、获得”五大核心要求,整合零售条线流量,构建统一获客、统一营销工具,着手打造“线上场景+客户权益+金融服务”的“超级APP”体系,为客户提供触手可及的智能化、一站式综合金融服务。 “超级APP”作为贵州省内首批实现鸿蒙原生应用上架的城市商业银行应用,用户无论在安卓、iOS还是鸿蒙版手机银行上,都能享受到规则一致、体验一致的金融服务。

2024年度城市金融服务优秀案例征集活动 贵阳银行 2025-06-10

北银金科:金融操作系统智能化软件测试体系建设

智能化软件测试基于金融操作系统"五个统一"原则的系统设计,深度整合测试资源,构建全链路测试流程与资产复用体系,在保障系统稳定性的同时显著降低测试成本,形成可插拔的智能测试组件生态。

鑫智奖·2025第七届金融数据智能优秀解决方案评选 北银金科 2025-06-10

南京银行:AI应用探索与创新实践

近年来,伴随AI技术的快速发展,智能化为推动银行业务变革与数字化转型提供了全新动力,尤其在优化业务流程、提高运营效率、提升客户体验、强化风险防控等方面发挥着重要作用。例如,基于智能化的算法设计、AI技术广泛应用于电话银行、网上银行、手机银行等渠道,甚至在某些特定场景中,智能客服机器人已基本可实现对答如流。顺应这一趋势,南京银行在全方位强化AI布局的基础上,深入开展了数字员工营业厅建设实践,并终取得了良好成效。

中国金融电脑+ 张银川 王桂庆 2025-06-10

国元证券:企业综合金融服务协同系统建设项目

国元证券通过建设企业综合金融服务协同系统,构建“场景+数据”营销服务体系,实现数据驱动->场景应用->业务一线的数字化支撑。实现对销售人员从拓客、展业到业务协同一站式支持,助力管理层进行有效的经营决策。 本项目在信创化、数字化、智能化等几大维度创新实践。在业务上,实现智能化的企业全生命周期管理与多端协作模式实现业务场景化适配。在技术上,融合低代码技术快速开发与微服务技术深度治理,并顺应国产化的创新实践。

鑫智奖·2025第六届金融机构数智化转型优秀案例评选 国元证券 2025-06-10

案例库

金融行业全面的数字金融创新案例,涵盖历届“鑫智奖·金融机构数智化转型优秀案例评选”、“农村金融机构科技创新优秀案例评选”、“城市金融服务同业案例征集活动”等科技创新参评案例

  • 数字化转型
  • 金融服务
  • 数据管理

微信
咨询

微信咨询

扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构