一、项目背景

在金融数字化加速的背景下，行业进入了“数据为王”的时代，仅靠金融机构自身数据是远远不够的，为了满足业务发展与监管合规等多重需求，越来越多银行等金融机构选择采购外部数据，外部数据在服务金融企业数字化转型中的位置愈加凸显。

近年来，为了满足我行经营发展的需要，总行各业务部门引入应用了大量的外部数据，如征信数据、工商数据、司法数据等，经统计，截至2022年5月我行已引入应用60项外部数据，分布在14个业务部门。外部数据的引入有效提升了我行业务营销、风险防控及精细化管理水平，同时也积累了大量的数据资产。然而，在外部数据实际落地运用时会遇到各种各样的问题。由于数据获取渠道众多、多部门各自引入的原因存在数据管理分散、数据未整合共享、数据资产价值利用不足、行内计量计费难等多种问题：

1、数据引入渠道众多，管理分散。外部数据渠道众多，各厂商数据标准不统一形式各异，数据存储混乱，数据质量良莠不齐，全行外部数据应用缺乏统一规范和定义。

2、数据共享效果差，使用效率低。对于外部数据接入的管理是无标准、无体系、分散对接的，未集中标准化管理，因此无法实现统一存储、数据再利用及更深层挖掘数据价值。

3、多业务系统接入，运维难度大。目前我行外部数据按照业务门类和需要，接入了多个业务系统，外部数据维护管理存在多业务部门、多系统维护的情况。

4、多维度接入，行内计量计费难。外部数据接入的维度较多，付费的方式、频率、标准各不相同，较难对外部数据使用情况进行统计，外部数据的计量计费不清晰，缺乏控制机制，业务成本无法独立核算，也无法对外部数据厂商进行客观评估，不能对数据的应用服务进行评价。

因此本行建立统一的、数据集中管理和存储的“外部数据管理平台”势在必行。通过收集整合各部门各系统接入的外部数据到外部数据管理平台中，按照业务门类和数据使用归口，进行统一存储、应用，实现全行外部数据的集中与共享，即可以克服数据分离的局限性，资源的重复投入，又可以满足快捷灵活和低成本的快速接入外部数据。

二、项目方案

1.系统总体结构

项目实现将各类外部数据如征信、司法、工商等统一接入到外部数据管理平台，经过解析、结构化之后形成关系型数据保存落地到数据库中。平台可应需提供联机/批量接口为各业务系统提供服务，同时实现对接入的外部数据进行积累、沉淀、应用，T+1日进入数据仓库，应用于报表查询、展示、统计分析、数据建模等场景，支撑业务发展。

2.API接口设计

（1）各个业务系统通过本行应用服务网关调用外部数据管理平台（下称“本系统”），由本系统直接对接外部数据厂商，将数据透传给应用服务网关系统，其中本系统可以将数据厂商回调的数据进行解密，按业务需要将数据放人缓存区，同时将加密或解密数据透传给应用服务网关。

（2）服务接口通过注册的方式，将接口相关信息，如：接口地址、请求参数、响应参数等基本信息注册到平台，平台配置相关信息后，隐藏原始接口地址并将映射后的新接口地址提供给下游系统，供其使用。

（3）下游系统使用接口时，须根据平台要求，发送相关的接口信息，如：接口ID、接口参数及鉴权TOKEN等参数到平台，平台通过白名单及鉴权验证成功，并对接口参数完成验证后，方可调用外部数据并返回给下游系统使用。

（4）“开关”方案：下游应用系统现有的API数据传输方式保留，作为备线，下游系统默认调用外部数据管理平台接口，当外部数据管理平台出现异常，下游应用系统可及时切换到备线发送请求，确保业务活动稳定开展。

3.批量接口设计

（1）直接写库方式：通过厂商的小程序，配置参数。外部数据管理平台定时调用小程序给三方发送请求，小程序将请求到的外部数据写入外部数据管理平台的数据库中，再通过数据交换平台，同步给下游应用系统。

（2）数据文件方式：外部数据管理平台统一采集外部数据文件，统一管理，把相应数据文件解析存储到外部数据管理平台数据库中，进行生命周期管理。下游应用系统，通过API或批量文件获取外部数据。批量文件通过数据交换平台，将文件放置在统一的文件目录下，为下游系统供数。

4.业务功能

（1）数据概览包括接口概览和外部数据概览。接口概览：主要是对接口调用趋势、接口计费金额趋势、接口调用排行榜、接口计费排行榜、接口数量等信息汇总展示，可快速浏览整个系统的基本情况。外部数据概览：主要是外部数据的供应商、系统应用、部门应用概览情况。

（2）外部数据查询：对供应商、协议、接口、应用、调用缓存的查询模块。

（3）业务管理：供应商管理、协议管理、需求管理。

（4）计费管理：主要是对计费规则、计费绑定、计费明细等管理，查看外部接口、内部接口、供应商、下游应用调用接口产生的计费明细与汇总。

（5）预警查询：主要是协议到期预计、费用限额预计进行查询、监控。

（6）质量监控：主要是对调用监控、接口预警、稳定性分析、调用记录等监控，对调用质量进行统计分析，可快速定位到调用有问题的接口。

（7）系统管理：涉及用户管理、角色管理、权限管理等

（8）技术管理：

供应商接口注册：主要是对外部供应商接口开发流程、接口测试、接口响应格式、流程节点等进行配置；

应用接口编排：主要是对供应商接口注册配置、上下线、加解密、版本、调试、结构化存储配置等管理；

码值管理：主要是对码值管理、码值映射、接口码值列表等管理，统一接口的返回标准码值配置；

应用配置：主要是对下游应用注册管理、IP白名单、API需求管理等管理，设置下游应用接口调用权限与调用安全等；

三、创新点

（1）通过建立健全外部数据管理机制，梳理外部数据服务流程，建设外部数据管理平台，实现“统一采购、统一接入、统一存储、统一共享”的外部数据管理模式。

外部数据管理平台承载我行外部数据的统一管理，对外对接第三方数据，对内提供API接口和批量文件，对外部数据进行统一存储、应用，实现全行外部数据的集中与共享，即可以克服数据分离的局限性，资源的重复投入，又可以满足快捷灵活和低成本的快速接入外部数据。

（2）采用了缓存机制在同一个时点周期内，查询相同内容外部数据，可以通过查询缓存数据实现节约成本。

（3）采用消息订阅机制，实现了调用接口数据计费、结构化存储与下游应用系统调用请求并行操作，节省了整个数据流转周期。

四、技术实现特点及优势

外部数据管理平台采用主流微服务架构进行搭建，支持不停机横向扩展。数据采用OceanBase集群式数据库进行数据结构化存储，接口缓存采用宝兰德进行数据缓存。平台应提供联机/批量接口为各业务系统提供服务。实现全行外部数据的统一采购、统一接入、统一存储、统一共享，提高外部数据的使用率，降低外部数据的服务费用，避免各部门反复购买同类数据。

五、项目过程管理

北京农商银行于2023年10月启动外部数据管理平台建设项目；2024年1月30日完成系统上线、API和批量的试点接口上线，于2月进行试运行；于4月、6月、8月分别完成了存量外部数据接口的迁移工作。

六、运营情况

外部数据管理平台已正式上线，已完成存量外部数据迁移，已实现外部数据接入管理、外部数据存储管理、外部数据服务管理、外部数据查询和共享管理等业务功能，同时包括需求管理、资产管理、费用管理、日志审计管理、权限管理等管理功能。并较好地实现外部数据共享，避免资源的重复投入，满足了快捷灵活和低成本的快速接入外部数据，以及利用平台的费用核算管理，提高了数据使用量核对效率，利用平台的协议管理功能，避免了出现合同过期，影响数据正常使用的情况。

外部数据管理平台接入了天眼查、元素征信、百融、百行、百望云等多家供应商数据，涉及农商e信通系统、信息互联服务子系统、电子渠道整合系统、信用卡综合管理系统等多个业务系统的调用。上线以来，系统运行平稳，对联机交易未造成延迟影响。

七、项目成效

实现“统一采购、统一接入、统一存储、统一共享”的外部数据管理模式。外部数据管理平台接入了天眼查、元素征信、百融、百行、百望云、金控大数据、农信银等多家供应商数据，涉及60余个接口供20多个业务系统调用。同时，加解密工作由外部数据管理平台统一完成，减少了下游应用系统的工作量。部分业务系统根据需求加入了缓存周期，通过查询缓存数据实现了成本节约。本系统也记录了每个接口各业务系统的调用次数及费用、协议到期提醒等功能模块方便业务查询使用。

八、经验总结

在北京农商银行领导关注及相关部门的有力支持下，经过前期充分的调研分析，确定技术实现方案，经过半年多的努力，完成了外部数据管理平台的开发工作，并于2024年8月25日完成存量接口迁移。

本项目的上线，实现了全行外部数据的统一采购、统一接入、统一存储、统一共享，提高外部数据的使用率，降低外部数据的服务费用，避免各部门反复购买同类数据，并在安全合规的大前提下，将外部数据应用于智能风控、智能营销、智能运营、智能决策等业务场景，充分、高效地挖掘外部数据资产价值，对全行外部数据管理的质效提升极具重要的意义。

项目采用先试点再逐步推广的方式分步投产，在首个版本对API接口调用和批量文件各安排了一个试点，并对存量接口的调用采取自动开关的方式以保证外部数据平台和原链路均可使用，最大程度化解了存量外部数据切换的风险。在试点运行稳定后逐步完成存量外部数据使用切换，保证了外部数据平台稳定性，同时实现了存量外部数据切换的无缝衔接。