江苏省联社：基于双引擎的实时数据处理系统

本文来源于：2022年第六届农村中小金融机构科技创新优秀案例评选，作者：江苏省联社

2022-10-02 关键词：农信/农商行,业务平台,数据平台与数智应用 1660

一、项目背景

随着监管部门对数据安全管理要求的不断提高，同时，各农商行在贷前、贷中、贷后又面临瞬息万变的市场竞争压力和风险管理危机，因此需将多变的因素交给商业银行的经营管理者进行管理和控制，以提高自身的市场竞争力。为提升审批或决策效率，降低决策人员的主观判断对业务的影响，实现规范化决策，要求我们对接口数据进行实时分析处理。

基于此，江苏省联社在原先实时数据加工的基础上，提出了“基于双引擎的实时数据处理系统”，提升江苏省联社针对多个接口获取的报文实时数据再加工能力，实现从人行二代征信报告中实时加工、挖掘征信信息的风控价值，实现大批量标准化指标加工计算，让其服务于各项业务的风控决策。

二、项目方案

项目整体技术架构如下,系统支持多种数据来源，包括OGG工具同步的源系统数据，ESB请求实时获取的内外部数据等。可以通过数据加工实现实时指标展示查询、实时消息提醒、实时数据排序等

其中，接口指标的具体实现路径如下，以征信数据为例，收到请求后，可以通过接口获取人行征信报文，解析后数据进入kafka消息队列，通过Flink+Ksql进行进一步指标加工并将指标结果数据通过接口返回。

三、创新点

实时数据加工的重点是保障数据一致性、数据处理高时效性和系统高可用。项目通过流处理技术极大限度地挖掘“热数据”的潜在价值，低迟滞、高实时，实现实时数据加工，提升了指标加工的时效性，为快速、有效的决策提供数据基础，本次项目建设有如下几点创新：

1.多途径保障实时数据高可用。系统引入Flink技术结合原Ksql流处理技术，实现数据的实时加工处理，一方面，可以根据需要，支持不同接口不同法人数据调用的分流，提升系统实时处理能力，另一方面通过两种引擎，极大的提升保障了系统的服务能力，进一步提升系统的高可用。

2.支持多类别实时处理需求。系统既可以处理接口请求获取的大量实时数据，也可以处理通过OGG等工具获取的源系统表数据，能够实现指标加工、消息提醒、报表展示等功能。

四、技术实现特点及优势

系统主要包括应用集群、指标处理应用集群、实时指标加工集群3大功能模块。应用集群主要为指标的管理与配置，包括ｎｇｉｎｘ前端服务器和后端服务器，完成指标的管理功能。指标处理应用集群对外提供ＥＳＢ、ＨＴＴＰ接口，主要功能包括特征指标的加工的前期预处理解析与后期的报文组装对外输出，通过外部数据查询前置获取需要的加工的报文，解析后转发到大数据平台的ｋａｆｋａ消息集群。实时指标加工集群收到报文消息后，通过两个流数据处理引擎，根据配置的指标需求，加工结果输出到ｒｅｄｉｓ集群缓存，再进行报文组装对外输出结果。

五、项目过程管理

江苏省联社于2022年4月启动项目，6月完成系统编码、测试,8月完成系统上线运行。

六、运营情况

项目支持实现基础指标和衍生指标，支持通过前台参数配置功能，提供面向业务人员的功能，不必完全依赖技术人员就能轻松的完成人行征信变量衍生、计算、查询，以及指标日常运营管理和维护。同时指标结果支持异步入库，运用前均通过入库数据进行数据核对，确保指标准确，实现数据和系统对业务的高效支撑。

七、项目成效

项目主要在两方面卓有成效，一是技术方案上实现了报文数据实时指标加工功能，系统可以对通过各个接口查询回来的内外部报文数据进行在线加工或原报文拼接，根据参数灵活加工配置，以报文或者文件的形成返回给请求方。由此，江苏省联社实时数据处理系统，可以实现多类数据源、多种数据结果的实时加工，丰富了可支持的数据应用场景；二是业务功能上实现了征信报文指标加工，截止到9月20日，共实现了约300个个人征信指标、150个企业征信指标的加工，在3秒内可以实现从收到查询请求到返回查询结果，为风控决策提供数据支撑。

八、经验总结

对使用多种流处理技术实现实时数据处理加工的探索和实践，让江苏省联社进一步提升了数据处理能力。数据是一种新型的生产要素，通过被消费使用产生价值，在过去，江苏省联社已经通过数据批处理方式进行了数据的价值挖掘，并实现了部分实时数据的应用分析，但在高时效性的数据指标加工上，还略有不足。此次通过引入Flink技术来实现基于双引擎的实时数据处理系统，深化了实时数据的指标加工处理，下一步我们将继续推进完善系统，争取覆盖更多业务场景，满足业务使用上对实时数据的需求。

本网站案例，除特殊标明来源的，版权归金科创新社所有，未经许可不得转载，否则将视为侵权，对于不遵守此声明或者其他违法使用本文内容者，本网站依法保留追究权。另，本网站部分案例、观点文章来源于网络素材，如有侵权，请邮件联系 fenglei@fintechinchina.com 处理！
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务，详情点击【需求提交】。

推荐阅读

河南农信：基于大数据平台的智能审计管理信息系统

随着河南省农村信用社各项业务的飞速发展及信息化建设的不断深入，创新性金融产品和金融服务不断涌现，业务数据和业务流程复杂程度不断提高，交易信息和管理信息不断膨胀。

2018第二届农村中小金融机构科技创新优秀案例评选河南农信 2022-10-02

安徽农信：基于人工智能的滨湖数据中心基础设施能效优化

数据中心基础设施能耗巨大，数据中心节能能够带来显著的经济和社会效益。而在数据中心基础设施中，空调能耗又占到全部能耗的70%，本项目通过将人工智能应用到数据中心基础设施空调系统运行控制中，为安徽省联社乃至金融行业数据中心基础设施节能降耗探索一条智能化创新的道路。

2018第二届农村中小金融机构科技创新优秀案例评选安徽农信 2022-10-02

湖北农信：智慧学习平台

智慧学习平台的建设广泛运用互联网新媒体技术，集教、学、练、考评等要素，通过数字化学习运营将其打造为兼容、开放、共享、规范的多元一体化学习载体，成为全省农商行系统的学习中心，考试中心、直播中心、制度图书中心、员工交流中心，有效地提高了员工学习的时效性、便捷性和覆盖面，成为全省农商行“智慧银行”的建设重要载体。

第五届农村中小金融机构科技创新优秀案例评选湖北农信 2022-10-02

江西农信：“百福快贷”项目

网络信贷项目依托互联网技术，采用全流程“不落地”线上操作模式，以大数据应用为基础，实现贷款申请受理、审批、放款、回收和贷后管理全部在线完成，整个贷款审批流程无需人工参与，实现了系统几分钟内自动产生审批结果，真正意义上达到了可足不出户就可完成贷款申请和收到贷款的目标。

2018第二届农村中小金融机构科技创新优秀案例评选江西农信 2022-10-02

云南红塔银行：“香叶智农”——一站式烟农服务平台

云南红塔银行结合国家烟草专卖局《关于建设现代化烟草经济体系推动烟草行业高质量发展的实施意见》和云南省《云南省数字烟草农业发展总体规划》的相关要求，结合人民银行普惠金融的相关政策规定，配合南省烟草专卖局（公司）搭建了“香叶智农——一站式烟农服务平台”，结合烤烟生产全流程，在平台上为种植主体、第三方供应、服务商等提供多样化的场景金融服务，提供安全、便捷、高效的线上烟农支付结算服务，助力乡村振兴。

2022年度城市金融服务优秀案例评选云南红塔银行 2022-10-02

江苏省联社：风险偏好与限额管理系统

本项目旨在建设统一风险数据集市，打通风险管理相关数据，建立风险偏好与限额管理系统，提高各类风险识别、计量、监测和数据分析的能力，并提供给农商行风险管理相关的数据支撑，以帮助农商行进行合理的业务拓展与风险管理决策。

第五届农村中小金融机构科技创新优秀案例评选江苏省联社 2022-10-02

案例库