案例背景及面临挑战

（一）案例背景。“数据不仅可以治国，还可以强国”，当前，信息技术飞速发展，基于大数据的应用场景层出不穷，已经成为人类对信息世界探索的新方向。大数据融合和集成在公共安全、科学研究、信息检索等领域发挥越来越重要的作用，同样，已经成为银行业业务创新和行业发展不可或缺的新兴技术之一。在互联网思维急速普及的现代商业模式下，大数据技术能够支持银行利用海量数据开发出多种应用场景的“爆品”，在短期内集聚极大的客户关注和社会效应，又能为中小银行提升核心竞争力、实现跨越式发展提供新的思路。   

尽管大数据技术的前景一致被看好，大数据应用在很多行业也处于高速发展期，但在银行业，尤其是中小银行业，大数据应用还处于探索期。吉林农信早在2011年就建设了数据仓库，近年来，随着业务的快速发展和数据规模的急速增长，入仓数据量不断增加，数据类型愈加多样化，传统方式下的数据架构和数据管理软件在新技术及其应用背景下难以满足多样化、快速化和智能化的要求。同业中民生银行、浙江农信、四川农信因用户数据日益增多，为解决传统数据平台难以快速响应的问题，启动大数据平台解决当前瓶颈。因此，吉林农信“十三五”科技发展规划提出大数据平台建设计划，计划通过对现有数据架构的梳理、研究，构建在现有数据架构基础上的大数据融合架构，实现对海量、多样化数据的管理，规划未来大数据应用场景，并通过对融合技术的研究和试验，提高现有数据集成的效率和准确性。

（二）面临挑战。项目面临的挑战主要有：如何集成多源异构数据；如何从大规模数据中提取数据价值；如何实现跨语言、跨媒体的关联；如何捕获实体和关系的动态演化；如何由数据转化为知识。基于融合的银行大数据架构及应用研究，既要充分思考大数据在现实银行业中应用场景的现实意义，又要提出未来在大数据基础技术发展到一定程度时要解决的具有前瞻性的建议。

实施时间

1.2017年3月，项目筹备阶段，成立项目研究组，召开项目启动会；制定项目计划和任务分工。

2. 2017年4月-5月，调研和理论研究阶段，对同业大数据应用情况进行调研，了解同业大数据架构和应用情况，形成同业大数据研究分析；研究当前大数据融合技术现状和发展趋势，总结各种大数据融合的技术优势和应用情况，形成大数据融合技术现状分析和趋势分析报告。

3. 2017年6月-7月，规划阶段和成果形成阶段，形成出吉林农信大数据融合的数据架构和应用架构；提出应用于吉林农信的大数据融合技术思路，提出新的大数据融合方法。

4. 2017年8月-2018年5月，实验阶段，搭建大数据平台框架，将大数据融合技术应用到具体的应用系统。

5. 2018年6月-10月，项目测试及验收，通过实际应用，得到实验数据，与传统数据进行分析对比，出具验收报告。

应用技术／实施过程

目前金融行业比较普遍的做法是在现有数据类系统基础上建设单独的大数据平台，纳入总体数据架构中，将适合大数据场景的应用及数据处理逐步向大数据平台迁移，是从具体应用“点”的角度考虑大数据建设，很少从数据特点、数据生命周期、数据可视化、数据处理方式、数据视图等多维度规划整体架构。

图1包含大数据平台的银行总体数据架构

当前金融大数据问题根源主要包括：一是大数据的“混跑”，即：需要高速实时处理的大数据和需要批量分析处理的大数据在同一个平台运行；二是数据集成阶段各类数据的批处理之间存在复杂的依赖关系，需要有更灵活的计算表达方式以及优化资源调度方式；三是数据的批处理依赖于传统数据库技术，不具备高扩展性，在高并发情况下效率不高；四是查询分析的灵活性不足。

要解决上述问题，参考lambda架构和数据虚拟化思想，提出适合金融大数据的FinSigma框架，设计一种通用的、具备良好扩展性、高性能和灵活性的通用解决方案，实现金融大数据的高效管理和灵活分析，主要思想包括：

1）数据分层，将高速实时处理的大数据和批量分析处理的大数据分离，也就是分离大数据的volume和velocity特性。为了实现分离，重新定义数据存储方式及数据计算模式，为每个新产生的数据关联一个时间戳，根据数据不变性原理，生成数据的预处理视图和增量视图，并根据实际需要对两部分视图合并，产生大数据的全量视图，满足金融大数据查询处理的低延迟性要求。

2）计算框架的重新选择，针对需要高速处理的金融大数据，选择适合的内存数据库或者键值数据库，满足velocity和强一致性要求；针对需要批量处理的金融大数据，采取分布式系统和分布式数据库提高扩展性，满足金融大数据的volume特性和variety特性，同时，用DAG图表达各类批量计算任务间关系，采取分层算法实现约定资源下的批处理优调度。

3）针对查询分析的需要，设置数据虚拟化层，将实时数据和历史数据的处理结果进行合并，提供数据全视图。并设计元数据管理、查询处理、执行引擎、数据映射等组件，实现更加灵活的查询分析处理。

图2 金融大数据融合架构

在数据集成工作中，我们发现，绝大部分工作消耗在数据准备中，数据的管理、分析和应用是一个漫长的过程，随着当前系统建设的复杂程度越来越高，几乎每个应用系统建设都涉及数据平台的改造和配合；随着数据量的增加和数据类型的多样性，数据分析工作的难度越来越大。在大数据时代，一是数据分析工作从明确的数据对应关系到更加模糊的关联关系分析；二是数据分析工作不仅包含结构化数据的分析，也包括半结构化数据及非结构化数据的分析；三是分析的数据规模越来越大。针对当前数据集成以及大数据平台构建过程中的问题及挑战，提出以当前数据集成方式为主，以基于机器学习的数据融合为辅助的大数据融合解决方案。

基于机器学习的数据融合方案是一个不断演进的方案，在大数据平台下，搭建基于机器学习的框架，不断增加学习算法和模型，实现智能化的数据集成和融合。机器学习主要有两种方式实现，一是利用有监督学习对数据进行匹配，定义一组与匹配规则相关的特征，通过训练数据集来判断哪些特征是相关的，通过决策树或者支持向量机等学习算法来学习一个匹配模型，从训练数据中通过学习得到一个匹配模型M，然后去匹配新的元组对。二是利用无监督学习对数据进行匹配，应用聚类技术中AHC聚类方法。

应用效果

一是依托平台思想，我们对现有数据平台的数据采集方式等进行改进，数据平台的批处理时间大幅降低；在系统建设实施中充分借鉴数据分层等架构思想，数据流转、存储和计算效率都有明显改进。

二是在该项目数据集成新方法指导下，在非现场审计系统、数据平台的信息挖掘等取得突破性进展，解决了传统模式下难以解决的数据匹配问题。

三是该项目的提出和实施，使吉林农信的信息化架构能力有大幅提升，从原来基本依赖于外包公司，到目前以自主创新为主，理论体系进一步完善，继信息化总体规划后，在具体领域的规划也日益丰富。 

单位介绍

吉林省农村信用社联合社成立于2004年5月20日，经省政府授权，对全省农村信用社履行“服务、指导、协调和行业管理”职能，依法接受中国银监会及有关部门的监督管理。现辖38家农村商业银行、14家农联社，服务网点1,835个，是省内网点多、服务范围广、支农力度大的地方金融机构。

吉林省农村信用社联合社始终坚持“农民致富的银行、微企成长的银行、居民兴业的银行”市场定位，不断完善服务体系，创新产品种类，形成了履盖全省农村金融需求的产品服务体系；始终坚持以“社社变商行”为战略目标，坚持股份制改革方向，经营规模快速增长，支农力度明显增强，已经成为农民致富的“助推器”。吉林省农村信用社联合社自成立以来，始终在改革中不断发展，在曲折中奋力前行，特别是近几年来，在省委省政府的坚强领导下，吉林农信紧贴全省战略发展大局，市场理念不断更新，经营规模不断壮大，市场份额连续多年位居全省首位。

站在新的历史起点上，吉林省农村信用社联合社将在省委省政府的正确领导下，解放思想、实事求是，不忘初心、务实担当，继续发挥农村金融和县域发展主力军作用，做好“三农”金融服务，努力推进城乡统筹和吉林全面振兴，履行党和人民赋予我们的责任和使命。

本文由2017年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。