案例背景及面临挑战

自改革开放以来，经过国家有组织有计划的开发式扶贫，我国贫困人口已大量减少，贫困地区面貌也发生了显著变化。但进入21世纪以来，中国扶贫工作依然面临十分艰巨而繁重的任务，已进入啃硬骨头和攻坚拔寨的冲刺期，对党和国家的扶贫工作提出了新的要求和挑战。

精准扶贫是扶贫开发工作中必须坚持的重点工作，是粗放扶贫的对称，是针对不同贫困区域环境、不同贫困农户状况，运用科学技术手段实现对扶贫对象的精准识别、精确帮扶、精准管理；是以习近平为总书记的党中央治国理政方略中对新时期扶贫工作新挑战与新要求的积极应对和正确指引。

大数据时代的普惠金融创新之精准扶贫研究是利用大数据分析技术，通过对扶贫对象建档立卡，摸清贫困人口底数，因地制宜、因人因户因村施策，实现动态调整。帮助政府实现精准扶贫，达到精准脱贫的目标。

大数据时代的普惠金融创新之精准扶贫研究的主要内容包括：基于农信大数据平台，采用大数据的全样本分析的技术特点，建立基于大数据技术的扶贫对象全景视图，并通过数据模型对扶贫需求和问题进行预测，提升扶贫动态管理，提高扶贫效果，并建立扶贫管理可视化视图，对扶贫对象、扶贫动态和扶贫预测进行可视化展示。进而构建江西省精准扶贫大数据中心，实施精准扶贫，做到扶贫对象的精准识别、精准研判、精准管理。探索大数据与扶贫开发协同发展的新业态、新模式。依托大数据实施精细管理、精确瞄准、动态监测，推动扶贫政策和扶贫资源投向更精准、扶贫管理更精准，建设产业扶贫生态，打造“精准扶贫”大格局。

实施时间

启动时间：2017年2月。

结束时间：2017年9月。

应用技术／实施过程

采用理论分析、数据调研和数据验证相结合的方法，从精准扶贫需求出发，通过数据分析和模型设计详细深入地理解扶贫业务需求，并利用扶贫对象全景视图，预测模型和可视化管理需求进行总结分析，以确保研究结果能服务和引领农信的精准扶贫业务。

在大数据分析和平台架构设计的理论指导下，结合农信扶贫对象的业务特征、用户共性特征、扶贫预测的定位及数据规模、数据种类等特征，研究设计扶贫对象全景视图与细分视图。并对其进行扶贫预测建模，开发可视化专题的面向扶贫专题的扶贫管理驾驶舱板块，应用江西农信的业务数据和用户来验证扶贫对象精准识别的效果和程度、并对扶贫预测结论进行业务和技术评估。

具体的技术路线如下： 扶贫对象和预测数据源分析->扶贫对象全景视图与细分建模->扶贫预测和动态管理模型业务理解与数据分析->模型设计与数据准备（变量选择与转化）->预测模型建模与训练->模型评估->扶贫驾驶舱专题可视化设计->扶贫驾驶舱专题可视化开发验证->数据测试验证。

（一）数据理解和数据准备

1.内部数据梳理

经过前期科学的梳理和总结，对目前行内数据进行分析，总结出可用于精准扶贫研究项目的相关数据，具体情况如下：

2.数据理解及分析

通过前期对项目目标和业务需求的理解及内外数据的梳理，总结数据分析报告如下：

(1)数据用途分析：内部数据的用途较为清晰，需要根据后续的业务模型进行筛选和选取（参见内部数据梳理部分），外部数据的用途主要是统计类数据，可用于宏观分析。

(2)数据范围分析：数据准备主要以内部数据为主，(约占70%)，外部数据为辅(约占30%)，可通过对数据的梳理，建立相应的指标体系。

(3)数据类型分析：内部数据以结构化为主，外部数据以非结构化为主，需要通过一定的数据挖掘方法将非结构化的数据转化为结构化的数据，便于2者数据的融合。

(4)数据获取难度分析：内部数据获取较容易，外部数据获取难度较大，需要结合外部数据源的特点制定数据获取方案。

(5)数据可用性分析：目前内、外部数据可独立使用，但如何将这2部分的数据进行融合，还需要根据后续的建模进行分析和设计。

(6)数据质量分析：部分内部信贷类数据存在一定的质量问题，如贷款用途不够精准或者为空等，需要在后续的数据准备过程中根据数据质量情况进行相应的加工处理和取舍。

(7)数据更新：内部数据的更新目前可以每日获取，如有需求可以实时获取；外部数据的更新可实时获取（依赖数据源的更新策略）。

（二）模型构建和模型评估

1.扶贫对象全景视图模型

依据数据理解与分析中构建出的特征，利用K-Means算法构建扶贫对象全景视图模型。

(1)K均值模型训练方法设计：

1.)选择样本数据：选择用于扶贫对象全景视图模型的样本数据。   

2.)数据处理：根据数据特征，处理宽表数据。

2.1.) 缺失值处理：对于分类变量，按当前类型比例随机化填充缺失值信息。连续性变量在宽表处理之前已经处理缺失值，如对收入、成本相关的字段，缺失时都默认赋为0。

2.2.） 离群值和极值处理：将离群值和极值替换为不会被视为极值的接近值。例如，如果将离群值定义为高于或低于三个标准差的任何值，则会将所有离群值替换为此范围中的高值或低值。

2.3.) 重新分类：对婚姻状况、教育状况、住宅状况等多分类数据，平衡类之间的差异。

3.)基于特征变量进行客户细分分析

3.1.) 特征选择：基于扶贫特征，选择有价值的属性。另外通过以下三种方法选择特征变量：

ž 相关度分析：对两个连续（数值范围）字段之间的关系强弱分析（主要是针对贡献度相关的变量），进行属性简约。通过主成分分析、因子分析等方法：设法将原来众多具有一定相关性的指标重新组合成一组相互无关的综合指标，来代替原来的指标，这些较少的指标尽可能多的反映原来指标的信息。这样模型维数得以下降，大大减少了计算量。主成分分析和因子分析都是典型的降维方法

ž 不断尝试增加、删除输入变量，使用K均值进行模型训练，查看Silhouette测量值，进行判断；

ž 借助聚类结果的单元格分布模块，保留特征区分度明显的特征、删掉特征区分度不明显的特征。以下面两个聚类特征为例，左图中的特征区分度明显好于右图。

3.2.) 调整聚类数：通过调整聚类数类优化聚类的结果，也是通过分析Silhouette 测量来判定调整的优劣。如3、4、5、6次等。

3.3.) 设置迭代次数：通过设置不同的迭代次数来优化聚类结果，也是通过分析Silhouette 测量来判定不同迭代次数之间的优劣。如10、20、30次等。

4.)评估模型：通过对Silhouette 测量和模型的可解释性来评估不同的聚类结果，并选择相对优的聚类结果。

解读结论：结合业务理解对结果进行解读，主要是挑选出与其他聚类区分度大的属性，作为当前聚类的特征，并依此进行类的命名。K均值聚类模型的参考示例如下：

对每个聚类，需要根据其聚类结果进行业务解释。

(2) K均值模型结果总结

1.)评价指标

1 Silhouette轮廓图的值：通过对Silhouette 测量和模型的可解释性来评估不同的聚类结果。轮廓图（ Silhouette ）的概念：轮廓系数（Silhouette Coefficient）结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。在K均值模型的训练中可以通过观察模型的Silhouette测度来看聚类的好坏，但是该指标只具有相对意义上的数值含义，不作为模型终选择的依据。Silhouette 测量所有记录的平均值，其计算公式为

(B-A) / max(A,B)，

其中 A 是记录与其聚类中心的距离，而B是记录与近的非所属聚类中心的距离。Silhouette 系数为 1 表示所有个案直接位于其聚类中心上。值为 0 表示个案到其自身聚类中心与到近其他聚类中心是等距的。轮廓图的显示如下图所示。

2聚成不同类别数时模型的稳定度：聚成不同类别数，比如，4类、5类、6类，分别评估各类扶贫对象的聚类稳定度。稳定度的高度以Jacarrd相似性系数来衡量，即两个集合的交集容量与并集容量的比值，如下图所示。

2.)扶贫对象全景视图模型结果展示

采用K-means算法，我们将所有的扶贫对象聚成了三大类。每一类的特征具有一些共性的特征。这三大类分别是：资金支持型扶贫对象，技术支持型扶贫对象和产品支持型扶贫对象。上图中综合因子一是同年龄相关的因素，数值越大表示扶贫对象的年龄越大，劳动能力越差，会提供一些基于资金的扶贫支持项目。而综合因子二和综合因子三分别是通过主成分分析方法构建出来的负责特征。

上图中的分析结果依赖于现有的数据情况，当获取到更加丰富的数据时，上述的聚类结果还会有些变化。

2. 扶贫对象细分模型

基于构建的扶贫对象全景视图，以及构建好的扶贫对象特征，按照一定的业务目标，使用K-Means聚类和Logistic分类等算法构建扶贫对象细分模型，为后续扶贫管理和决策分析提供支持。

扶贫对象细分模型以业务目标为方向，具体实现方式因业务目标而异，下面以资金支持型扶贫和技术支持型扶贫为例：

(1)资金支持型扶贫：

1.) 业务目标：对资金支持型扶贫对象进行细分，如支持资金的数额、资金支持的方式等

2.) 数据选择：基于全景视图聚类结果，选取资金支持型扶贫对象数据。

3.)数据处理：根据数据特征，处理宽表数据。

4.)基于特征变量进行客户细分分析

4.1.)特征选择：基于细分目标，针对性地选择相关特征

4.2.)聚类模型：根据特征进行聚类

4.3.)设置迭代次数：通过设置不同的迭代次数来优化聚类结果，也是通过分析Silhouette 测量来判定不同迭代次数之间的优劣。如10、20、30次等。

5.)评估模型：通过对Silhouette 测量和模型的可解释性来评估不同的聚类结果，并选择相对优的聚类结果。

解读结论：结合业务理解对结果进行解读。例如针对支持资金数额的聚类，对聚类结果制定各聚类内客户所需的金额。

(2)技术支持型扶贫：

1.)业务目标：对技术支持型扶贫对象进行细分，辅助制定给予何种技术支持

2.)数据选择：基于全景视图聚类结果，选取技术支持型扶贫对象数据。同时收集技术支持扶贫历史数据

3.)数据处理：根据数据特征，处理宽表数据。

4.)基于特征变量进行客户细分分析

4.1.)特征选择：基于细分目标，针对性地选择相关特征

4.2.)模型：除直接对特征进行聚类外，也可对技术扶贫历史数据建立模型，对各技术及适合的用户进行分类。

分类模型示例：

4.3.)模型迭代：通过尝试不同的特征，设置不同的参数来优化模型结果

5.)评估模型：聚类模型通过对Silhouette 测量和模型的可解释性来评估不同的聚类结果，并选择相对优的聚类结果。分类模型使用准确率、召回率、AUC等指标来评估分类模型的质量，并选择优的模型。

解读结论：结合业务理解对结果进行解读，针对客户特征使用不同技术进行扶贫支持。

3.扶贫对象动态管理模型

基于扶贫对象全景视图结果，使用自动化的统计方法和聚类算法，识别扶贫对象动态变化的规律和迁移特征，并对扶贫对象的行为进行综合分析。

(1)模型设计：

1.)选择样本数据：选择需要进行管理的扶贫对象样本数据。

2.)数据处理：根据数据特征，处理宽表数据。处理逻辑与全景视图模型类似

2.1.)缺失值处理：对于分类变量，按当前类型比例随机化填充缺失值信息。连续性变量在宽表处理之前已经处理缺失值，如对收入、成本相关的字段，缺失时都默认赋为0。

2.2.)离群值和极值处理：将离群值和极值替换为不会被视为极值的接近值。例如，如果将离群值定义为高于或低于三个标准差的任何值，则会将所有离群值替换为此范围中的高值或低值。

3.)基于特征变量进行客户行为综合分析

3.1.)特征选择：基于扶贫特征，选择在管理方面需要关注的属性。

3.2.)全景视图：通过客户一段时间的特征，使用全景视图模型进行聚类，确定客户画像

3.3.)特征迁移：观察客户近一段时间的特征，基于已建立的客户画像，计算特征迁移变化，找出值得关注的客户行为变化，以对后续的动态管理决策提供参考

4.)评估模型：通过对Silhouette 测量和模型的可解释性来评估不同的聚类结果，并选择相对优的聚类结果。对客户后续的特征迁移进行持续关注，评估模型效果。

解读结论：结合业务理解对结果进行解读，主要是关注特征迁移显著的客户，根据特征迁移的幅度和特性分析客户行为变化，以动态管理客户，提供决策支持。客户特征迁移的参考示例如下：

(2)特征迁移指标

1.)迁移距离：衡量客户特征在进行迁移前后，距离聚类中心的距离，如上图所示。迁移距离可以直观显示客户特征迁移的幅度。

2.)各特征指标：计算各特征迁移前后的指标，如年龄的变化，存款数的平均值、方差等，可用于具体分析客户在哪些方面发生了特征变化。

存款变化图

3.)特征变化显著性测试：对特征变化幅度进行显著性测试，衡量特征变化是否显著，客户是否值得关注。

根据特征迁移结果，动态追踪扶贫对象变化，找出值得关注的对象，实现对扶贫对象的动态管理，为后续的决策提供支持。

4.扶贫对象预测模型

扶贫对象预测模型是预计调查对象成为扶贫对象的可能性。成为扶贫对象的概率(PD)与扶贫对象比率所不同的是：它是基于调查对象历史和现实的数据情况作出的对未来一定时期贫困状况的判断。结合信用评分以及行为评分，对江西省现有全体客户对象进行一个综合扶贫概率预测，并对相应概率利用线性函数进行转换，生成分数，以分数来反映每个客户未来的作为扶贫对象的概率。

扶贫对象预测模型建模方法论为如下：

(1) 数据准备

数据准备是预测模型开发项目重要的起步工作。基于前期对数据的理解，数据的详细准备过程如下

数据分析结果将为评分模型的验证、建模以及实施奠定基础。

(2) 规范要求

样本开发窗口分为观察期和表现期，在扶贫对象预测模型中，样本选取取决于有效性，准确性和有足够的正负样本数据去开发统计模型。

扶贫对象预测模型另一个关键因素为如何定义扶贫对象, 是否为扶贫对象可以根据现有扶贫状况进行定义，或根据佳实践定义进行定义。

(3) 探索性数据分析

探索性数据分析包括单变量分析以及多变量分析，其中分析步骤如下：

ž 单变量基本统计指标分析

ž 单变量与贫困概率分析

ž 单变量Gini/KS/IV值计算

ž 多变量相关性分析

ž 变量终确立

(4) 模型设计

在建模过程中，我们会运用工具提供的多种算法进行训练验证，从中择出优模型。建模数据按4：3：3的比例将原始数据切割为三份：训练数据集，验证数据集，测试数据集。在训练数据集上建立各种预测模型，然后基于验证数据集改进调优，防止过度拟合的现象。后通过在测试集上的表现来选择一个优的预测模型，并将此模型对调查对象数据进行打分操作，得出每个调查对象的预测概率。在具体方法上，模型细分引入各种数据挖掘与统计算法，以得到扶贫对象的预测结果，主要考察以下算法：

ž 决策树

ž 神经元网络

ž Logistic回归分析

(5) 确认终模型

在终确立模型以及模型的候选变量后，根据模型整体表现，选择优表现模型。

(6) 模型的验证

验证工作的目的是理解现有模型的建立过程和方法，检验在当前数据环境下群体的稳定性，及模型预测能力、排序能力，分辨能力的强度和稳定性。如果发现模型的预测和排序能力发生了实质性的变化，通过进一步的研究，挖掘出导致变化的原因，并就相应的解决方案和措施提出咨询意见。模型验证的内容包括：

ž 模型评分分布和群体稳定性的变化 （PSI和KS值检验）

ž 模型排序能力的变化 （Gains Chart）

ž 模型分辨能力的变化 （Gini 系数和 KS值）等。

下面就以上内容加以阐述：

模型评分分布和群体稳定性的变化(PSI和KS值检验)示例

增益图(Gains Chart/Lift Chart)示例

通过对每个评分模型的分数分布进行仔细的检测，从而真实了解和确定评分分布的稳定性。

Kolmogorov-Smirnov（K-S）统计值和基尼系数 (Gini）

Kolmogorov-Smirnov （K-S）统计值和基尼系数（Gini）用来衡量模型区分好坏的能力，也就是模型的预测能力。通过两者的计算来验证模型的预测能力。如下图所示：

应用效果

基于江西农信大数据平台，采用大数据的全样本分析技术特点，建立了基于大数据技术的扶贫对象全景视图，并通过数据模型对扶贫需求和问题进行预测，提升了扶贫动态管理，提高了扶贫效果，并建立了扶贫管理可视化视图，对扶贫对象、扶贫动态和扶贫预测进行可视化展示。构建了精准扶贫大数据中心并逐步落实了精准扶贫，做到扶贫对象的精准识别、精准研判、精准管理。具体如下：

（一）建立扶贫对象全景视图。基于江西农信的内部数据和适当的外部数据获取，建立了扶贫对象的全景视图，并对全部贫困对象进行特征分析，建立细分模型，实现精准识别，为后续扶贫管理和决策分析提供支持。

（二）构建扶贫对象细分模型。基于江西农信扶贫对象全景视图，以及扶贫对象特征，按照业务目标构建了扶贫对象细分模型，为扶贫管理和决策分析提供支持。

（三）构建扶贫对象动态管理模型。基于江西农信扶贫对象全景视图，识别扶贫对象动态变化的规律和迁移特征，并对扶贫对象的行为进行综合分析，特别是扶贫对象的相关资金流动特征等，有效解决了以往针对静态对象信息进行扶贫带来的信息滞后、决策滞后的问题。

（四）实现扶贫对象预测。基于江西农信全景视图和动态管理，实现对扶贫对象的需求和趋势进行预测，通过预测准确把握扶贫需求，有针对性的引导扶贫资金的运用，变被动扶贫为主动扶贫，并改变以往简单平均方式的扶贫策略，为精准扶贫提供决策支持。

（五）建立扶贫可视化展示。大数据分析的结果能够通过可视化展示平台，可视化的表达大数据分析结果及自定义可视化展示效果，便于管理层和决策层更容易理解，例如丰富的扶贫对象全景视图仪表盘，扶贫预测数据图等。

根据省联社的实际统计数据，全省共发放精准扶贫贷款117.9亿元，贷款余额113.1亿元，惠及贫困户14万户。在全省金融机构率先开办了扶贫和移民产业贷款，累计发放贷款9.4亿元，惠及贫困户1.7万户；在25个国家级贫困县率先推出了扶贫小额信用贴息贷款，累计发放贷款7560万元，惠及贫困户2100户；在赣州市全面推广了“产业扶贫信贷通”贷款，累计发放贷款49.7亿元，惠及贫困户7.9万户。创新了“政府+银行+创业贫困户”的“创业式”扶贫信贷模式，共发放“创业式”扶贫贷款46.8亿元，支持了9.6万户贫困户创业致富；推出了“产业+精准贫困户”的“就业式”和“银行+地方优势产业+精准扶贫”的“受益式”信贷扶持模式，共发放“就业式”“受益式”扶贫贷款71.1亿元，大力支持吸纳建档立卡贫困户就业、入股的新型农业经营主体和其他经济组织发展，带动贫困户4.4万户。

把全省精准扶贫分析结果与实际通过全省客户经理建立的贫困户档案进行对比发现，分析结果的平均准确性约30%,主要体现在客户的覆盖面。由于扶贫对象的金融活跃度、互联网行为等能自动化采集的数据比较少，导致扶贫对象模型很难建立，归根结底体现的还是客户特征。客户特征主要是45岁以上偏多，占到了扶贫对象总人口的80%，这些用户，文化程度低，劳动范围小，主要集中在自己家周边，流动率很低。

单位介绍

江西省农村信用社成立于1951年，至今已走过65年的发展历程。2004年5月26日，江西省联社组建成立，加快促进了全省农村信用社（农商银行）改革的推进和事业的发展。2016年12月，全面完成农商银行改制目标，成为全国第5个完成产权改革的省份。

在省联社的统一领导下，全省农商银行始终坚持“立足县域、服务社区、支农支小”的市场定位，全力支持实体经济发展，已成为全省大的三农金融服务提供商、小微金融服务集成商和普惠金融服务供应商，是全省业务规模大、机构网点多、客户资源广、税收贡献大的银行机构，是名副其实的“江西人民自己的银行”。

全省农商银行共86家法人成员行，机构网点2400个,占全省银行机构的近1/2，在乡村设立金融便民服务点1.4万个，率先实现金融服务乡镇“全覆盖”、基础金融服务“村村通”。

至2016年12月末，全省农商银行资产总额突破7000亿元，达7531亿元，存贷款规模突破9000亿元，达9949亿元，其中：各项存款余额5987亿元，各项贷款余额3962亿元，存、贷款规模居全省金融机构首位。2017年1月10日，全省农商银行存贷款总额率先在全省金融机构突破1万亿元大关，实现了新年开门红。

全省农商银行认真践行“江西人民自己的银行”的庄严承诺，以占全省金融机构20%左右的资金来源，发放了占全省40%的涉农贷款、30%的小微企业贷款、1/3的“财园信贷通”贷款、1/2“财政惠农信贷通”贷款。2016年，全省农商银行缴纳各项税收43.5亿元，缴纳企业所得税占全省的1/10强，成为服务富裕美丽幸福江西建设的“金融样板”。2011年，全省农村信用社（农商银行）捐资2亿元成立“百福慈善基金会”，已累计捐资4750万元资助全省3.9万名贫困高中生完成学业，并在全省捐资援建希望小学12所。

深化改革以来，全省农商银行发生深刻的巨大变化，也得到各级政府、部门和广大客户的大力支持和充分肯定，先后荣获各种荣誉达1200多项，其中省联社先后荣获全国五一劳动奖状，全省企业四好班子、省级文明单位，连续多年荣获全省综合治理先进单位、党的工作特别优秀奖等荣誉。

本文由2017年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。