本文来源于:2017首届农村中小金融机构科技创新优秀案例评选,作者:江西农信
江西农信:基于GPU技术的客户关系管理系统
2018-09-27 关键词:大数据,农信/农商行,数据集成,采集与分析,营销
4683
案例背景及面临挑战
随着互联网金融的迅猛发展、利率市场化的逐步实施,传统的银行正面临着日趋严峻的竞争压力。压力来自市场的竞争、客户的竞争、产品的竞争。客户问题是银行赢得竞争的核心问题之一,是其他一些问题的基础和归宿。客户关系管理又是客户问题的关键。如何精准开发客户资源、分层服务、分类维护和精准营销是银行客户关系管理的核心内容。银行业务向以客户为中心转变,有效利用大数据资源,业务开拓创新,创造社会效益和经济效益,提出了以下四个要求:
(一)实现普惠金融
江西农信响应国家号召,一直以来,落实在普惠金融的*****线。银行不光要服务好大客户,更应该为有金融服务需求的社会各阶层和群体提供适当、有效的金融服务,小微企业、农民、城镇低收入人群等弱势群体被列为重点服务对象。这要求银行改变以往的将重点资源投入在大客户上,而忽略小客户、三农的经营策略。
(二)以大数据为基础
CRM系统需囊括所有客户的基本数据及交易数据等各方面的数据,这决定了江西农信新一代CRM系统必须以大数据为基础。银行不缺少数据,但必须搭建一个将客户基本数据、账户基本数据、交易数据以及以此为基础的衍生指标整合集中的大数据平台,才能完整的揭示客户服务中的问题和机会,保证给每个客户提供贴合需要的服务。
(三)客户服务全覆盖
覆盖客户金融行为的全周期,包括客户发现、客户业务服务、客户维护、客户业务拓展。这既是普惠金融的需要,也是基于互联网大发展的新时代金融对银行客户服务提出的新需求。而这需要银行不断进行业务融合,在融合的过程中,客户替代产品,成为银行业务开展的核心。CRM系统为客户服务业务融合提供了可落地的数据支撑,CRM系统的数据服务涵盖本行的全业务数据。
(四)银行角色全覆盖
银行业务人员是执行客户服务的主要落实者,客户关系管理问题是一个综合问题,涉及银行经营的很多方面、各个角色。项目组的构建思路是:基础工作是客户的识别,关键技术是客户细分;终目的是细分基础上提高客户发现、维护、服务的业务水平并实现业务拓展。客户关系管理应该将各个业务角色联动起来,服务于客户的发现、服务、维护和业务拓展。
因此,业务人员首要要求是必须能够快速、便捷的获得CRM系统提供的数据服务。这要求CRM系统能够提供高并发的查询需求,满足全行3万名一线客户经理的查询需求,而且系统必须及时响应,达到秒级甚至亚秒级响应时间。
实施时间
需求调研及需求讨论阶段:2014年6月到2015年12月
需求分析及设计阶段:2015年12月到2016年2月
系统开发实现阶段:2016年2月2016年5月
系统单元测试阶段:2016年5月到2016年6月
系统联调测试阶段:2016年6月到2016年7月
系统试点运行阶段:2016年7月到2016年12月
系统全面推广阶段:2016年12月到2017年3月
应用技术/实施过程
立足于回归本源、优化结构的总要求,主动跟进行业内大数据应用技术并创新,结合应用,服务好江西农信当前客户群体,体现在以下四点:
(一)技术创新:整合技术
本项目创新性的将Hadoop大数据技术与高性能计算(GPU)技术相结合,在此基础上建立了一套高度灵活,扩展性强,安全可控的分布式系统体系。
Hadoop技术在项目中主要解决以下问题:
1. 基于Hadoop/HDFS解决海量客户信息源数据及在此基础上加工出来的衍生数据存储,低成本且易扩展;
2. 高吞吐的数据加工:Hadoop的分布式计算框架(MPP),使得海量数据加工可以并行处理,大大节省了数据加工的时间,提升了数据加工的效率;
GPU技术在项目中主要解决以下问题:
1. 基于GPU的超多计算单元的特点,解决了高并发、高吞吐环境下的系统高效、稳定运行的问题(对内要为2500个机构,30000个用户服务;对外要为全渠道的,如手机银行、网银、柜面等提供服务);
2. 利用GPU高性能计算的特点将逻辑复杂、计算量大的客户分析方面的数据处理任务交由GPU执行,使得CRM系统有了更强大、更高效的分析能力,全面提升了行内客户分析能力,助力农商行客户结构调整,为客户提供更高效、更全面的服务。
CRM系统主要采用了大吞吐Hadoop集群和GPU的高性能计算的特性进行数据加工和展现,Hadoop集群对接所有业务系统数据,并且进行IO密集型和相对简单的数据批处理场景,GPU集群用以计算密集型的复杂逻辑计算加工场景。
整体的业务逻辑架构如下图所示:
目前CRM系统已经整合了农商行的全渠道客户相关数据,其中包括:核心、信贷、中间业务、网银、E百福、卡系统、POS终端、信用卡系统、ATM系统、国际结算系统、手机银行系统和客户中心系统等数据,CRM运行上线18个月,数据存量为68TB,每天数据增量为100GB,针对如此大吞吐的数据量CRM系统采用Hdoop+GPU的技术路线进行数据的加工和展现。目前经过严密的测试和投产后实际运行的运行情况来看,在高并发及高吞吐场景下,系统的主要性能指标表现如下:
序号 | 指标名称 | 指标值 |
1、 | 每日稳定高效服务时间 | 13小时 |
2、 | 系统响应时间(复杂场景) | 1秒内 |
3、 | 系统响应时间(简单场景) | 0.2秒内 |
4、 | 每日处理数据 | 2TB |
5、 | 每日批量处理产生新数据 | 500GB |
(二)应用创新:灵活展现
传统统计查询需要对需求进行针对性的需求分析、表结构设计、程序开发,有多少报表就需要建多少表支持;CRM的大宽表设计,实现了任意维度的高效组合查询,秒级响应,业务人员可以根据业务需求自由组合专业的业务专题查询,而不需要专业技术人员的支持,充分发挥业务人员的对业务专业知识的敏捷发现和提升业务人员营销效率,极大的缓解了技术人员的工作强度和节约劳动力成本。
全面提升行社客户营销效率和业务拓展能力。
特点:指标丰富,灵活配置,在行内的客户指标体系下任意组合,快速定位,实时生成营销名单及客户分布情况;
营销名单与营销任务高度整合,使得营销任务及活动开展变得高效且易于管理,实时掌握任务开展的完成度,资源使用情况,促进了营销业务的开展及客户营销管理模式转型和升级;
客户名单功能介绍:用户可任意组合指标,快速筛选出客户名单,用来日常维护、拓展、营销等。
灵活的组合营销指标,快速高效的客户分布展示的及营销与分析为一体的营销沙盘。
营销沙盘功能,选择指标后,根据系统配置的标签分层,显示出分布数据。
贯彻客户及业务生命周期的以客户指标为依托的任务及流程模块。
任务管理主要是上级对下级的监督考核,并针对一些流程进行审批,下级接收任务,每日查看自己的完成情况。
接收的任务:接收上级下发的任务,查看完成情况。
下发的任务:给下级下发任务,监督查看任务完成情况。
待审核任务:日常流程审核任务。
(三)交互友好:易用易学
交互友好性:界面设计美观大方,系统较少的输入,让用户直接选择点击就能够使用系统;易用易学:系统操作简单,通过B/S架构模式,用户登录就能使用。
所以,总体来说在技术方面的特点如下:
一是架构灵活、可延展性强、安全可控;
二是创新性的利用GPU+HADOOP技术相结合,全面提升客户关系管理系统的服务能力;
三是基于强大的大数据分析能力(HADOOP)和高性能计算的数据处理能力(GPU),助力农商行客户结构调整、客户营销及业务拓展。
(四)项目实施过程概述
整个项目实施过程遵循标准的规范,整体流程规范如下图:
分阶段项目实施流程概述:
1. 项目可行性分析阶段:
我们从业务和技术两方面对项目可行性进行收入且科学的评估,业务层面,我们已经积累大量客户管理经验且从全机构业务发展战略上提出了以客户为中心,在充分发挥本机构优势的基础上建设符合普惠金融特点的全新一代流程化银行。并在此基础上对组织架构,员工岗位角色设置,业务及管理流程都进行全面改造,为系统的开发与建设提供强有力的业务及制度基础。技术层面:基于hadoop大数据技术已经成熟并成为行业标准,基于GPU的大规模并行计算技术也在软硬件层面都取得了巨大飞跃,为项目的实施提供技术保证。经过一系论证之后,我们得出:在这个时机建立基于大数据和GPU (大规模并行计算MPP)的CRM平台是完全可行,且是符合技术发展趋势且具有极大创新意义的。
2. 项目立项及团队建设阶段:
可行性分析过后,对项目进行立项,全机构上下充分认识到该项目的重要性及成功实施后将对业务发展及拓展起到的积极意义,所以集中机构内相关业务和技术的骨干力量组成项目团队。
3. 需求整理及分析阶段:
项目团队从我行实际业务特点及未来的发展战略出发,结合传统金融业务特点和新的互联网金融的思维,吸收同业间的成功案例和先进理念及新业态下的客户关系管理模式、营销理念和客户服务方式多方面进行需求收集、整理、并将之进行浓缩提炼,并以加强科技创新、应用创新,助力农商行客户结构调整、客户关系管理模式转型升级为目标,终经过团队的努力,终形成符合新金融业态的客户关系管理系统功能的需求及非功能性需求。
4. 计划及设计阶段:
首先,我们根据需求形成了结构完整,架构完善,层次清晰的系统平台概要设计,并在此基础形成了,内容详尽且切实可行的项目整体计划,之后团队系统设计小组进入为耗时的详细设计阶段,经过形成初稿--评审—调整及修改—再评审-再调整修改的几次反复,终形成了,内容合理,扩展性强,低耦合,复用性强且充分考虑系统安全性,稳定性,且在技术上符合主流技术发展特点,合理运用新技术的及充分体现技术创新的系统详细设计方案。
5. 开发及实施阶段:
本项目采用互联网企业流程的原型迭代开发法进行开发与实施,在有限的人力物力的前提下,集中优势兵力进行技术攻关,并充分发挥项目组成员的主观能动性,以原型为基础不断迭代,使得系统开发在较短的时间内实现了主要部件及核心功能的开发,由于采取GPU 技术作为系统运行核心,在开发过程中,还攻克较多新技术命题比如:分布式MPP架构实现问题,通过项目的开发及实施也让我们的科技力量得到积累并且在开发及实施能力上得到巨大的提升,通过项目断了队伍,培养了人才,可谓一举多得,项目遗产丰富。
6. 测试及集成阶段:
由于系统涉及功能模块众多,且源数据及衍生数据指标样式繁杂,且需要对接的系统几乎涵盖了机构内所有重要的业务系统,所以测试难度也相对较大,测试工作也相对繁重且复杂。测试前期,测试组准备的测试案例就数以万计,为了在有限的时间达到佳测试想过,项目创新性引入自动化测试,大大解决了测试工作量巨大的问题,保证测试进度与测试质量,在时间上也多形态测试并行进行的策略,如单元测试,集成测试与性能测试,有条件的同步进行。确保了终上线时间,大大缩短了测试周期及人员投入。
7. 上线推广阶段:
该项目采取逐步的,分批次的,进行上线推广,大限度的将上线可能带来的负面影响降到低,同时便于在项目上线初期,在短时间内快速收集问题,及*****时间将相应的用户的问题及时反馈到后台研发人员。
项目实施过程中几个重要要素包:括组织架构、制度规范、专业管理工具等三个方面的内容,三个方面有机结合,从而实现对上述项目过程的有效管理、控制。总体框架如下图所示。
应用效果
(一)管理效益
将小银行大平台战略执行落地,CRM系统打通了与柜面系统的连接,360客户数据直接支持业务。新一代CRM系统的实施,大大提高了了江西农信营销管理水平和业务服务能力,位推进江西农信精细化管理推进了一大步:
1、 任务到岗位:系统的任务可以将任务分配到机构、到岗位,形成全联社的合力,帮助农信社在激烈的竞争中占据有利位置。
2、 名单营销:客户基础指标1000个,衍生指标4000个,指标总数5000个,可以根据5000个指标任意组合筛选产生客户名单,进行名单营销,实现了客户差异化服务,提升客户的粘性和忠诚度。
3、 问题定位到客户:在总行级报表数据发现问题,可以层层挖掘,定位到具体网点、客户经理、终定位到客户,及时定位问题根源。
4、 客户360度视图:客户统一的360度视图,包含客户的基本信息、账户信息、客户信息、交易信息、联络信息、关联信息、营销信息、财务信息,全面了解客户。
(二)技术效益
江西农信新一代CRM系统的技术体系极有特色,大数据技术与GPU技术相结合,全球领先,软件可信,国产知识产权,投入产出比大幅提高。
1. GPU并行计算技术
GPU技术是大数据领域广泛使用的技术,相对于CPU,GPU有以下特点:
1) 更多的计算单元(nvidia计算显卡K40多达2880个计算单元同时计算)
2) 更宽的显存带宽
3) 更快的浮点计算
4) 更快的线程切换
2. 并行数据库技术
相比传统的并行数据库技术,我们将GPU用于数据库查询,不仅实现了节点间的并行,而且在GPU技术的基础上,将数据库的查询引擎在GPU中实现,实现了节点内部的并行,也就是GPU内部2880个计算内核的并行,因而能大幅提升数据库的查询速度。
3. 任务调度技术
任务调度技术是节点间并行的关键技术,也是体系系统兼容性的关键技术。DataTurbines大数据云平台采用消息机制将不同的功能节点组织起来,通过任务调度技术对任务进行分析、并分配到合适的功能节点。
4. 故障恢复技术
有别于CPU架构下的故障恢复技术,GPU的故障恢复技术需要考虑GPU的特点。APISQLparser/complierCPU调度机GPU引擎内存Database显存。
5. 相对内存数据库的优势
内存数据库是目前解决查询慢的一个有效的手段,目前主流的Impala就采用了内存技术。但是DataTurbines大数据云平台采用GPU作为数据库查询的主要引擎,相对内存数据库有以下几大优势:
1) 更高的内存带宽。GPUK80高达480GB/s的内存带宽。
2) 更高的浮点计算能力。GPUK80能达到8.94Tflops的单精度浮点计算以及2.91Tflops的双精度浮点计算。
3) 更多的计算核心。K80有4992个计算核心,而CPU的任务不仅仅是计算,因此CPU上的计算单元远少于GPU。
4) 更多的线程、更快速的线程切换。GPU的任务是用来计算,因此线程切换的代价低,切换快速。
5) 专门针对GPU的编译器。
6) 更高的并行度。DataTurbines大数据云平台采用三级并行:节点间并行,节点内部多GPU的并行,GPU内部几千个计算单元的并行。
DataTurbines采用并行计算技术,同时,相对内存,显存有更高的带宽;相对CPU,GPU有更强的计算资源,这些全部都是国产产权。江西农信新一代CRM系统是国际首个将GPU技术应用到金融行业的生产系统的成功案例。
(三)业务效益
新一代CRM系统包括46个Hadoop节点组成的Hadoop集群,46个Impala数据加工集群,86块K40GPU高速计算卡组成的高速高并发查询集群,涵盖了5700万客户、9000万账户,2000万日交易量,每个客户每天1300个基础指标和衍生指标加工。目前CRM系统存量数据约为60TB,基础数据日增量为50G,加工之后总日增量数据为350G。在这一庞大的数据集下,构建了全面的客户360视图。系统提供每秒1000并发情况下,200毫秒的响应时间保证,保障全省3万名客户经理的日常查询,数据服务全业务覆盖、全组织机构覆盖(跨机构的组织,如事业部)。
江西农信新一代CRM系统将普惠金融落地,每个客户都被关怀,实现大数据支持下的个性化营销。业务营销与绩效紧密结合,实现绩效到岗位,到营销过程。真正实现了数据引领客户发现与业务拓展。
(四)经济效益
新一代CRM系统投资成本是一般项目投资的1/10,而加工效率提升几倍到几百倍。CRM客户360直接服务于业务一线,从一线客户经理的实际反馈来看,大大提高了其业务服务能力和效率。综合来看,新一代CRM系统为低投入、高产出的一项信息系统建设投入,其产生的经济效益不言而喻。
单位介绍
江西省农村信用社成立于1951年,至今已走过65年的发展历程。2004年5月26日,江西省联社组建成立,加快促进了全省农村信用社(农商银行)改革的推进和事业的发展。2016年12月,全面完成农商银行改制目标,成为全国第5个完成产权改革的省份。
在省联社的统一领导下,全省农商银行始终坚持“立足县域、服务社区、支农支小”的市场定位,全力支持实体经济发展,已成为全省大的三农金融服务提供商、小微金融服务集成商和普惠金融服务供应商,是全省业务规模大、机构网点多、客户资源广、税收贡献大的银行机构,是名副其实的“江西人民自己的银行”。
全省农商银行共86家法人成员行,机构网点2400个,占全省银行机构的近1/2,在乡村设立金融便民服务点1.4万个,率先实现金融服务乡镇“全覆盖”、基础金融服务“村村通”。
至2016年12月末,全省农商银行资产总额突破7000亿元,达7531亿元,存贷款规模突破9000亿元,达9949亿元,其中:各项存款余额5987亿元,各项贷款余额3962亿元,存、贷款规模居全省金融机构首位。2017年1月10日,全省农商银行存贷款总额率先在全省金融机构突破1万亿元大关,实现了新年开门红。
全省农商银行认真践行“江西人民自己的银行”的庄严承诺,以占全省金融机构20%左右的资金来源,发放了占全省40%的涉农贷款、30%的小微企业贷款、1/3的“财园信贷通”贷款、1/2“财政惠农信贷通”贷款。2016年,全省农商银行缴纳各项税收43.5亿元,缴纳企业所得税占全省的1/10强,成为服务富裕美丽幸福江西建设的“金融样板”。2011年,全省农村信用社(农商银行)捐资2亿元成立“百福慈善基金会”,已累计捐资4750万元资助全省3.9万名贫困高中生完成学业,并在全省捐资援建希望小学12所。
深化改革以来,全省农商银行发生深刻的巨大变化,也得到各级政府、部门和广大客户的大力支持和充分肯定,先后荣获各种荣誉达1200多项,其中省联社先后荣获全国五一劳动奖状,全省企业四好班子、省级文明单位,连续多年荣获全省综合治理先进单位、党的工作特别优秀奖等荣誉。
本文由2017年度农村金融科技创新优秀案例评选组委会授权发表,转载请注明出处和本文链接。
本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】。
推荐阅读
更多
河南农信:基于大数据平台的智能审计管理信息系统
随着河南省农村信用社各项业务的飞速发展及信息化建设的不断深入,创新性金融产品和金融服务不断涌现,业务数据和业务流程复杂程度不断提高,交易信息和管理信息不断膨胀。
2018第二届农村中小金融机构科技创新优秀案例评选
河南农信
2018-09-27
安徽农信:基于人工智能的滨湖数据中心基础设施能效优化
数据中心基础设施能耗巨大,数据中心节能能够带来显著的经济和社会效益。而在数据中心基础设施中,空调能耗又占到全部能耗的70%,本项目通过将人工智能应用到数据中心基础设施空调系统运行控制中,为安徽省联社乃至金融行业数据中心基础设施节能降耗探索一条智能化创新的道路。
2018第二届农村中小金融机构科技创新优秀案例评选
安徽农信
2018-09-27
湖北农信:智慧学习平台
智慧学习平台的建设广泛运用互联网新媒体技术,集教、学、练、考评等要素,通过数字化学习运营将其打造为兼容、开放、共享、规范的多元一体化学习载体,成为全省农商行系统的学习中心,考试中心、直播中心、制度图书中心、员工交流中心,有效地提高了员工学习的时效性、便捷性和覆盖面,成为全省农商行“智慧银行”的建设重要载体。
第五届农村中小金融机构科技创新优秀案例评选
湖北农信
2018-09-27
江西农信:“百福快贷”项目
网络信贷项目依托互联网技术,采用全流程“不落地”线上操作模式,以大数据应用为基础,实现贷款申请受理、审批、放款、回收和贷后管理全部在线完成,整个贷款审批流程无需人工参与,实现了系统几分钟内自动产生审批结果,真正意义上达到了可足不出户就可完成贷款申请和收到贷款的目标。
2018第二届农村中小金融机构科技创新优秀案例评选
江西农信
2018-09-27
江苏省联社:风险偏好与限额管理系统
本项目旨在建设统一风险数据集市,打通风险管理相关数据,建立风险偏好与限额管理系统,提高各类风险识别、计量、监测和数据分析的能力,并提供给农商行风险管理相关的数据支撑,以帮助农商行进行合理的业务拓展与风险管理决策。
第五届农村中小金融机构科技创新优秀案例评选
江苏省联社
2018-09-27
重庆农商行:基于数据决策的全线上零售信贷产品“渝快贷”
“渝快贷”是重庆农商行推出的基于数据决策的个人全线上信用消费贷款产品。
2018第二届农村中小金融机构科技创新优秀案例评选
重庆农商行
2018-09-27
微信
咨询
微信咨询
扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构