一、项目方案

1.1.主要业务及功能

1.1.1.客户统一视图

要想以客户为中心，提供优质的服务，首先需要在客户授权的前提下，持续不断地将分散在各个系统中的数据集中起来，基于一定识别规则加工整合后，形成客户统一视图。

1.1.2.保单查询

统一客户视图是后续所有工作的基础。生成客户统一视图后，需要基于业务需求以及行业经验，统一建模。该过程总体如下：选择保单有关信息中，经常被用来展示、分析的属性，设计一套数据表。该模型既要求能够满足当前需求，也要求可以适应业务的发展，以及随着业务发展进行快速迭代。

在交互式查询场景中，响应时间是影响客户体验的重要因素。

在本项目中，既要求可以根据单一条件（如证件号）查询，以满足个人客户查询；也需要根据多条件组合（如出单机构+起保日期等）查询，以满足代理人或机构的查询分析。

因此需要设计良好的数据结构来满足多场景快速检索需求。

1.1.3.用户标签及画像

基于客户统一视图，结合业务需求，从基础标签、车辆标签、保单标签等十大维度，生成280多个标签。

标签系统为标签数据的使用提供用户界面及接口调用等多种方式。

在标签管理中可配置标签，审核上线后为各个机构分配标签的查看、下载权限；可以根据不同标签的自由组合，筛选出不同的客群，查看客群清单和客群分析结果；可查看单个客户的360视图。

二、创新点

2.1.集团赋能

本项目从集团立项，基于子公司需求，搭建集团大数据平台，利用集团的计算和存储资源，打通产寿数据，进行保单整合查询、客户标签及画像等应用，为子公司数智化运营赋能。

基于集团建设项目，充分体现出集团的数据整合优势，同时在一定程度上避免重复建设。

2.2.配置化开发

本项目采集数据表200+，数据加工任务上千个。

为了让工作更加高效快捷的开展，项目中的数据采集都基于配置化进行：

1)数据采集：每个数据源一个配置文件，配置好数据源信息及表信息就可以进行数据采集，方便快捷

2)数据加工：每个基于spark的数据加工，只需在配置文件中填写好待执行的SQL，运行时指定配置文件及待替换的变量参数即可，省去了编写Java代码，打包发布等繁琐的操作，从而高效快捷地实现数据加工。

三、技术实现特点

3.1.系统架构

3.1.1.整体架构

本项目用到的数据原始来源为各业务系统，采用SQOOP从源端持续采集到HIVE中，形成贴源层，贴源层的数据使用SPARKSQL依次加工到通用的整合层、汇总层，同样存储在HIVE组件中。汇总层的数据根据业务需求，加工到应用层，供具体应用使用。由于本项目需要支持单条件与多条件组合查询，故应用层的数据被推送到SOLR搜索引擎服务器中。

3.1.2.数据架构

数据接入到贴源层之后，首先根据统一客户识别规则，形成客户统一视图；来源于各业务系统的保单、客户等数据，经过跨域整合，形成客户保单汇总表；客户、保单等表根据本项目的需求，整合后推送到SOLR中供各种场景查询使用。

3.2.技术实现

3.2.1.数据采集

1） SQOOP

SQL-to-Hadoop，连接传统关系型数据库和Hadoop的桥梁，把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中，把数据从 Hadoop 系统里抽取并导出到关系型数据库里，利用MapReduce，批处理方式进行数据传输。Sqoop有以下优点：

1-高效、可控地利用资源，任务并行度、超时时间等。

2-数据类型映射与转换可自动进行，用户也可自定义。

3-支持多种数据库（MySQL、Oracle、PostgreSQL）。

2）Canal

Canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

Canal工作原理如下：Canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议；MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )；Canal 解析 binary log 对象(原始为 byte 流)。

3.2.2.数据加工

数据采集后，存储到贴源层。然后结合业务需求与行业经验，采用维度建模的思想，逐层加工。数据从贴源层到整合层以及汇总层，都是基于spark来加工计算。

Spark初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。

Spark具有如下几个主要特点：

运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行速度也能快十倍；

容易使用：Spark支持使用Scala、Java、Python和R语言进行编程，简洁的API设计有助于用户轻松构建并行程序，并且可以通过Spark Shell进行交互式编程；

通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件，这些组件可以无缝整合在同一个应用中，足以应对复杂的计算；

运行模式多样：Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。

3.2.3.数据脱敏

为了用户数据安全，客户敏感信息（如证件等）在界面上展示前，都会经过脱敏处理。数据脱敏基于脱敏接口服务进行。

3.2.4.服务发布

统一客户保单查询系统基于Spring Cloud框架搭建，它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、负载均衡等，都可以用Spring Boot的开发风格做到一键启动和部署。

各服务基于青云私有云部署，当接口压力较大时，可以灵活扩展，以保证系统稳定性。

本项目的开发、发布基于Git、Jenkins等组件搭建的流程，实现一键完成拉取代码、打包、部署等整套流程，大大提高了开发、测试、部署的效率。

四、项目过程管理

4.1.需求分析及方案设计阶段

本项目2019年12月召开项目启动会，2020年4月完成所有子项目的需求分析及概要、详细设计。

主要内容包括确认系统需要实现的功能及展示内容、数据范围、数据采集打通方案、数据整合方案、数据存储方案等。

4.2.编码及测试阶段

本项目2020年4月开始进行开发编码，8月完成各子项目测试。

编码内容主要包括数据采集、数据加工、数据推送、保单查询及标签系统的前后端项目。

4.3.上线及试运行阶段

7月保单查询子项目开始线上试运行，9月底标签系统完成上线开始线上试运行。

五、运营情况

5.1.数据处理

通过配置化的数据采集及数据加工程序，结合开源调度工具，实现了简单快捷、自动化的数据采集及数据加工。

数据处理调度平台，结合企业微信平台，部署了关键节点及异常任务推送消息通知的监测程序，关键节点执行完成或者有任务出现异常时，会给项目组同事推送消息，以便随时了解数据处理程序运行状况。

5.2.数据服务

数据服务PC端web系统及数据接口，基于SpringCloud+Vue部署，各微服务都有多实例，前端也基于NGINX软负载，自上线以来，一直稳定地提供用户界面查询及程序接口调用，未出现整个服务不能响应的情况。

六、项目成效

6.1.集团赋能

本项目从集团立项，基于大数据平台，充分利用集团资源，打通产数据，为子公司提供整合后的通用数据服务，赋能子公司运营；同时为子公司提供丰富的计算、存储资源，供其进行特色业务数据服务开发。

6.2.配置化开发

前期搭建好配置化开发的框架后，数据采集及数据加工只需将对应的数据源信息和数据加工SQL添加到对应的配置文件，即可实现数据采集和加工。减少了数据开发的大部分重复工作量，也降低了对使用大数据平台组件进行数据开发人员的要求，减少人力成本。

七、经验总结

集团立项建设通用数据服务平台，可充分发挥集团数据整合的优势，提供单个子公司不能达成的服务。集团采购、建设基础设施平台，供子公司使用，可减少子公司重复建设，减少资源投入。

相对固定的功能，通过实现配置化开发，可以很大程度提高开发效率；针对使用门槛较高的组件（如大数据生态圈），通过配置化封装后，开发人员只需关注配置化的部分，也降低了使用和运维门槛。