一、项目背景及目标

保险公司自身所建立的业务系统繁多，各个系统建设所使用的开发平台，开发语言各异。各业务系统在生产中会产生大量数据，得不到统一管理,通过数据共享与数据交换系统来解决各信息系统之间的共享数据一致性、及时更新、信息交互与共享、数据安全等问题,可避免各系统之间重复采集数据、数据冗余、共享 数据更新不同步、数据不准确、信息沟通不畅、数据格式不统一等问题。

二、创新点

1、数据共享面向资源的架构设计（Resource-Oriented Architecture，ROA）

1.1 数据窗口

热点数据和历史数据，分别存储在kudu和hive中。以天为时间单位做为窗口存储数据，有的业务场景需要访问热点和历史数据，数据共享平台底层使用impala，可视化编辑时间窗口访问数据。

1.1 标准的restfull 接口

数据也是资源，对于数据的访问，就是对资源的访问，不同的URI代表不同的资源（注意多个URI可能指向同一个Resource，而一个URI不能指向不同Resource。），同时使用多个HTTP方法操作这些资源，例如使用POST/GET/PUT/DELET分别进行CRUD操作。

1.2 接口访问控制

支持oath2.0的接口访问授权协议，只要授权方和被授权方遵守这个协议去写代码提供服务。需要获取共享数据需要向管理员进行申请。管理员分配授权token。申请端即业务系统会拿该token去访问数据资源。token会在授权中心统一管理。

1.3 国密算法

我们积极响应监管部门的要求，使用国密sm4，做为数据加解密的手段。随着金融安全上升到国家安全高度，近年来国家有关机关和监管机构站在国家安全和长远战略的高度提出了推动国密算法应用实施、加强行业安全可控的要求。摆脱对国外技术和产品的过度依赖。数据传输过程中我们使用sm4国密算法进行加解密。

2、数据收集

2.1 支持多种数据来源

支持数据库和文件两种媒介的数据采集，其中文件包括word，excel，txt等常见格式。

2.2 数据生命周期管理

新进入的数据，经过质检进入数据仓库，新出生的数据属于热点数据存储在kudu中。指定时间默认为1个月后变为历史数据进入hive中存储。

2.3 元数据管理

元数据（Metadata）是关于数据的数据。元数据描述了数据的结构和意义，同时也可以描述应用程序和流程的结构和意义。构造数据共享平台数据库的重要步骤之一，就是定义和创建元数据。所有进入数据共享平台的数据，必须在元数据中有所表述。数据共享平台的数据管理系统必须提供储存和管理元数据的方法。

数据共享平台的元数据包括基础数据元和共享数据元，由数据共享平台统一管理。基础数据元由数据共享平台定义，共享数据元由业务部门定义并注册到数据共享平台。业务部门进入数据共享平台的元数据管理中心好比进了一个“超市”，可以方便地知道可以获取和使用哪些数据，并进行数据使用申请的定制。

3、数据交换流程

3.1 实时性

使用canal，伪装成数据库的从库，从而实时获取数据库数据日志的变化，通过解析数据日志获取实际执行的sql，进入mq，交换任务多线程拉取数据，镜像执行到目标库。

3.2 实时监控

实时监控，交换平台数据的交换情况。业务系统和业务系统发生的数据交换实时的展示在监控页面上。

3.3 分布式协调

使用Zookeeper作为分布式环境下，数据交换任务的中间协调中间件。为了高可用，数据交换平台分布式部署，具有高扩展性。对于业务数据的增长，可以快速响应。

3.4 安全

严格控制数据交换双方的账户权限，对于源数据库，数据交换平台只有读的权限，对于交换区的数据表，业务系统只有读的权限。

三、技术实现特点

1、安全性

对于企业来说数据安全，永远是重中之重。特别是金融行业。数据中心的安全非常重要，因此必须要做好系统的安全设计，防范各种安全风险，确保数据中心能够安全可靠的运行。同时数据中心必须采用成熟的技术和体系结构，采用高质量的产品，并且要具有一定的容灾功能。业务数据安全的技术部分，更多的时候是需要访问控制、数据脱敏、数据加密、数据防泄漏、数据备份等多种数据安全防护手段结合后，才能够提升整体的数据安全能力。

2、实用性

数据共享和数据交换，在配置共享接口，和数据交换任务时需要简单使用，不需要有额外的开发任务。完善友好的定制开发环境支持不同技术层次使用者的使用要求。安装简易，使用简单，有完善的系统参数配置工具和管理控制台。

3、可伸缩性和可扩展性

可以合理地定制数据共享交换方式。根据不同类型业务特色和技术要求特点，量身定制相应的数据交换解决方案。可伸缩性代表一种弹性，在系统扩展成长过程中，软件能够保证旺盛的生命力，通过很少的改动甚至只是硬件设备的添置，就能实现整个系统处理能力的线性增长，实现高吞吐量和低延迟高性能。

4、相对独立性

根据数据共享平台和数据交换的目标定位，数据共享和交换平台的建设和运作必须保持业务系统的相对独立性。为此采用松散耦合方式，通过在业务部门统一配置数据共享与交换的管理系统实现数据资源整合。

5、统一建设

数据共享平台必须统一规范建设。通过制定统一的数据共享与交换标准，建设统一的数据共享交换平台，即中心端数据共享交换管理系统和部门端数据共享交换管理系统，可以避免重复投资，降低接口的复杂性，有效实现数据中心与业务部门的数据共享与数据交换，消“信息孤岛”，实现数据资源的互联互通。

6、共建共享

一方面建设数据共享平台的目的是为了实现业务系统之间的数据共享和交换。另一方面，数据中心的数据来源于各个业务系统， 因此数据共享和交换平台的建设必须依靠各业务系统的积极参与和配合。

四、项目过程管理

1、需求整理与概要设计

时间段为2020年10月至2020年11月，2个月的时间主要完成了数据共享与交换平台的需求，概要设计。提交了现状需求分析报告、各功能模块的高层设计、技术构架和接口的高层设计等文档。

2、系统详细设计阶段

时间段为2020年12月至2020年1月，1个月的时间在概要设计的基础上上完成了系统详细设计工作，后的产出是详细设计文档，其中包括数据库设计，流程图，架构图，具体实现的关键技术说明。

3、系统代码实现阶段

此阶段起始时间为2021年1月至2021年3月，其间完成了数据共享和数据交换平台的编码实现工作，对于数据收集完成了相应的准备工作。

4、上线试运行

起始时间为2021年3月出至2021年4月，一个月的时间完成了生产环境的部署，共享部署了3个服务器节点，数据交换也部署了3个服务器节点。试运行阶段配置了3个交换任务。

五、项目成效

1、完成数据标准化建设

数据标准规范包括：公共数据元标准、公共代码标准、公共数据存取规范、数据交换规范。通过技术标准规范支持业务部门系统和数据共享平台之间的数据级和应用级整合，并提高业务系统之间的应用集成、互联互通的能力。管理标准规范包括：标准管理、安全管理、数据管理、项目管理，用于指导数据中心日常运行管理、数据维护管理。业务标准规范，独立的业务标准规范由业务部门制定，关联业务标准由数据共享平台统筹，协调各业务部门联合制定。

2、数据共享和交换的统一管理

实现了各业务系统之间共享数据、发布数据、监控管理的统一入口和功能。具体内容包括：完善系统现有功能；增加系统统一监控功能；增加数据库自动推送与接收功能；将系统配置功能在统一的Web管理端上实现；实现共享和交换平台的无缝对接。

3、满足保险行业政策法令监管要求

保险行业的监管部门对接口的访问控制，数据的传输安全，网络访问安全等提出了严格的要求。数据共享和交换解决了数据在各业务系统之间传输和使用的安全。通过国密的加密解密算法实现了数据的传输安全。验签的技术手段防止了数据被串改的可能性。对数据资源的oath2.0的授权访问控制。严格控制的了数据资源的访问权限和使用权限。

4、同步任务统一管理

5、实时监控

六、经验总结

通过数据共享和交换平台的建设，在技术层面建设了数据共享和交换的统一管理，数据的共享和交换过程实现了实时监控和预警。数据的传输过程防串改。在管理层面制定了统一的数据共享与交换标准。降低了复杂业务背景下接口的复杂性，有效实现数据中心与业务系统间的数据共享与数据交换，消除“信息孤岛”，实现数据资源的互联互通。