应用场景痛点简介

生产数据作为金融单位的核心资产，为了更大限度的发挥数据价值，其生产数据副本往往会在其他环境中被频繁使用，如何安全、高效的使用业务数据，是金融单位所面临的的一大挑战。

1.1、生产数据运维存在安全风险

由于数据库访问权限的管理不够细致，往往受到高危操作的威胁；由于生产数据库的敏感数据查询缺乏有效的管控手段，数据存在泄露的风险。

1.2、备份数据恢复校验不足

生产系统繁杂，数据量较大，数据恢复操作繁琐，导致备份数据的有效性验证不足；备份数据的恢复及使用缺乏有效的管理，很容易造成数据的泄露。

1.3、敏感数据脱敏问题突出

敏感数据发现不够彻底；脱敏后数据无法保证数据的关联性；脱敏后的数据分发效率低下。

1.4、数据副本交付周期太长

随着业务的发展，生产的数据量比较大，导致准备一份生产数据的时间比较久，在固定的测试周期中直接影响到了有效的测试时间和测试质量。

随着业务的不断发展，测试数据交付问题将会越来越严峻。

1.5、测试数据孤岛难以管理

每份测试数据都是一个个的数据孤岛，导致测试数据难以管理，并且存在数据泄露的安全隐患；测试数据在使用时需要保留较多的数据版本，容易造成数据版本的管理混乱。

解决方案简介

上讯信息针对金融用户所面临的数据使用的痛点问题，结合实际应用场景，研发了一款集数据访问权限管控、数据备份、备份数据自动化恢复验证、敏感数据脱敏和测试数据快速交付于一体的数据全生命周期管理产品-敏捷数据管理平台（全称:Agile Data Management，以下简称：ADM）。

2.1、ADM产品体系架构

ADM产品体系架构图如下所示：

ADM产品体系架构，按照功能模块进行划分，并且每个功能均采用松耦合方式实现，可根据具体需求进行功能组合，使得部署更加灵活、方便；并支持高可用部署。

2.2、ADM平台实现上、中、下游数据统一管控的解决方案

2.2.1、方案总目标

降低数据管理的复杂度，在数据使用所涉及的各阶段均有合适的应对方案；

缩短数据准备周期，提升数据交付的效率；

降低数据使用时的存储资源占用，达到节省存储资源开销的目的。

2.2.2、方案实现拓扑

2.2.3、方案解析

名词注释：

上游数据：处在生产网中的生产数据。如生产的业务数据、备份数据均被定义为上游数据。

中游数据：从上游数据中获取，交付使用前的数据，中游数据是临时存在的。

下游数据：被交付到使用环境的生产数据。一般是经过脱敏处理的。

拓扑中的ADM图标：敏捷数据管理平台的示意图，可以为硬件部署，也可以在虚拟化、私有云等环境中以纯软件方式部署。

以下方案解析，将从拓扑图中的三台ADM展开，分别介绍每台ADM所处的数据阶段，以及可以帮助用户解决的问题。

2.2.3.1、ADM01所处位置及帮助用户解决的问题

ADM01所处位置为上游数据位置，可以帮助用户解决以下问题：

（1）数据的自动化备份及备份数据的有效性验证

ADM具备实时数据备份功能，并且可以实现任意时间点的数据恢复，且可以提供分钟级的数据应急恢复；通过ADM备份的数据，可实现自动化、周期性的备份数据的恢复校验。

（2）生产数据库运维时的访问权限管控

通过ADM的部署，所实现的效果对比见下图所示：

2.2.3.2、ADM02所处位置及帮助用户解决的问题

ADM02所处位置为上游数据、中游数据位置，可以帮助用户解决的问题如下：

（1）对接已部署备份系统，实现备份数据的自动化、周期性校验

可对接NBU、Commvault、Networker等备份系统，实现自动化、周期性的数据恢复，无需人工干预；可实现验证脚本上传，在备份数据恢复完成后将会自动调用验证脚本来验证数据的完整性和可用性。

可通过下图对比传统备份数据效验方式与ADM的备份数据效验方式的区别：

（2）敏感数据源的快速准备

可通过ADM平台创建虚拟数据库提供敏感数据源，此方式简单、高效，并且不会对业务数据库产生任何影响。（备注：用于创建虚拟数据库的基础数据，是ADM实现备份数据有效性验证时保留下来的）

（3）敏感数据的自动扫描发现

ADM平台内置敏感信息模板，并且该敏感信息模板支持手动添加和定制，并通过敏感信息扫描功能对数据库进行全库扫描，不漏掉任何一个敏感信息。

（4）敏感数据的脱敏处理

ADM平台内置几十种脱敏规则，并内置了百家姓库、地址库等多种数据信息，可以更好的提供敏感数据的仿真脱敏；经过ADM脱敏的数据仍可保持其关联性。

（5）脱敏处理后数据的推送

ADM提供数据的单向推送功能，可将脱敏后数据推送到测试网络的ADM平台中，尽量减少数据传输环节的人工干预，杜绝数据拷贝过程中存在的数据泄露风险。

2.2.3.3、ADM03所处位置及帮助用户解决的问题

ADM03所处位置为下游数据位置，实现对测试数据的管理。在测试网中部署，主要帮助用户解决的问题如下：

（1）测试数据的快速交付

ADM平台采用了我司专利技术：数据库虚拟化技术。可通过ADM平台实现虚拟数据库的分钟级交付，达到提升数据交付效率、节省存储资源的效果，具体效果对比请参考下图：

（2）测试数据的版本管理

ADM平台针对创建的虚拟数据库，提供了自动快照与手动快照，可以很方便的对测试数据在线打快照保存，使得测试数据的版本得到了有效的管理。

（3）测试数据的内部流转

ADM平台可实现快照数据的秒级发送，帮助测试网数据实现了快速流转，提升了开发/测试的效率。

（4）测试数据的安全管控

所有的测试数据均由ADM统一提供，不占用测试服务器本地存储资源；每份测试数据的创建都有使用时间限制，杜绝僵尸数据的存在；管理员可实现测试数据的快速回收，释放存储资源。

通过ADM平台的部署，使得测试数据达到集中统一、安全管控的效果。

解决方案亮点介绍

敏捷数据管理平台（ADM）所实现的上中下游数据统一管控的解决方案，可以帮助用户解决以下问题：

上游数据之生产数据运维，ADM平台可以帮助用户实现灵活的、细粒度的权限管控，满足等保2.0对数据访问控制的要求。

上游数据之备份数据有效性验证，ADM平台可实现备份数据的自动化、周期性的恢复校验。

中游数据之生产数据的脱敏处理，ADM的数据脱敏与虚拟数据库结合，可完成敏感数据源的快速准备、基于虚拟数据库的脱敏、脱敏后数据的秒级分发，形成一套自动化的脱敏平台。

下游数据之测试数据的管理，ADM平台可实现测试数据的分钟级交付、实现测试数据的版本管理等，使得测试数据得到更高效的使用与安全的管控，在提升测试效率的同时也做到了存储资源的节约。

金融行业部分客户名单及客户评价