一、解决方案简介

一体化数据开发集成平台提供基于主流数据库产品/大数据平台产品的一体化开发全流程，将需求分析、模型设计到数据开发、测试、投产的多个过程高效联动，助力数据中台高效运转。同时，配合丰富的数据资产目录、运行监控图表、数据百科等可视化检索功能，保障数据平台建设的可持续发展。

平台实现了ETL流程的处理的开发批量化、流程标准化、操作可视化、维护简易化等功能。满足了市场上对数据加工处理程序的需求，加快数据平台类项目实施效率的同时也提升了开发质量。

此外，平台另一大特点在于横向打通了各类相关数据产品，将数据交换、调度、管控等纳入开发体系并进行统一管理，打破壁垒，形成协同工作模式。

二、应用场景痛点简介

1.无标准化、流程化指引

传统数据开发过程以手工编码为主，编码质量无法保证，开发、运维方式各异，很难实现标准化。开发流程以文档指引为主，缺少系统化、流程化的方式进行管理。

2.设计与开发脱节

模型设计工作以Excel进行手工管理为主，缺少系统化的管理。

同时模型设计与程序开发没有在系统上对接起来，设计与开发未打通，无法实现实时的联动。

3.开发过程复杂、周期长，跟踪困难

以数仓为例，数据开发涉及过程较多，缺少全流程的管控，实施进度跟踪较难，同时需要在多个环境进行测试和验证，每一步都是手工处理，数据质量难以保证。

4.运维不便，版本管理困难

在环境迁移或数据平台软件变更等场景，需要对已有程序、脚本做大批量的修改以适配新的环境，无法实现快速部署的需求。大量的脚本、存储过程、个性化函数等加大了运维难度，并且难以进行版本的管理。

5.技术栈单一，数据产品各自为战

随着各类金融机构科技建设的不断深入，各类基础数据产品已按需投产，如统一调度平台、数据交换平台、数据资产管理平台等，各产品相对独立，使用各自的技术栈，未实现整体打通、集成，进而无法通过在线协作的开发模式实现需求的快速开发、迭代。

三、解决方案亮点介绍

长亮科技以业界主流的Dataops体系作为理论基础同时结合多年在金融机构数据平台的实施经验打造了一体化数据开发集成平台。

平台实现了数据开发的全流程管理，包括从项目管理、需求分解，到开发任务分配，到数据开发、数据测试、开发调度、版本控制全流程的管理。打通各类数据产品，通过在线协作开发模式统一数据开发全过程，实现了数据技术多元化。

图：平台整体逻辑架构

1.全流程标准化开发

平台提供一整套项目实施的数据处理流程化开发过程，包括数据采集、数据加载、数据处理、数据卸载等，并能对接业内常用的调度工具以完成调度配置工作。ETL开发过程引用模板化生成，大大减少开发人员的工作量，同时以标准化流程式开发，促进代码规范统一，大大提高了代码的可读性、可维护性。

图：在线协作开发模式

2.向导式、可视化的模型设计

通过对接元数据管理平台等方式获取数据平台的数据码值规范、模型字段码值列表、模型字段码值映射关系、源数据码值字典对照关系等，辅助用户一步步完成模型结构的设计、检查并终生成可执行编译文件。免去了手动生成脚本、执行脚本等操作。

图：可视化模型设计

3.一站式的多环境部署

平台提供一站式数据开发、测试、部署的功能，系统根据不同的运行状态提供不同的功能，并通过限制不同运行状态下的菜单使用，有效控制各个运行状态的工作内容；同时提供各个运行状态的数据导入导出功能，使开发、测试、生产的部署工作简单易用，大大保证上线的准确性及简化上线工作量，减少在服务器终端的操作步骤。

4.丰富且易于扩展的数据平台、ETL工具支持

平台支持业内常用的数据平台，包括但不限于Oracle、DB2、MySQL、PostgreSQL、Greenplum、Netezza、Exadata、Vertica、GBase、GaussDB、Hive、TDH、Fusioninsight HD、CDH等数据平台；同时支持业内常用的ETL工具，包括但不限于Datastage、Informatica、Kettle、Sqluldr2等。

数据开发平台对数据库、ETL工具的支持使用插件化方式开发，易于扩展。

5.智能化术语匹配、代码纠错检查与提醒

基于数据标准、业务术语，在模型设计环节通过输入关键字自动匹配逻辑字段，并根据选择的库类型进行表字段的自动匹配，降低模型设计人员的建模操作门槛，提升效率；在ETL脚本作业开发中，能根据开发人员编辑的脚本作业内容实时解析，进行规范化检查，自动纠错提醒与建议，提高开发质量。

6.实现统一的数据开发、集成

通过升级现有的离线开发平台、集成数据交换系统、大数据接口发布系统、调度系统，打通数据管控平台、数据资产平台、各数据源，需求OA、统一运维发版平台等方式，打造“统一数据开发集成门户”，下图为总体规划架构图。

图：“统一数据开发集成门户”整体架构

四、金融行业客户名单

长亮科技一体化数据开发集成平台已先后在交通银行、南京银行、成都银行、吉林银行、大连银行等金融机构落地实施。

五、客户评价

某城商行对长亮一体化数据开发集成平台的评价：

长亮科技一体化数据开发集成平台的落地实施推动了我行“基于Dataops的敏捷化数据开发体系”的建设，解决了传统开发模式下开发成本高、代码质量低、无统一管理等痛点。随着产品不断的迭代升级，逐步打通了行内其他数据类产品，使得从需求的提出到需求分析确认、开发、测试、部署、投产的全流程统一管控变得可能，降低了数据开发门槛，让开发变得更加简单。